AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing

Technische Samenvatting: AliMark

Probleemstelling
Bestaande watermerkmethode op zinsniveau voor Large Language Models (LLM's), zoals SemStamp, beogen de robuustheid tegen parafraseren te vergroten door watermerken te verankeren in de semantiek van zinnen in plaats van in patronen op token-niveau. Deze methoden vertrouwen echter doorgaans op een prefix-gebaseerd ontwerp, waarbij het watermerksignaal van een zin wordt gekoppeld aan de voorafgaande context (bijvoorbeeld de direct voorafgaande zin).

Het artikel identificeert een kritieke kwetsbaarheid in dit ontwerp: structurele verstoringen. Geavanceerde parafraseermodellen (zoals DIPPER, GPT-3.5) veranderen de tekststructuur frequent door zinnen te splitsen of te samenvoegen. Wanneer een zin wordt gesplitst of samengevoegd, verandert de context voor daaropvolgende zinnen. Omdat het watermerksignaal pseudorandom is gekoppeld aan deze specifieke context, breekt elke wijziging in de context de pseudorandom relatie die nodig is voor detectie. Bijgevolg kan een enkele structurele wijziging een cascade-effect veroorzaken, wat leidt tot het verlies van watermerksignalen over meerdere daaropvolgende zinnen, waardoor bestaande kaders kwetsbaar worden onder sterke parafraseeraanvallen.

Methodologie: AliMark
Om dit aan te pakken, stellen de auteurs AliMark voor, een kader dat watermerken op zinsniveau herformuleert als een probleem van het coderen en uitlijnen van een bitreeks tussen een potentieel gewatermerkte tekst en een geheime bitreeks, in plaats van te vertrouwen op inter-zin afhankelijkheden.

Het kader werkt in twee hoofdfasen:

1. Generatie van gewatermerkte tekst (Embedding):

   • In plaats van te conditioneren op prefix-context, gebruikt AliMark een globale geheime bitreeks $s$ als watermerktoets.
   • Deze reeks wordt opgedeeld in blokken van grootte $M$, waarbij elk blok overeenkomt met de bitsignalen die in een enkele zin zijn ingebed.
   • Tijdens de generatie produceert de LLM $Q$ kandidaatzinnen voor de volgende positie.
   • Een Bit Signals Extractor (met behulp van een sentence embedder en geheime vectoren) converteert de semantische embedding van elke kandidaat naar een discrete bitreeks.
   • Het systeem selecteert de kandidaat waarvan de geëxtraheerde bitreeks overeenkomt met het corresponderende blok van de geheime bitreeks. Dit zorgt ervoor dat de volledige tekst een sequentiële bitpatroon codeert dat onafhankelijk is van zingrenzen.

2. Detectie van gewatermerkte tekst:
   Om structurele verstoringen (splitsingen, samenvoegingen, invoegingen, verwijderingen) geïntroduceerd door parafraseren te hanteren, hanteert AliMark een detectiestrategie in twee fasen:

   • Re-Structurer (RS): Deze module werkt op tekstniveau om potentiële oorspronkelijke structuren te herstellen. Het genereert meerdere tekstvarianten door single-step her-samenvoeging (het combineren van twee opeenvolgende zinnen) en her-splitsing (het verdelen van een zin in twee) operaties uit te voeren. Dit creëert een kandidaatset van herstructureerde teksten.
   • Adaptive Bit Sequence Alignment (ABSA): Deze module werkt op bitniveau. Voor elke herstructureerde kandidaat wordt de bitreeks geëxtraheerd en uitgelijnd tegen een set van geheime bitreekskandidaten van variërende lengtes (om rekening te houden met veranderingen in het aantal zinnen).
   • Uitlijningsmetriek: De auteurs introduceren de Block Edit Rate (BER), een aanpassing van de Levenshtein-afstand die is toegespitst op scenario's op zinsniveau. In tegenstelling tot de standaard edit-afstand, behandelt BER het invoegen/verwijderen van een zin (een blok van $M$ bits) als één enkele operatie met een vaste kost, terwijl substitutiekosten gebaseerd zijn op de Hamming-afstand tussen bitblokken.
   • Scorebepaling: Het systeem berekent een $z$-score voor elke uitlijn poging. De uiteindelijke watermerkscore is de maximale $z$-score die wordt behaald over alle herstructureerde varianten en alle kandidaten voor de lengte van de geheime reeks.

Belangrijkste Bijdragen

1. Identificatie van Structurele Kwetsbaarheid: Het artikel toont aan dat structurele verstoringen (het splitsen en samenvoegen van zinnen) veelvoorkomend zijn in geautomatiseerd parafraseren en de prestaties van prefix-gebaseerde watermerkmethode op zinsniveau catastrofaal verslechteren.
2. Nieuwe Formulering: AliMark stelt een nieuwe formulering voor van watermerken op zinsniveau als een taak voor globale bitreekscodering en uitlijning, waardoor watermerksignalen worden ontkoppeld van specifieke zinscontexten.
3. Robuust Detectiemechanisme: De integratie van een Re-Structurer en Adaptive Bit Sequence Alignment stelt het systeem in staat watermerksignalen te herstellen, zelfs wanneer de tekststructuur aanzienlijk is gewijzigd.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat AliMark aanzienlijk beter presteert dan state-of-the-art baselines (waaronder SemStamp, k-SemStamp en token-level methoden zoals KGW) onder diverse parafraseeraanvallen, met name tegen sterke modellen zoals DIPPER en GPT-3.5.

Experimentele Resultaten

• Prestaties: Op datasets zoals Booksum en C4 behoudt AliMark hoge True Positive Rates (TPR) onder sterke parafraseeraanvallen waar baselines falen. Bijvoorbeeld, met OPT-1.3B bereikt AliMark een TPR@5% van 61,6% onder DIPPER en 66,6% onder GPT-3.5, terwijl de beste baseline (SemStamp) daalt naar respectievelijk 26,7% en 22,0%.
• Adversariële Robuustheid: In proefexperimenten met willekeurige invoeging, verwijdering en herschikking van zinnen presteert AliMark consequent beter dan baselines, waarbij detecteerbaarheid behouden blijft zelfs bij verstoringssnelheden van 0,4–0,5.
• Tekstkwaliteit: Perplexiteitsanalyse geeft aan dat AliMark verwaarloosbare degradatie van de tekstkwaliteit introduceert ten opzichte van niet-gewatermerkte outputs, met slechts lichte toenames die worden waargenomen naarmate de blokgrootte $M$ toeneemt.
• Efficiëntie: Hoewel het detectieproces het genereren van meerdere kandidaten omvat, houden engineeringsoptimalisaties (zoals het consolideren van berekeningen in dynamische programmeringstabellen) de runtime beheersbaar, met een lineaire schaalbaarheid met het aantal invoerzinnen.

Betekenis en Claims
Het artikel beweert dat AliMark een noodzakelijke evolutie biedt in LLM-watermerken door de specifieke kwetsbaarheid van semantisch gebaseerde methoden voor structurele wijzigingen aan te pakken. Door over te stappen van context-afhankelijke prefix-hashing naar globale reeksuitlijning, biedt AliMark een robuuste verdediging tegen de geavanceerde herschrijfcapaciteiten van moderne LLM's. De auteurs positioneren dit werk als een cruciale stap om de herkomst van inhoud en academische integriteit te waarborgen in een tijdperk waarin geautomatiseerd schrijven en parafraseren wijdverbreid zijn. Zij erkennen beperkingen, specifiek dat de huidige Re-Structurer een single-step aanpak gebruikt en mogelijk niet perfect omgaat met complexe multi-stap structurele wijzigingen, wat suggereert dat toekomstig werk geavanceerdere herstructureringsheuristieken of op maat getrainde modellen zou kunnen omvatten.