Technische Samenvatting: SAMARK - Zelfverankerde Tekstwatermerking met Zin-Parafraasrobustheid op Paragraafniveau

1. Probleemdefinitie

De snelle vooruitgang van Generatieve AI (GenAI) vereist robuuste methoden voor het identificeren van door machines gegenereerde tekst. Hoewel watermerking van Large Language Models (LLM) is opgekomen als oplossing, staan bestaande methoden voor een kritieke kwetsbaarheid: Aanvallen via Parafraas op Zin-niveau (PPA).

Huidige watermerkingsschema's vallen in twee categorieën:

• Token-niveau Watermerking (TWM): Wijzigt token-samplingverdelingen (bijv. Groen-Rood lijsten). Hoewel efficiënt, worden deze signalen gemakkelijk verdund of verwijderd door lokale bewerkingen, woordsubstituties of deleties.
• Semantisch-niveau Watermerking (SWM): Behandelt zinnen als de basiseenheid en plant signalen in de semantische ruimte in. Hoewel robuuster tegen lokale bewerkingen, vertrouwen bestaande SWM-methoden (bijv. SemStamp, PMark) op stap-afhankelijke willekeurige zaden. Deze zaden worden doorgaans afgeleid van de voorgaande context (context-hashing) of vaste stapindices.
  • Context-afhankelijke Kwetsbaarheid: Als een aanvaller de voorgaande zinnen parafraseert, verandert het gereconstrueerde zaad, waardoor het detectiesignaal faalt.
  • Stap-afhankelijke Kwetsbaarheid: Als een aanvaller zinnen binnen een paragraaf herschikt, komt de stap-geïndexeerde zaad niet meer overeen met de positie van de zin, wat de detectiescore verstoort.

Het kernprobleem dat wordt aangepakt, is het ontbreken van een semantisch-niveau watermerkingsschema dat inherent robuust is tegen PPA (herschikking en globale parafrase) terwijl het hoge tekstkwaliteit en detectienauwkeurigheid behoudt.

2. Methodologie: SAMARK Framework

De auteurs stellen SAMARK (Self-Anchored Mark) voor, een framework dat afhankelijkheid van zinvolgorde en context elimineert door een stap-onafhankelijk groen gebied in de semantische ruimte te vestigen.

2.1. Kerninzicht: Zelfverankerde Voorwaarde (SAC)

De fundamentele innovatie is de Zelfverankerde Voorwaarde, waarbij het willekeurige zaad voor een zin uitsluitend afhangt van de intrinsieke semantiek van de zin zelf, en niet van zijn positie of voorgaande context.

• Mechanisme: Voor een zin $u$ is het willekeurige zaad $r_t = R(\phi(u); k)$, waarbij $\phi(u)$ de semantische representatie is en $k$ een privésleutel.
• Theoretische Garantie: Stelling 1 bewijst dat deze voorwaarde een globaal statisch "haalbaar gebied" (groen gebied) $\mathcal{G} \subseteq \Omega$ vestigt. Een zin behoort tot het groene gebied dan en slechts dan als zijn eigen semantiek onder de sleutel naar een geldige partitionering mapt, ongeacht wanneer of waar hij in de tekst verschijnt. Dit waarborgt robuustheid tegen herschikking en contextwijziging.

2.2. Generator: Multi-kanaals Hyperbolische Sampling

Om watermerkte tekst te genereren, hanteert SAMARK een afwijzingsstrategie (rejection sampling) versterkt door een multi-kanaals hyperbolische scoremechanisme:

1. Candidaatgeneratie: Steek $N$ kandidaatzinnen uit de basis-LLM.
2. Kanaalmatching: Filter kandidaten om alleen die te behouden waarvan de semantische embeds overeenkomen met een doelvlagpatroon $R$ over $c$ pivotvectoren (kanalen).
3. Hyperbolische Score: In plaats van ruwe cosinusgelijkheid, past de methode een hyperbolische tangens ($\tanh$) transformatie toe op de getekende cosinusgelijkheden:
   $$S_{wm}(x) = \sum_{j=1}^{c} \tanh(\kappa \cdot r_j \cdot \cos(E(x), v_j))$$
   • Doel: Dit versterkt kandidaten met sterke uitlijning (duwt scores naar $\pm 1$) terwijl het near-zero ruis onderdrukt. Het voorkomt de concentratie van scores nabij de beslissingsgrens, wat een bekende faalpunt is onder parafrase-aanvallen.
4. Diversiteitsbewuste Filtering: Om kwaliteitsdaling te voorkomen die vaak gepaard gaat met strikte watermerkbeperkingen (bijv. repetitieve tekst), integreert SAMARK:
   • Harde Filtering: Verwijdert kandidaten met hoge n-gram-overlap of hoge semantische gelijkenis met eerder gegenereerde zinnen.
   • Zachte Regularisatie: Voegt diversiteitsbonussen toe ($\lambda_{div}$ voor semantische diversiteit, $\lambda_{nov}$ voor vocabulaire-nieuwheid) aan de uiteindelijke selectiescore.
5. Selectie: Een softmax-verdeling wordt toegepast op de gefilterde kandidaten om gecontroleerde stochastiek in te voeren.

2.3. Detector: Meerderheidsstemming Blinde Detectie

De detector opereert zonder voorafgaande kennis van de specifieke doelvlaggen die tijdens de generatie zijn gebruikt:

1. Segmentatie & Embedding: Splits tekst in zinnen en bereken embeds.
2. Blinde Vlaginferentie: Omdat de ware vlaggen $R$ onbekend zijn, infereert de detector ze via meerderheidsstemming over de directionele responsen van alle zinnen in de tekst.
3. Hyperbolische Uitlijning: Pas dezelfde $\tanh$-transformatie die bij generatie is gebruikt toe op de afgeleide vlaggen.
4. Z-test: Bereken een globale z-statistiek op basis van de getransformeerde uitlijnmatrix. Als de statistiek een drempel overschrijdt, wordt de tekst geclassificeerd als watermerkt.

3. Belangrijkste Bijdragen

1. Zelfverankerd Paradigma: Het eerste framework dat watermerksignalen ontkoppelt van zinvolgorde en context, waardoor ze robuust worden tegen PPA.
2. Multi-kanaals Hyperbolische Score: Een nieuw scoremechanisme dat robuuste signalen versterkt en ruis onderdrukt, waardoor het probleem van scoreconcentratie nabij grenzen wordt aangepakt.
3. Diversiteitsbewuste Filtering: Een gecombineerde harde/zachte filterstrategie die de afweging tussen robuustheid en kwaliteit mitigeert, en semantische redundantie en repetitieve generatie voorkomt.
4. Empirische Validatie: Omvattende evaluatie die state-of-the-art prestaties in robuustheid en kwaliteit aantoont.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op de C4 en BOOKSUM datasets met behulp van Llama-3.1-8B en Mistral-Small-3.1-24B modellen.

• Robuustheid (RQ1): SAMARK presteert aanzienlijk beter dan bestaande baselines (waaronder KGW, SemStamp en PMark) onder PPA.
  • Onder de uitdagende Doc-P II aanval (agressieve parafrase) bereikt SAMARK 90,2% TP@FP1% op Mistral+BOOKSUM, vergeleken met 57,5% voor de volgende beste baseline (PMark).
  • Dit vertegenwoordigt een gemiddelde verbetering van meer dan 30% ten opzichte van de sterkste eerdere baselines.
  • SAMARK behoudt hoge detectierates (>72%) over alle aanvalsscenario's heen, terwijl baselines vaak onder de 30% dalen.
• Tekstkwaliteit (RQ2): SAMARK behoudt generatiekwaliteit die concurrerend is met niet-watermerkte tekst.
  • Paarsgewijze LLM-oordelen tonen aan dat SAMARK hoge winpercentages behaalt tegen niet-watermerkte baselines.
  • Metrieken zoals Sentence Duplicate (SD) en Distinct-2 (D-2) geven aan dat de diversiteitsbewuste filtering effectief de herhalingsproblemen voorkomt die gebruikelijk zijn bij andere SWM-methoden.
• Efficiëntie (RQ3):
  • SAMARK verlaagt de rekenkundige overhead van semantisch-niveau methoden. Het vereist 47,44 gesamplede tokens per output-token, aanzienlijk minder dan SemStamp (64,5) of PMark (49,73).
  • Detectielatentie is verwaarloosbaar (0,0014s per token), aangezien het de op LLM gebaseerde hergeneratie vermijdt die door sommige multi-bit methoden wordt vereist.
• Ablatiestudies (RQ4):
  • Het verwijderen van de hyperbolische transformatie bij generatie veroorzaakt een enorme daling in robuustheid (bijv. Doc-P II TP@FP1% daalt van 93,2% naar 67,4%), wat zijn kritieke rol bevestigt.
  • Het uitschakelen van diversiteitsfilters leidt tot aanzienlijke kwaliteitsdaling (toegenomen herhaling en lagere distinctheid).

5. Betekenis en Claims

Het artikel beweert dat SAMARK een paradigmaverschuiving in semantisch-niveau watermerking vertegenwoordigt. Door weg te bewegen van stap-afhankelijke zaden naar een zelfverankerde aanpak, lost het het "onoplosbare" probleem van parafrase-robustheid op paragraafniveau op dat het veld heeft beperkt.

• Doorbreken van de Afweging: SAMARK slaagt erin de traditionele afweging tussen robuustheid en tekstkwaliteit te doorbreken, waarbij hoge detectierates onder zware aanvallen worden bereikt zonder vloeiendheid of diversiteit op te offeren.
• Praktische Implementatie: De methode wordt gepresenteerd als een haalbare oplossing voor real-world LLM-diensten waar inhoud frequent wordt bewerkt, verkort of parafraseerd door gebruikers.
• Beperkingen: De auteurs erkennen bescheiden dat SAMARK nog steeds een hogere latentie heeft dan token-niveau methoden vanwege de noodzaak van zinniveau kandidaat-sampling (een beperking van huidige autoregressieve LLM's) en dat het momenteel zero-bit (ja/nee) detectie ondersteunt in plaats van multi-bit payload-inbedding.

Kortom, SAMARK vestigt een nieuwe state-of-the-art voor semantisch-niveau watermerking, en biedt een robuuste, hoogwaardige en efficiënte oplossing voor het identificeren van door AI gegenereerde tekst in adversariale omgevingen.