Technische Samenvatting: PASA – Een Principiële Benadering voor Watermerking in de Inbeddingsruimte

Probleemstelling

De snelle vooruitgang van Large Language Models (LLM's) heeft de onderscheid tussen door machines gegenereerde en door mensen geschreven tekst vervaagd, wat aanzienlijke zorgen oproept over desinformatie, geautomatiseerde misleiding en academische integriteit. Hoewel watermerking een veelbelovende oplossing biedt voor het detecteren van door AI gegenereerde inhoud, lopen bestaande methoden een kritieke kwetsbaarheid tegen: semantisch-invariante aanvallen.

De meeste huidige watermerkingsschema's werken direct op de token-vocabulaire en construeren detectiestatistieken op basis van oppervlakkige token-identiteiten. Bijgevolg zijn ze zeer vatbaar voor betekenisbehoudende transformaties zoals synoniemsubstitutie, parafraseren of tokenvervanging. Deze aanvallen kunnen de specifieke tokens die door het model worden gerealiseerd willekeurig wijzigen terwijl de onderliggende semantiek behouden blijft, waardoor token-niveau watermerken effectief worden verwijderd en detectiestatistieken worden vervormd. Bovendien worstelen bestaande benaderingen vaak om een evenwicht te vinden tussen drie concurrerende doelstellingen: (i) robuustheid tegen semantisch-behoudende transformaties, (ii) vervormingsvrije generatie (behoud van de oorspronkelijke tekstkwaliteit) en (iii) principiële controle over detectiefouten, met name bij lage vals-positieve rates.

Methodologie: PASA

Om deze uitdagingen aan te pakken, stellen de auteurs PASA voor (Principled Embedding-Space Watermarking Approach under Semantic-invariant Attacks). In tegenstelling tot eerdere methoden die op token-niveau werken, inbedt en detecteert PASA watermerken binnen de latente semantische inbeddingsruimte.

Kernmechanisme

PASA werkt door de latente token-inbeddingsruimte te partitioneren in disjuncte semantische clusters. Het vestigt een distributieve afhankelijkheid tussen tokenreeksen en auxiliaire willekeurige reeksen, gesynchroniseerd door een geheime sleutel en de semantische geschiedenis van de context.

1. Semantische Cluster Mapping: Een surjectieve functie $f$ mapt token-inbeddingen naar $K$ verschillende semantische clusters. Deze mapping is ontworpen om invariant te zijn ten opzichte van token-niveau verstoringen; verschillende tokens met vergelijkbare betekenissen vallen in dezelfde cluster.
2. Tweestaps Steekproefstrategie:
   • Fase 1 (Constructie van Auxiliaire Distributie): Het model construeert een auxiliaire distributie over de semantische clusters. Om de fout bij vals alarm (FA) te controleren, wordt deze distributie "afgesneden" bij een drempelwaarde $\alpha$. Een "overflow-toestand" ($\tilde{\zeta}$) wordt geïntroduceerd om waarschijnlijkheidsmassa die de drempelwaarde overschrijdt op te vangen, zodat de FA-fout gebonden blijft terwijl de miss-detectie (MD)-fout wordt geminimaliseerd.
   • Fase 2 (Steekproef binnen de Cluster): De volgende token wordt gestoken op basis van de geselecteerde auxiliaire variabele. Als een specifieke cluster wordt geselecteerd, wordt de token gestoken binnen die cluster volgens een her-genormaliseerde distributie. Als de overflow-toestand wordt geselecteerd, worden tokens over clusters heen gestoken op een manier die de oorspronkelijke Next-Token-Prediction (NTP)-distributie in verwachting behoudt.
3. Detectie: De detector, uitgerust met de geheime sleutel en een surrogaat-taalmodel (SLM), reconstrueert de auxiliaire distributie en de verwachte semantische geschiedenis. Het cumuleert een score op basis van de uitlijning tussen de semantische cluster van de waargenomen token en de her-gestoken auxiliaire variabele.

Theoretisch Kader

Het ontwerp van PASA is gebaseerd op een formeel theoretisch kader dat het gezamenlijk optimale inbedding-detectiepaar voor een gegeven aanvalmodel karakteriseert. De auteurs bewijzen dat hun benadering de fundamentele afwegingen tussen detectienauwkeurigheid, robuustheid en vervorming bereikt. Specifiek tonen ze aan dat PASA vervormingsvrij is (d.w.z. de verwachte distributie van de gewatermerkte tekst is identiek aan de oorspronkelijke ongewatermerkte distributie) terwijl het expliciete garanties biedt voor robuustheid tegen semantisch-invariante aanvallen.

Belangrijkste Bijdragen

1. Principiële Watermerking op Semantisch Niveau: PASA verheft watermerking van het token-niveau naar het semantische niveau binnen een formeel theoretisch kader. Door gedeelde willekeur te verankeren aan semantische clusters in plaats van individuele tokens, bereikt het superieure robuustheid tegen parafraseren en tokenvervanging, terwijl het vervormingsvrije generatie behoudt.
2. Theoretische Garanties: Het artikel biedt een theoretisch kader voor robuuste watermerkinbedding en detectie onder semantisch-invariante aanvallen. Het karakteriseert de fundamentele afwegingen tussen detectienauwkeurigheid, robuustheid en vervorming, identificeert het gezamenlijk optimale inbedding-detectiepaar en biedt formele garanties voor de prestaties van PASA.
3. Empirische Superioriteit: Uitgebreide evaluaties over meerdere LLM's (Llama-2-13B, Mistral-8×7B) en datasets (C4, ELI5) tonen aan dat PASA consistent betere prestaties levert dan standaard baselines (waaronder KGW, Exp-edit, AWTI en DAWA) onder zowel tokenvervangings- als sterke parafraseringsaanvallen (bijv. DIPPER).

Experimentele Resultaten

• Robuustheid: Onder T5-gebaseerde tokenvervangingsaanvallen behoudt PASA een hoge detectienauwkeurigheid (bijv. TPR@1%FPR van 0,9296 op Llama-2-13B), wat aanzienlijk beter presteert dan token-niveau baselines die aanzienlijk achteruitgaan. Onder sterke DIPPER parafraseringsaanvallen (met inbegrip van lexicale substitutie en herschikking van woordvolgorde) behoudt PASA robuuste detectiecapaciteiten, terwijl token-niveau methoden scherpe prestatiedalingen vertonen.
• Tekstkwaliteit: PASA behoudt de tekstkwaliteit effectief. De Perplexiteit (PPL) van door PASA gegenereerde gewatermerkte tekst (11,44) blijft dicht bij de ongewatermerkte baseline (12,41) en menselijke tekst (10,41), wat zijn vervormingsvrije eigenschap bevestigt. Dit staat in contrast met methoden zoals Exp-edit en AWTI, die aanzienlijk hogere PPL-waarden vertonen.
• Efficiëntie: PASA brengt verwaarloosbare rekenkundige overhead met zich mee. De generatielatentie neemt met minder dan 0,5 seconden toe ten opzichte van de baseline, en de detectielatentie (0,27s) is concurrerend, en presteert beter dan complexere robuuste baselines zoals AWTI (10,52s).
• Ablatiestudies: De auteurs vonden dat een matig aantal semantische clusters ($K=4$) en een klein synchronisatiewvenster ($w=3$) de beste afweging bieden tussen robuustheid en detectienauwkeurigheid. Fijnere clustering ($K > 500$) verslechtert de robuustheid en doet de methode terugvallen naar token-niveau gedrag.

Betekenis en Claims

Het artikel claimt dat PASA de kloof tussen praktijk en theorie in LLM-watermerking overbrugt. Hoewel semantisch-bewuste ontwerpen hebben gesuggereerd dat latente ruimtes de robuustheid verbeteren, en theoretische werken de afwegingen tussen vervorming en nauwkeurigheid hebben geanalyseerd, heeft geen enkel eerder werk robuustheid tegen semantisch-invariante aanvallen succesvol geïntegreerd in een principiële, vervormingsvrije framework.

De auteurs stellen dat PASA een betrouwbare tool voor AI-governance biedt door het detecteren van door machines gegenereerde tekst mogelijk te maken, zelfs na agressief parafraseren, zonder de kwaliteit van de gegenereerde inhoud te compromitteren. Ze benadrukken dat hun benadering expliciete theoretische garanties biedt over de afwegingen tussen robuustheid, vervorming en detectienauwkeurigheid, een kenmerk dat ontbreekt in eerdere heuristische benaderingen. Het werk suggereert dat het verankeren van gedeelde willekeur op semantisch niveau een sleutelmechanisme is voor het verbeteren van de overlevingskans van watermerken tegen betekenisbehoudende transformaties.

Erkende Beperkingen:
De auteurs merken op dat PASA kan verslechteren onder extreem sterke herschrijvingsaanvallen die zowel de semantische inhoud als de distributieve structuur veranderen. Detectie op zeer korte teksten blijft uitdagend vanwege beperkte statistische evidentie. Bovendien is de methode afhankelijk van tokenizer-compatibiliteit tussen het generatiemodel en het surrogaatmodel aan de kant van de detector, hoewel ze suggereren meerdere lichtgewicht detectoren in te zetten om dit te mitigeren.