RLSpoofer: A Lightweight Evaluator for LLM Watermark Spoofing Resilience

Probleemstelling

Met de snelle opkomst van Large Language Models (LLM's) is tekstwatermerking een cruciale techniek geworden om gegenereerde inhoud te detecteren en auteurschap toe te schrijven. Echter, de robuustheid van deze watermerken tegen black-box spoofing-aanvallen (waarbij een aanvaller probeert de watermerken te vervalsen zonder kennis van de interne werking) is ontoereikend geëvalueerd.

Bestaande evaluatiemethoden hebben ernstige beperkingen:

1. Ze vereisen vaak toegang tot de interne algoritmen of de detector-API (witte-doos toegang).
2. Ze hebben enorme trainingsdatasets nodig (tot 10.000 voorbeelden).
3. Ze genereren vaak tekst die semantisch niet consistent is met de originele context.

Dit creëert een urgentie voor een lichtgewicht, data-efficiënte en praktische methode om de kwetsbaarheid van watermerksystemen te testen.

Methodologie: RLSpoofer

De auteurs introduceren RLSpoofer, een aanval gebaseerd op Versterkingsleren (Reinforcement Learning - RL) die werkt in een strikte black-box setting. De kern van de methode is een fundamentele verschuiving van een instantie-gebaseerde aanpak naar een distributiegebaseerd perspectief.

1. Theoretische Basis: Lokale Capaciteitsbeperking
De auteurs stellen een theoretisch kader op dat de "lokale capaciteitsbeperking" (local capacity bottleneck) definieert. Dit karakteriseert hoeveel waarschijnlijkheidsmassa op token-niveau kan worden herschikt onder de voorwaarde van een KL-divergentie-beperking (om semantische integriteit te behouden).

• Inzicht: Als de menselijke distributie van een token zeer geconcentreerd is (bijv. bij substantieven of cijfers die cruciaal zijn voor de betekenis), is er weinig ruimte om de waarschijnlijkheid te verschuiven zonder de betekenis te verliezen.
• Toepassing: Dit leidt tot een "lokale capaciteitsmassa" ($c_t$), die fungeert als een indicator voor hoe flexibel een positie is voor herschikking.

2. Het RLSpoofer Framework
RLSpoofer optimaliseert een beleid (policy) om de output-distributie van een parafraseerder te verschuiven van de menselijke distributie ($P_h$) naar de watermerk-distributie ($P_{wm}$), terwijl de semantische betekenis behouden blijft.

• Trainingsdata: Vereist slechts 100 mens-watermerk herschrijfparen (een menselijke tekst en de door een watermerk-LLM herschreven versie). Geen toegang tot de watermerk-sleutel of detector is nodig.
• Reward Design:
  • Token-niveau beloning: Gebaseerd op de log-likelihood-ratio tussen de gesurrogeerde watermerk- en menselijke distributies, gewogen met de lokale capaciteitsmassa ($c_t$). Dit straalt tokens af die semantisch rigide zijn en beloont tokens waar herschikking mogelijk is.
  • Sequentie-niveau beloning: Gebruikt de P-SP-score (Paraphrase Similarity) om te garanderen dat de herschreven tekst zowel semantisch dicht bij het origineel blijft als bij de watermerk-versie (een conservatieve benadering).
  • Cross-Entropy Anker: Voegt een toezichtsterm toe om te voorkomen dat het beleid te ver afdwaalt van de basisdistributie, wat stabiliteit biedt tijdens het trainen.
• Optimalisatie: Gebruikt GRPO (Group Relative Policy Optimization) om het beleid te trainen zonder de detector te zien.

Belangrijkste Bijdragen

1. Theoretisch Kader: Eerste formulering van een lokale capaciteitsbeperking die de grenzen van semantisch behoudende herschikking onder KL-beperkingen kwantificeert.
2. Efficiënte Aanval: RLSpoofer is een effectieve black-box aanval die slechts 100 trainingsparen nodig heeft, in tegenstelling tot bestaande methoden die duizenden nodig hebben.
3. Uitgebreide Evaluatie: De methode is getest op vijf verschillende attacker-modellen (van 0.6B tot 4B parameters) en zes verschillende watermerkschema's (zowel logit-based als sampling-based).

Resultaten

De experimenten tonen aan dat RLSpoofer aanzienlijk beter presteert dan bestaande baselines (zoals Distill, DITTO en DPO):

• Prestatie: RLSpoofer bereikt een Spoof Success Rate (SSR) van 62,0% tegen de PF-Watermark (een distortion-free methode) met een 4B model, terwijl de beste baseline slechts 6% bereikte met 10.000 trainingsvoorbeelden.
• Semantische Kwaliteit: In tegenstelling tot andere methoden die vaak de betekenis verstoren om de watermerken te vervalsen, behoudt RLSpoofer een hoge semantische consistentie (P-SP scores > 0.7).
• Robuustheid: De aanval werkt effectief tegen zowel logit-based watermerken (zoals EWD, SWEET, KGW) als de moeilijkere, distortion-free sampling-based watermerken (PF en PMark).
• Data-efficiëntie: De aanval presteert sterk met slechts 50-100 voorbeelden; het vergroten van de dataset naar 200 voorbeelden levert voor distortion-free watermerken geen consistente winst op, wat aantoont dat de methode zeer data-efficiënt is.

Betekenis en Impact

• Kwetsbaarheid van Huidige Systemen: Het paper onthult dat huidige watermerkschema's, zelfs de geavanceerde distortion-free varianten, fundamenteel kwetsbaar zijn voor black-box aanval die gebaseerd is op distributie-optimalisatie.
• Nieuwe Evaluatiestandaard: RLSpoofer biedt een lichtgewicht, reproduceerbaar en praktisch "stress test"-kader voor de gemeenschap om de weerstand van toekomstige watermerksystemen te evalueren.
• Aandacht voor Robuustheid: De bevindingen benadrukken de dringende noodzaak om watermerksystemen te ontwikkelen die niet alleen statistisch detecteerbaar zijn, maar ook bestand zijn tegen adaptieve, distributie-gebaseerde aanvalsmethoden.

Samenvattend toont dit onderzoek aan dat watermerking van LLM's nog niet veilig is tegen slimme, data-efficiënte aanvalsmethoden die semantische integriteit combineren met statistische imitatie.