Technische Samenvatting: WaterSearch

Probleemstelling

Grote Taalmodellen (LLMs) hebben robuuste watermerkmecanismen nodig om verantwoordingsplicht te waarborgen en door machines gegenereerde inhoud te identificeren. Bestaande methoden, zoals het KGW-framework, vertrouwen doorgaans op het verstoren van token-niveau waarschijnlijkheidsverdelingen tijdens de generatie. Hoewel deze effectief zijn voor detectie, introduceren deze verstoringen een bekende afweging: het verhogen van de watermerksterkte gaat vaak ten koste van de tekstkwaliteit, met name in uitdagende scenario's zoals het genereren van korte teksten, redeneertaken en generatie met lage entropie (bijvoorbeeld het voltooien van code). Huidige pogingen om dit te mitigeren via entropie-bewuste heuristieken of onbevooroordeelde aanpassingen vertrouwen nog steeds op het wijzigen van token-verdelingen onder een vaste generatiepijplijn, wat kan afwijken van het oorspronkelijke gedrag van het model en faalt in het vinden van een evenwicht tussen detecteerbaarheid en trouw.

Methodologie: WaterSearch

De auteurs stellen WaterSearch voor, een zoekgebaseerd framework dat het perspectief verschuift van token-niveau verstoringen naar zaad-niveau controle. Het kerninzicht is dat watermerkgedrag aanzienlijk varieert tussen verschillende willekeurige zaden, wat leidt tot diverse afwegingen tussen detectiesterkte en generatiekwaliteit.

1. Zaadpooling en Parallelle Generatie

In plaats van een enkele tekstsequentie te genereren met een vast zaad, onderhoudt WaterSearch een zaadpool van globale zaden bij elke generatiestap.

• Constructie van de Zaadpool: Een set vooraf gedefinieerde zaden wordt permutatie met een geheime sleutel ($\pi_{key}$) om reproduceerbaarheid voor detectie te waarborgen en gecontroleerde variatie in te brengen.
• Parallelle Kandidaten: Voor elk stukje tekst genereert het framework $k$ kandidaten parallel: één standaard niet-gewatermerkte sequentie en $k-1$ gewatermerkte sequenties, elk geïnstancieerd met een ander zaad uit de pool.
• Efficiëntie: Om de rekenkosten te beheersen, maakt het systeem gebruik van parallelle generatie met hergebruik van Key-Value (KV) cache, waardoor de geheugencomplexiteit wordt gereduceerd van $O(k(L+T))$ naar $O(k(L+m))$, waarbij $m$ de grootte van het stukje tekst is.

2. Selectie van Kandidaten

WaterSearch behandelt watermerking als een probleem van kandidaatselectie. Het evalueert de $k$ gegenereerde stukken met een gewogen objectieve functie $q(y, \tilde{y})$:
$$q(y, \tilde{y}) = \alpha q_{sim}(y, \tilde{y}) + (1 - \alpha) \frac{|\tilde{y}|_G}{|\tilde{y}|}$$
Waarbij:

• $q_{sim}$ de gelijkenis (lexicaal of semantisch) meet tussen de kandidaat en de niet-gewatermerkte referentie (trouw).
• $\frac{|\tilde{y}|_G}{|\tilde{y}|}$ het aandeel "groene lijst" tokens vertegenwoordigt (detecteerbaarheid).
• $\alpha$ een aanpasbare hyperparameter is die kwaliteit en detecteerbaarheid in evenwicht brengt.
  Het stukje met de hoogste score wordt geselecteerd en aan de context toegevoegd voor de volgende iteratie.

3. Detectiestrategie

Aangezien het specifieke zaad dat voor het geselecteerde stukje is gebruikt, niet expliciet bekend is bij de detector, hanteert WaterSearch een strategie van hypothetetoetsing gebaseerd op maximumstatistieken:

• Stuk-niveau Toetsing: Voor een gegeven tekststuk reconstrueert de detector de zaadpool en evalueert de watermerkstatistiek (aantal groene tokens) voor alle kandidaat-zaden.
• Maximumstatistiek: Het selecteert de maximale statistiek die wordt waargenomen in de zaadpool. Onder de nulhypothese ($H_0$, geen watermerk) wordt de verdeling van deze maximumstatistiek afgeleid uit het maximum van onafhankelijke binomiale variabelen.
• Aggregatie: P-waarden op stuk-niveau worden geaggregeerd met de methode van Fisher om een significantiescore op document-niveau te berekenen. Deze aanpak is robuust tegen token-niveau verstoringen en parafraseren omdat het bewijs over meerdere stukken cumuleert.

Belangrijkste Bijdragen

1. Zaad-niveau Perspectief: Het artikel identificeert dat willekeurige zaden watermerkgedrag aanzienlijk beïnvloeden en introduceert zaadpooling als een nieuw mechanisme om de ruimte van de afweging tussen kwaliteit en detecteerbaarheid te verkennen.
2. WaterSearch Framework: Een praktisch, modulair framework dat kandidaten genereert en selecteert onder verschillende zaden, compatibel met bestaande token-niveau watermerkmethode (bijvoorbeeld KGW, GPT Watermark).
3. Robuuste Detectie: Een detectiemethode gebaseerd op statistische variatie op zaad-niveau die geen expliciete zaadidentificatie vereist, en die robuustheid biedt tegen aanvallen.

Experimentele Resultaten

Experimenten werden uitgevoerd op WaterBench (omvattende 10 taken, waaronder korte/lange teksten, QA en code) en RepoBench-P over drie modellen (Qwen2.5-7B, Llama2-7B, InternLM-7B) en vier watermerk-baselines.

• Algemene Prestaties: WaterSearch presteerde consistent beter dan basismethoden in alle instellingen, met een gemiddelde absolute winst van ongeveer 5,5 punten in het geometrisch gemiddelde (GM) van kwaliteits- en detectiemaatstaven.
• Uitdagende Scenario's:
  • Generatie van korte teksten: Aanzienlijke verbeteringen in detectiesuccespercentages (bijvoorbeeld +26,9 punten in Copen, +3,7 in HotpotQA) waar token-budgetten beperkt zijn.
  • Generatie met lage entropie: Opmerkelijke winsten in taken voor het voltooien van code (LCC, RepoBench-P), met een gemiddelde winst van 4,7 punten, waarbij hoge tekstkwaliteit wordt behouden terwijl de detecteerbaarheid wordt verbeterd.
• Robuustheid: De methode toonde superieure weerstand tegen invoegingsaanvallen, synoniemsubstitutie en parafrase-aanvallen (Pegasus, Parrot) in vergelijking met baselines.
• Ablatiestudies:
  • Het vergroten van de parallelle beam-grootte ($K$) verbeterde zowel kwaliteit als detectie, waarbij zelfs $K=2$ winsten toonde ten opzichte van baselines.
  • De afwegingsfactor $\alpha$ maakt flexibele controle mogelijk, waarbij WaterSearch een betere Pareto-grens bereikt dan baselines.

Betekenis en Beweringen

Het artikel beweert dat het behandelen van willekeurigheid (willekeurige zaden) als een controleerbare variabele een principiële manier biedt om watermerking te verbeteren zonder de token-niveau generatielogica fundamenteel te veranderen. Door gebruik te maken van zaaddiversiteit navigeert WaterSearch effectief door de afweging tussen kwaliteit en detecteerbaarheid, met name in scenario's waar traditionele verstoringmethoden moeite hebben. De auteurs benadrukken dat hun aanpak modulair is en compatibel met bestaande watermerkschema's, en een praktische oplossing biedt voor het implementeren van robuuste watermerken in real-world LLM-toepassingen.

Het werk erkent beperkingen, met de opmerking dat het de beperkingen van de onderliggende watermerkmethode erft (bijvoorbeeld de mogelijke impact van KGW op kwaliteit) en extra rekenkosten met zich meebrengt, hoewel dit wordt gemitigeerd door hergebruik van KV-cache. Voor toekomstig werk wordt voorgesteld om zich te richten op het verbeteren van de bemonsteringsefficiëntie en het verminderen van kosten.