Technische Samenvatting: WorldCup Sampling voor Multi-bit LLM Watermerking

Probleemstelling

Naarmate Large Language Models (LLM's) tekst genereren die steeds minder te onderscheiden is van menselijk schrijven, zijn betrouwbare attributie en traceerbaarheid tot kritieke uitdagingen geworden. Hoewel zero-bit watermerking machinegegenereerde tekst effectief detecteert, mist het het vermogen om rijke provenance-metagegevens (zoals modelidentiteit en tijdstempels) in te bedden. Bestaande multi-bit watermerkingbenaderingen proberen zero-bit-schema's uit te breiden door berichten in het stochastische generatieproces in te bedden. Deze methoden vertrouwen echter doorgaans op statische logit-perturbaties en tellen-gebaseerde decoding. Deze ontwerpen lijden onder twee primaire beperkingen:

1. Verslechtering van Tekstkwaliteit: Statische logit-biasing interfereert met natuurlijke generatiedynamiek, vooral naarmate de payload-capaciteit toeneemt, wat leidt tot verminderde vloeiendheid.
2. Suboptimale Robuustheid: Tellen-gebaseerde decoding behandelt tokens als discrete binaire uitkomsten met gelijke gewicht, wat een mismatch creëert tussen zachte probabilistische embedding en harde aggregatie. Dit resulteert in slechte afwegingen tussen berichtcapaciteit en decoding-robustheid, vooral onder aanvallen of bij tokens met lage entropie.

Methodologie: Het WorldCup-kader

De auteurs stellen WorldCup voor, een multi-bit watermerkingkader dat het LLM-samplingproces herconceptualiseert als een gestructureerd communicatiekanaal. In plaats van statische logit-biasing, integreert WorldCup berichtcodering direct in de tokenselectie via een hiërarchisch competitie-mechanisme.

1. Codering: Hiërarchisch Toernooi Sampling

WorldCup modelleert de generatie van een enkele token als een meer-rond toernooi:

• Selectie van Kandidaten: Bij elke generatiestap $t$ worden $N^m$ kandidaat-tokens gesampled uit de verdeling $P_\Theta$ van het model.
• Complementaire $g$-Waarde Functies: Om een berichtbit te coderen, maakt het kader gebruik van twee families van pseudo-random functies, $g_0$ en $g_1$. Cruciaal zijn deze ontworpen als complementaire paren ($g_1 = 1 - g_0$). Dit induceert perfecte anti-correlatie, waardoor de statistische verdelingen van tokens die '0' en '1' coderen naar tegenovergestelde extremen worden geduwd, waardoor de discriminabiliteit wordt gemaximaliseerd.
• Toernooiproces: Kandidaten worden gegroepeerd en laag-voor-laag vergeleken met behulp van de geselecteerde familie van $g$-waarde functies. De token met de hoogste score in elke groep gaat door naar de volgende laag totdat er één "kampioen"-token overblijft.
• Gegeneneraliseerde Multi-bit Embedding: Om de capaciteit te vergroten, generaliseert het kader naar $k$ groepen van $g$-waarde functies, waardoor een enkele token $k$ bits tegelijkertijd kan coderen.
• Entropie-bewuste Modulatie: Om detecteerbaarheid in evenwicht te brengen met tekstkwaliteit, introduceert WorldCup een dynamisch aanpassingsfactor $\lambda$ gebaseerd op de lokale entropie van de outputverdeling van het model. Posities met hoge entropie (onzekerheid) staan sterkere watermerkscheiding toe, terwijl posities met lage entropie (hoge zekerheid) conservatieve modulatie gebruiken om vloeiendheid te behouden.

2. Decoding: Vertrouwensbewuste Aggregatie

WorldCup wijkt af van traditionele tellen-gebaseerde detectoren door een vertrouwensbewuste decodingstrategie toe te passen:

• Zachte Aggregatie: In plaats van tokens discreet af te beelden op binaire uitkomsten, aggregeert de decoder fijnkorrelige token-niveau scores over groepen die geassocieerd zijn met dezelfde berichtpositie.
• Betrouwbaarheids-gewichting: De methode berekent empirische gemiddelde $g$-waarden voor elke tokengroep. Door de scores van complementaire functies te vergelijken ($g$ versus $\bar{g}$), leidt de decoder de ingebedde bits af. Deze benadering weegt bewijs op basis van zijn statistische betrouwbaarheid, waardoor de onevenredige invloed van tokens met lage entropie wordt gematigd die tellen-gebaseerde methoden vaak verwarren.
• Hypothese-toetsing: Detectie wordt geformuleerd als een hypothese-toets met behulp van een gestandaardiseerde $z$-score afgeleid van cumulatieve, positie-bewuste statistieken.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. WorldCup Kader: Een veelzijdig multi-bit watermerkingssysteem dat is gevalideerd door theoretische analyse en uitgebreide empirische evaluatie, en dat sampling modelleert als een gestructureerd communicatiekanaal.
2. Vertrouwensbewuste Decoding: Een nieuw decodingparadigma dat hard tellen vervangt door zachte, betrouwbaarheids-gewogen aggregatie, wat zowel de decoding-nauwkeurigheid als -efficiëntie aanzienlijk verbetert.
3. Systematische Analyse: Een grondig onderzoek van ontwerpelementen (zoals complementaire $g$-waarden, entropie-modulatie, hyperparameters), wat bruikbare inzichten biedt voor toekomstig onderzoek.

Experimentele Resultaten

De auteurs evalueerden WorldCup op LLaMA3-8B en Gemma2-9B over diverse taken (vertaling, samenvatting, QA, wiskundig redeneren) en berichtlengtes (16 tot 48 bits).

• Decoding-nauwkeurigheid: WorldCup presteerde consistent beter dan baselines (MPAC, SegMark, StealthInk, BiMark). Bijvoorbeeld, op LLaMA3-8B met 16-bit berichten verbeterde het de bit-nauwkeurigheid met 3,2% ten opzichte van StealthInk en behaalde het bijna perfecte nauwkeurigheid (99,8% AUC) in zero-bit detectiescenario's.
• Tekstkwaliteit: WorldCup behield een lagere perplexiteit (PPL) dan de meeste baselines, wat wijst op betere behoud van vloeiendheid. De entropie-bewuste modulatie bleek cruciaal; het verwijderen ervan leidde tot aanzienlijk hogere PPL.
• Robuustheid: Onder diverse aanvallen (woordverwijdering, synoniemvervanging, copy-paste en parafraseren via Dipper) toonde WorldCup superieure robuustheid, met hogere AUROC en bit-nauwkeurigheid vergeleken met bestaande methoden.
• Efficiëntie: Het kader is zeer efficiënt, met decoding-tijden die gemiddeld 0,01–0,02 seconden per sample bedragen, aanzienlijk sneller dan methoden die een exhaustieve zoektocht of complexe nabewerking vereisen.

Betekenis en Claims

Het artikel beweert dat WorldCup een schaalbare en principiële basis legt voor toekomstig onderzoek naar multi-bit watermerking in LLM's. Door het samplingproces te behandelen als een communicatiekanaal en gebruik te maken van complementaire signalen, bereikt het kader een sterke balans over vijf kritieke dimensies:

1. Berichtcapaciteit
2. Detecteerbaarheid
3. Robuustheid
4. Tekstkwaliteit
5. Decoding-efficiëntie

De auteurs stellen dat WorldCup betrouwbare content-attributie mogelijk maakt zonder de kwaliteit van gegenereerde tekst te offeren, en zo een belangrijke knelpunt in huidige multi-bit watermerkingstechnieken aanpakt. Ze positioneren het werk als een stap naar praktische implementatie voor het verifiëren van LLM-contentintegriteit en provenance.

Opmerking: Het artikel erkent beperkingen, specifiek het ontbreken van een formele theoretische analyse van optimaliteit van token-niveau informatiec capaciteit en de noodzaak van verder onderzoek naar onvervalsbaarheid in multi-bit instellingen.