💬 NLP

SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking

Dit artikel introduceert SSG, een nieuwe methode voor LLM-watermarking die de detecteerbaarheid van watermerken in situaties met lage entropie (zoals bij code- en wiskundige generatie) verbetert door de woordenschat te verdelen op basis van logit-balans.

Oorspronkelijke auteurs: Chenxi Gu, Xiaoning Du, John Grundy

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chenxi Gu, Xiaoning Du, John Grundy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een geheime club hebt. Om te weten of iemand echt bij de club hoort, moet diegene een subtiel teken geven terwijl hij praat—bijvoorbeeld door net iets vaker het woord "fantastisch" te gebruiken in plaats van "goed". Dit is eigenlijk wat watermarking doet voor AI: het laat de computer een heel klein, onzichtbaar patroon achterlaten in de tekst, zodat we later kunnen bewijzen: "Hé, dit is geschreven door een AI!"

Maar hier komt het probleem: de onderzoekers van de Monash University hebben ontdekt dat dit systeem een zwak punt heeft, vooral bij taken zoals programmeren (code) of wiskunde.

Het probleem: De "Eenzame Keuze"

Stel je voor dat je een spelletje speelt waarbij je moet kiezen uit een bak met snoepjes. Bij een normaal gesprek is de bak gevuld met honderden verschillende kleuren (hoge entropie). Als ik zeg dat je vaker de blauwe snoepjes moet pakken, valt dat op.

Maar bij wiskunde of code is de situatie anders. Het is alsof er in de bak maar drie snoepjes liggen: een rode, een blauwe en een groene. De kans dat de juiste oplossing een "rode" is, is bijna 100%. Als ik dan probeer te zeggen: "Pak vaker de blauwe snoepjes!", dan kan dat niet, want als je een blauw snoepje pakt, klopt je wiskundige formule niet meer! De AI moet namelijk het juiste antwoord geven, niet het "watermerk-antwoord".

In de wetenschap noemen ze dit een "low-entropy" situatie. De AI heeft bijna geen keuze, en daardoor verdwijnt het watermerk in de ruis. Het is alsof je probeert een fluistering te horen in een kamer waar een straaljager doorheen vliegt.

De oplossing: SSG (De Slimme Verdelers)

De onderzoekers hebben een nieuwe methode bedacht genaamd SSG (Sort-then-Split by Groups).

In plaats van de snoepjes (de woorden) willekeurig in twee groepen te verdelen (de "groene" groep voor het watermerk en de "rode" groep voor de rest), doen ze nu iets veel slimmer. Ze sorteren eerst alle woorden op basis van hoe belangrijk ze zijn.

De metafoor: De Danspartners
Stel je een bal voor waar honderden mensen dansen. De belangrijkste mensen (de woorden die de AI echt wil gebruiken voor de juiste code) staan in het midden van de dansvloer.

De oude methode (KGW): De beveiliging deelt de mensen willekeurig in twee groepen in. Het kan zomaar gebeuren dat álle belangrijke dansers in de "rode" groep terechtkomen. Dan kan de beveiliging geen enkel signaal meer geven zonder de dans te verpesten.
De nieuwe methode (SSG): De beveiliging kijkt naar de belangrijkste dansers en zorgt ervoor dat ze altijd in paren dansen. Van elk paar krijgt één persoon een groen lintje en de ander een rood lintje.

Hierdoor is de kans gegarandeerd dat de "belangrijkste" woorden eerlijk verdeeld zijn tussen de twee groepen. De AI kan nu nog steeds het juiste antwoord geven (de juiste danspartners kiezen), maar omdat de groepen perfect in balans zijn, is het watermerk veel makkelijker te herkennen.

Wat betekent dit in de praktijk?

Dankzij SSG kunnen we AI-gegenereerde code of wiskundige oplossingen veel beter herkennen, zonder dat de AI er slechter in wordt. De kwaliteit van de code blijft hoog, maar de "onzichtbare handtekening" van de maker is veel duidelijker aanwezig.

Het is alsof je een onzichtbare inkt gebruikt die alleen zichtbaar wordt als je de juiste bril opzet, zelfs als je schrijft op een heel klein en moeilijk papiertje.

Technische Samenvatting: SSG (Sort-then-Split by Groups)

1. Het Probleem: De beperking van KGW in "Low-Entropy" scenario's

De huidige standaard voor watermerking in Large Language Models (LLM's) is het KGW-schema (Kirchenbauer et al.). Dit schema verdeelt de woordenschat (vocabulary) in twee groepen: "groen" en "rood", gebaseerd op een hash-functie. De logits (voorspellingswaarden) van de groene tokens worden verhoogd om een statistisch signaal te creëren dat detecteerbaar is.

Het onderzoek identificeert een kritiek probleem: in low-entropy settings (zoals het genereren van programmeercode of wiskundige bewijzen) is de kansverdeling van het volgende token zeer scherp geconcentreerd op slechts enkele kandidaten. Bij de standaard KGW-methode is de verdeling van de woordenschat willekeurig. Dit leidt ertoe dat in low-entropy scenario's alle tokens met een hoge waarschijnlijkheid (high-logit tokens) per toeval in dezelfde groep (bijv. alleen rood) terecht kunnen vallen. Hierdoor kan het watermerk nauwelijks worden geïnjecteerd zonder de kwaliteit van de tekst drastisch te verslechteren, wat de detecteerbaarheid minimaliseert.

2. Methodologie: SSG (Sort-then-Split by Groups)

De auteurs introduceren een nieuw algoritme genaamd SSG om dit probleem op te lossen door de woordenschat niet willekeurig, maar logit-gebalanceerd te partitioneren.

Het proces van SSG:

Sorteren: De logits van alle tokens in de vocabulaire worden in aflopende volgorde gesorteerd.
Groeperen: De tokens worden in opeenvolgende paren (groepen van twee) verdeeld op basis van hun rangorde.
Balanceren: Voor elk paar wordt via een pseudorandom generator (gebaseerd op een geheime sleutel) bepaald welk token de "groene" kleur krijgt en welk token "rood" wordt.
Injectie: De logits van de groene tokens worden verhoogd met een bias $\delta$ .

Efficiëntie-optimalisatie (Top-k):
Omdat het sorteren van de volledige vocabulaire bij elke stap rekenintensief is, stellen de auteurs een efficiënte variant voor: SSG wordt alleen toegepast op de top- $k$ tokens met de hoogste waarschijnlijkheid. De rest van de vocabulaire wordt willekeurig verdeeld. Dit is voldoende omdat in low-entropy scenario's de meeste massa toch in de top- $k$ tokens zit.

3. Belangrijkste Bijdragen

Introductie van "Watermark Strength": Een nieuwe token-niveau metriek die kwantificeert hoeveel de bias $\delta$ de kansverdeling daadwerkelijk verschuift naar de groene set.
Theoretische Analyse: De auteurs bewijzen dat SSG een hogere ondergrens (lower bound) garandeert voor de watermark strength. Waar KGW kan falen als de top-tokens allemaal in één set vallen, dwingt SSG af dat de hoogste waarschijnlijkheden verdeeld zijn over beide sets.
Nieuw Algoritme: Het SSG-algoritme dat de detecteerbaarheid verhoogt zonder de tekstkwaliteit (zoals de Pass@1 score) aan te tasten.

4. Resultaten

De evaluatie vond plaats op diverse datasets voor code-generatie (HumanEval, MBPP) en wiskundige redenering (GSM8K), gebruikmakend van modellen zoals Qwen2.5-Coder en LLaMA-3.

Verbeterde Detecteerbaarheid: SSG verhoogt de True Positive Rate (TPR) en de F1-score aanzienlijk bij zowel lage als hoge foutpercentages (FPR). In sommige gevallen is de verbetering in detectie enorm vergeleken met de standaard KGW-methode.
Behoud van Kwaliteit: In tegenstelling tot methoden die de bias $\delta$ verhogen om detectie te verbeteren (wat de tekstkwaliteit verslechtert), behoudt SSG de nauwkeurigheid van de gegenereerde output (bijv. de correctheid van code).
Top-k Trade-off: Experimenten tonen aan dat een kleine $k$ (bijv. $k=2$ of $k=4$ ) al voldoende is voor maximale detectie, terwijl een grotere $k$ de rekenkracht onnodig belast zonder extra winst.

5. Betekenis en Conclusie

Het onderzoek is significant omdat het een fundamentele zwakte in bestaande watermerktechnieken voor LLM's blootlegt en oplost. Door de focus te verleggen van het aanpassen van de detectie-algoritmen naar het optimaliseren van het injectie-algoritme (de manier waarop de vocabulaire wordt verdeeld), biedt SSG een robuustere oplossing voor het traceren van AI-gegenereerde content in gespecialiseerde domeinen zoals programmeren en wetenschappelijk rekenwerk. Dit is cruciaal voor auteursrechtbescherming en het bestrijden van desinformatie.