💬 NLP

XMark: Reliable Multi-Bit Watermarking for LLM-Generated Texts

Het paper introduceert XMark, een nieuwe methode voor betrouwbare multi-bit watermerking in door LLM's gegenereerde teksten die de decodeerbaarheid bij beperkte tokenhoeveelheden verbetert en tegelijkertijd de tekstkwaliteit behoudt.

Oorspronkelijke auteurs: Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

Gepubliceerd 2026-04-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

XMARK: De Onzichtbare Handtekening voor AI-teksten

Stel je voor dat je een meesterlijke schilderij hebt gemaakt, maar je wilt dat iedereen weet dat jij het hebt geschilderd, zelfs als iemand anders het probeert te kopiëren of te verkopen als zijns. In de wereld van kunst hang je een onzichtbare handtekening in de verf.

In de wereld van kunstmatige intelligentie (AI), zoals ChatGPT of LLaMA, is het lastiger. Deze AI's schrijven prachtige teksten, maar wat als iemand deze teksten gebruikt om nepnieuws te verspreiden of mensen op te lichten? We hebben een manier nodig om te zeggen: "Deze tekst is door een AI geschreven, en hier is de identiteit van de gebruiker."

Dat is waar XMARK voor komt. Het is een slimme methode om een onzichtbaar, digitaal watermerk in AI-teksten te verstoppen. Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Probleem met de Oude Manieren

Vroeger hadden we twee soorten "watermerken":

De "Ja/Nee"-vlag: Dit kon alleen zeggen: "Ja, dit is AI." Maar het kon niet vertellen wie het had geschreven of wanneer.
De "Boodschapper": Dit kon een berichtje versturen (bijv. een gebruikers-ID), maar het had twee grote nadelen:
- Het maakte de tekst vaak lelijk of onnatuurlijk (alsof je een schilderij met groene verf overdekt).
- Het werkte slecht als de tekst kort was. Als je maar een paar zinnen had, kon de decoder het bericht niet meer lezen. Het was alsof je probeert een code te kraken op basis van slechts één woord.

De Oplossing: XMARK

XMARK is als een slimme, onzichtbare inkt die niet alleen de tekst niet bederft, maar ook heel goed te lezen is, zelfs in korte zinnen.

1. De "Groene Lijst" (Het Speelgoed)

Stel je voor dat de AI een enorme doos met speelgoed heeft (woorden). Om een watermerk te maken, moet de AI bepaalde woorden vaker kiezen dan anders.

Oude methode: De AI koos maar een heel klein groepje woorden (bijvoorbeeld 25% van de doos) om vaker te kiezen. Dit maakte de tekst onnatuurlijk, alsof je alleen maar met rode blokjes bouwt.
XMARK-methode (LOSO): XMARK doet het omgekeerd! Het zegt: "Kies alle woorden, behalve één heel klein groepje."
- Analogie: Stel je een grote groep vrienden voor. In plaats van één vriend uit te kiezen om een geheim te dragen, laten we alle vrienden het geheim dragen, behalve één specifieke vriend. Omdat de meeste woorden (vrienden) normaal blijven, klinkt de tekst heel natuurlijk. Alleen die ene "uitgesloten" vriend is het geheim.

2. De "Onvervalste Lijst" (Evergreen List)

Hier wordt het nog slimmer. Soms is de tekst kort, en dan is het moeilijk om te zien welke "vriend" het geheim draagt.

XMARK gebruikt meerdere sleutels: In plaats van één keer te kijken, gebruikt XMARK meerdere sleutels (zoals verschillende vergrootglazen) om naar de woorden te kijken.
Het Overlap-effect: Het zoekt naar woorden die in alle vergrootglazen als "normaal" worden gezien. Deze woorden vormen de "Onvervalste Lijst".
Analogie: Stel je voor dat je een spoorzoeker bent. Je hebt drie verschillende teams die naar een verdachte kijken. Als een persoon in alle drie de teams als "onschuldig" wordt gezien, dan is die persoon waarschijnlijk echt onschuldig. XMARK gebruikt dit principe om de "goede" woorden te vinden en ze een klein beetje te stimuleren. Hierdoor is het signaal sterker, zelfs als er weinig tekst is.

3. De Slimme Decoder (De Telefooncel)

Wanneer iemand de tekst wil controleren, moet hij het watermerk "lezen".

Oude methode: Telde elke keer dat een woord verscheen. Als een woord per ongeluk twee keer in een "verkeerde" groep viel, werd de telling verward.
XMARK-methode (cTMM): Deze methode is slimmer. Het zorgt ervoor dat elk woord maar één keer telt voor een specifieke groep, zelfs als het woord in meerdere vergrootglazen valt.
- Analogie: Stel je een klaslokaal voor waar leerlingen moeten tellen wie er bij welke groep hoort. Als een leerling per ongeluk twee keer in de lijst van groep A wordt gezet, is de telling verkeerd. XMARK zorgt ervoor dat elke leerling maar één keer in de lijst van die groep wordt geschreven, zodat de teller nooit "opblaast" en het resultaat altijd klopt.

Waarom is dit geweldig?

Natuurlijk klinkend: Omdat XMARK de meeste woorden normaal laat, klinkt de tekst niet als een robot. De kwaliteit blijft hoog.
Sterk signaal: Zelfs bij korte teksten (zoals een korte reactie op Twitter) kan XMARK het bericht nog steeds betrouwbaar lezen.
Veilig: Het is moeilijk om dit watermerk te verwijderen zonder de tekst te vernietigen. Als iemand probeert de tekst te herschrijven (paraphrasing), blijft het signaal vaak nog steeds zichtbaar.

Samenvattend

XMARK is als een onzichtbare, onuitwisbare stempel die AI-teksten een identiteit geeft. Het gebruikt slimme wiskunde om de tekst niet te bederven, maar zorgt er toch voor dat we altijd kunnen achterhalen wie de AI heeft gebruikt, zelfs als de tekst kort is of bewerkt is. Het is een grote stap voorwaarts in het veilig en ethisch gebruik van kunstmatige intelligentie.

Probleemstelling

De snelle opkomst van Large Language Models (LLM's) heeft geleid tot zorgen over misbruik, zoals het genereren van nepnieuws of phishing-e-mails. Om de herkomst van gegenereerde tekst te traceren, is watermarking (watermerking) ontwikkeld.

Zero-bit vs. Multi-bit: Bestaande methoden zijn vaak "zero-bit" (ze detecteren alleen of tekst door een AI is gegenereerd). "Multi-bit" watermerking is echter noodzakelijk om specifieke metadata (zoals gebruikers-ID's of tijdstempels) te coderen in de tekst.
Bestaande beperkingen: Huidige multi-bit methoden kampen met drie hoofdproblemen:
1. Rekenkundige complexiteit: Sommige methoden vereisen brute-force enumeratie voor lange berichten, wat onhaalbaar is.
2. Kwaliteit vs. Accuratie: Er is vaak een slechte afweging tussen de kwaliteit van de gegenereerde tekst en de nauwkeurigheid van het decoderen. Methoden die de tekstkwaliteit behouden, hebben vaak een lage decoderingsnauwkeurigheid, en vice versa.
3. Beperkte token-lengte: Bestaande methoden presteren slecht wanneer de verdachte tekst kort is (beperkt aantal tokens), wat in de praktijk vaak voorkomt.

Methodologie: XMARK

XMARK is een nieuwe methode voor het coderen en decoderen van binaire berichten in door LLM's gegenereerde tekst. De kern van de methode ligt in drie innovatieve ontwerpelementen:

1. Leave-one-Shard-out (LOSO) Encoding

In tegenstelling tot eerdere methoden (zoals MPAC) die een klein deel van het vocabulaire (de "groene lijst") verstoren om het bericht te coderen, gebruikt XMARK een omgekeerde aanpak:

Het vocabulaire wordt gepermuteerd en opgedeeld in $2^d$ shards (delen).
In plaats van één shard te selecteren als de groene lijst, worden alle shards behalve de ene die overeenkomt met het te coderen bericht geselecteerd als de groene lijst.
Voordeel: Dit resulteert in een veel grotere verhouding van de groene lijst ( $\gamma \approx 1 - 2^{-d}$ in plaats van $2^{-d}$ ), wat de verdeling van de logits (kansen voor tokens) minder verstoort en de tekstkwaliteit aanzienlijk behoudt.

2. Evergreen List (Door meerdere permutaties)

Om de decoderingsnauwkeurigheid te verhogen, zelfs bij korte teksten, gebruikt XMARK $k$ verschillende hash-sleutels:

Er worden $k$ verschillende permutaties van het vocabulaire gegenereerd.
Voor elke permutatie wordt een LOSO-groene lijst gegenereerd.
De Evergreen List wordt gevormd door het doorsnede (intersection) van al deze $k$ groene lijsten.
Alleen tokens in deze Evergreen List krijgen een bias (verhoogde kans) tijdens het genereren.
Voordeel: Dit zorgt voor meer observaties per token tijdens het decoderen, wat de betrouwbaarheid verhoogt.

3. Constrained Token-Shard Mapping Matrix (cTMM)

Voor het decoderen wordt een nieuwe decoder ontworpen die een beperkte matrix (cTMM) gebruikt:

Bestaande methoden tellen tokens naar shards, maar dit kan leiden tot dubbeltellingen als een token in meerdere groene lijsten voorkomt (wat de onderscheiding tussen "versterkte" en "niet-versterkte" shards vertroebelt).
De cTMM beperkt elke token om maximaal één keer bij te dragen aan de telling van een specifieke shard.
Voordeel: Dit voorkomt dat de telling van de niet-versterkte shard (die het bericht codeert) kunstmatig wordt opgeblazen, waardoor de decodering nauwkeuriger is, vooral bij een beperkt aantal tokens.

Belangrijkste Bijdragen

XMARK Framework: Een nieuw framework dat LOSO, Evergreen Lists en cTMM combineert om zowel tekstkwaliteit als decoderingsnauwkeurigheid te optimaliseren.
Verbeterde Robuustheid: XMARK lost het probleem op van lage nauwkeurigheid bij korte teksten, een veelvoorkomend probleem bij bestaande methoden.
Efficiëntie: De methode vermijdt brute-force enumeratie, waardoor decodering snel en schaalbaar blijft, zelfs voor lange berichten.
Theoretische Onderbouwing: Het paper biedt een wiskundige analyse van de verwachte verhouding van de groene lijst en de impact van hyperparameters ( $k$ en $d$ ).

Resultaten

Uitgebreide experimenten op diverse downstream-taken (tekstvoltooiing, samenvatting, verhaalgeneratie, machine vertaling) met modellen zoals LLaMA-2-7B tonen het volgende:

Decoderingsnauwkeurigheid (Bit Accuracy): XMARK presteert consequent beter dan state-of-the-art methoden (zoals MPAC, StealthInk, RSBH).
- Bij tekstvoltooiing met slechts 150 tokens bereikt XMARK een nauwkeurigheid van 98,75%, terwijl de beste concurrent (MPAC) rond de 94% blijft.
- Bij samenvatting en verhaalgeneratie overtreft XMARK MPAC met respectievelijk +5,81% en +6,81% in gemiddelde nauwkeurigheid.
Tekstkwaliteit (Perplexity): Dankzij de LOSO-strategie behoudt XMARK de tekstkwaliteit beter dan MPAC. De perplexiteit (PPL) is lager en dichter bij die van niet-gewatermerkte tekst.
Robuustheid: XMARK toont superioriteit tegenover tekstbewerkingsaanvallen (zoals "Copy-Paste" en "Paraphrase").
Schaalbaarheid: De methode blijft effectief bij langere berichten (tot $b=64$ bits) en lange teksten, waarbij het de beste balans behoudt tussen nauwkeurigheid en kwaliteit.
Snelheid: De decodering is extreem snel (0,08 seconden), vergelijkbaar met de snelste bestaande methoden en veel sneller dan methoden die brute-force gebruiken.

Betekenis en Conclusie

XMARK vertegenwoordigt een aanzienlijke stap voorwaarts in de beveiliging en traceerbaarheid van AI-gegenereerde tekst. Het lost het fundamentele dilemma op tussen het behoud van hoge tekstkwaliteit en het garanderen van betrouwbare decodering, zelfs onder realistische beperkingen (zoals korte teksten).

De methode maakt het mogelijk om rijke metadata (zoals unieke gebruikers-ID's) onzichtbaar en betrouwbaar in LLM-uitvoer te verstoppen zonder de bruikbaarheid van de tekst te schaden. Dit is cruciaal voor het bestrijden van misbruik van generatieve AI, het waarborgen van auteursrechten en het waarborgen van de integriteit van informatie in een tijdperk waarin AI-inhoud steeds vaker voorkomt. De auteurs benoemen wel nog beperkingen, zoals de optimalisatie van hyperparameters en de weerstand tegen geavanceerde aanvalsmethoden, als richtingen voor toekomstig onderzoek.