🤖 machine learning

MC $^2$ Mark: Distortion-Free Multi-Bit Watermarking for Long Messages

Het artikel introduceert MC $^2$ Mark, een vervormingsvrij framework voor multi-bit watermerken dat via gekleurd herschalen en sequentiële herschaling betrouwbare en robuuste identificatie van lange teksten mogelijk maakt zonder de kwaliteit van gegenereerde tekst te beïnvloeden.

Oorspronkelijke auteurs: Xuehao Cui, Ruibo Chen, Yihan Wu, Heng Huang

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuehao Cui, Ruibo Chen, Yihan Wu, Heng Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🌊 De Onzichtbare Golf in de Zee van Woorden

Stel je voor dat Large Language Models (zoals de slimme chatbots van vandaag) een enorme zee van woorden zijn. Ze schrijven verhalen, rapporten en berichten die zo menselijk klinken dat je ze nauwelijks van echt onderscheidt. Dat is geweldig, maar het brengt een probleem met zich mee: hoe weet je wie het geschreven heeft? Is het een mens of een robot? En als het een robot is, welke robot precies?

Om dit op te lossen, hebben onderzoekers watermerken bedacht. Denk aan een watermerk als een onzichtbare inkt die in het papier wordt gedrukt. Als je naar het papier kijkt, zie je niets, maar met een speciale lamp (een detector) kun je het logo zien.

Het probleem met de oude methoden:
Tot nu toe waren deze watermerken als een zware steen in een bootje. Om het watermerk te verstoppen, moesten de schrijvers (de AI) soms hun zinnen een beetje aanpassen, waardoor de tekst minder natuurlijk klonk. Of ze konden maar een heel kort berichtje verstoppen, zoals een "ja" of "nee". Als je een lang verhaal wilde verstoppen (bijvoorbeeld een geheime code van 256 bits), viel de kwaliteit van de tekst vaak in of verdween het watermerk helemaal.

De oplossing: MC2MARK
De auteurs van dit paper hebben MC2MARK bedacht. Dit is een nieuwe manier om lange, geheime berichten in tekst te verstoppen, zonder dat de tekst er ook maar één beetje anders uitziet. Het is alsof je een geheime boodschap in een golfbeweging van de zee verbergt, zonder dat de golven zelf veranderen.

Hier zijn de drie magische trucs die ze gebruiken:

1. De "Kleurrijke Sorteerder" (Multi-Channel Colored Reweighting)

Stel je voor dat je een grote doos met Lego-blokjes hebt (de woorden die de AI kan kiezen).

Oude methode: Je probeert bepaalde blokjes vaker te kiezen door ze fysiek groter te maken. Dat verandert de doos (de tekst wordt onnatuurlijk).
MC2MARK methode: Je deelt de doos in verschillende vakjes in. Je zegt: "Voor dit stukje van het verhaal, kies je blokjes uit vakje A als het geheim 'rood' is, en uit vakje B als het 'groen' is."
De magie: Je verandert de kans om een blokje te kiezen, maar je doet het zo slim dat, als je naar de hele doos kijkt, het er nog steeds precies hetzelfde uitziet als voorheen. Het is alsof je een danspas verandert, maar de danser beweegt nog steeds even soepel. Je kunt hierdoor een lang rijtje van rood/groen (een binair bericht) verstoppen zonder dat de lezer iets merkt.

2. De "Meerdere Lagen" (Multi-Layer Sequential Reweighting)

Stel je voor dat je een brief verstuurt, maar je wilt zeker weten dat hij aankomt, zelfs als de postbode een paar bladzijden verliest of beschadigt.

De oude methoden schreven de boodschap maar één keer.
MC2MARK schrijft de boodschap meerdere keren door elkaar heen, als lagen in een lasagne. Elke "laag" is een nieuwe kans om het signaal te versterken.
Zelfs als de tekst later wordt aangepast (bijvoorbeeld door een parafraaseer die zinnen herschrijft), blijven er genoeg "kruiden" van de lasagne over om de smaak (de boodschap) nog steeds te herkennen.

3. De "Detective met een Kladblok" (Evidence Accumulation)

Hoe lees je dit nu terug?

Stel je voor dat je een detective bent die een lange tekst leest. Je hebt geen geheime sleutel, maar je weet wel hoe de AI werkt.
Bij elk woord dat de AI kiest, kijkt de detective: "Kies dit woord uit het 'groene' vakje? Dan is dat een aanwijzing dat het geheime getal '1' is. Kiest hij uit het 'rode' vakje? Dan is het '0'."
De detective schrijft elke aanwijzing op in een kladblok. Na het lezen van de hele tekst telt hij op: "Oké, bij woord 1 was het 60% kans op '1', bij woord 2 was het 55%..."
Door al deze kleine aanwijzingen bij elkaar op te tellen (evidence accumulation), wordt het patroon zo sterk dat de detective de geheime boodschap met bijna 100% zekerheid kan teruglezen, zelfs als de tekst heel lang is.

🏆 Wat is het resultaat?

De onderzoekers hebben dit getest op duizenden teksten, van boekverslagen tot nieuwsartikelen.

Kwaliteit: De teksten klinken nog steeds perfect menselijk. Er is geen merkbare verslechtering.
Lengte: Ze kunnen nu hele lange berichten verstoppen (bijvoorbeeld 256 bits, wat veel meer is dan alleen een ja/nee).
Sterkte: Zelfs als iemand 50% van de woorden in de tekst verwisselt of de tekst laat herschrijven door een andere AI, blijft het watermerk herkenbaar.
Prestatie: Voor lange berichten werkt hun methode 30% beter dan de beste methoden die er nu zijn.

🎯 Conclusie in één zin

MC2MARK is als een onzichtbare, onuitwisbare stempel die je in een heel lang verhaal kunt zetten zonder de tekst te veranderen, zodat je later altijd kunt bewijzen wie het verhaal heeft geschreven, zelfs als het verhaal door iemand anders is aangepast.

Het is een belangrijke stap om te weten welke teksten door AI zijn gemaakt en welke door mensen, zonder dat de AI daarvoor "stottert" of slechte zinnen maakt.

1. Het Probleem

Grote Taalmodellen (LLM's) genereren tegenwoordig tekst die nauwelijks te onderscheiden is van menselijk geschreven tekst. Dit creëert een dringende behoefte aan betrouwbare herkomstverificatie (provenance tracing). Hoewel statistische watermerken bestaan om machine-gegenereerde tekst te detecteren, kampen bestaande methoden met twee grote beperkingen:

Kwaliteitsverlies: Veel methoden verstoren de oorspronkelijke token-verdeling van het model, wat de kwaliteit en natuurlijkheid van de gegenereerde tekst aantast.
Beperkte capaciteit: Bestaande "distortion-free" (vervormingsvrije) methoden kunnen vaak alleen een binair besluit maken (watermerk aanwezig of niet), maar geen lange berichten (multi-bit) embedden. Methoden die wel multi-bit watermerken proberen, verliezen vaak hun vervormingsvrije eigenschap of hun detecteerbaarheid neemt sterk af naarmate de berichtlengte toeneemt.

Het doel van dit paper is een methode te ontwikkelen die lange berichten betrouwbaar kan embedden en detecteren, zonder de kwaliteit van de gegenereerde tekst te beïnvloeden.

2. Methodologie: MC2MARK

De auteurs stellen MC2MARK voor, een framework dat drie kerncomponenten combineert om het probleem op te lossen:

A. Multi-Channel Colored Reweighting (MCCR)

Dit is de kern van het embedden van de data.

Concept: Het vocabulaire van het taalmodel wordt opgedeeld in $n$ disjuncte subsets (kanalen). Een $n$ -bit bericht wordt geïnterpreteerd als een kleurtoewijzing voor deze subsets: een bit van 1 maakt een subset "groen" (verhoogde kans), een 0 maakt het "rood" (verlaagde kans).
Optimalisatie: De methode zoekt naar schalingsfactoren ( $\alpha$ ) voor elke subset om de kans op groene tokens te maximaliseren, onder de strikte voorwaarde dat de verwachte token-verdeling ongewijzigd blijft (distortion-free).
Techniek: Door gebruik te maken van symmetrie in de sleutelruimte en een heuristische oplossing voor een lineair programmeringsprobleem, wordt de overloop van waarschijnlijkheid (overflow) proportioneel verdeeld. Dit zorgt ervoor dat de totale kansverdeling in verwachting gelijk blijft aan de originele verdeling, waardoor de tekstkwaliteit behouden blijft.

B. Multi-Layer Sequential Reweighting (MLSR)

Om de signaalsterkte te vergroten, vooral voor lange berichten:

Het watermerken gebeurt niet in één stap, maar via meerdere lagen ( $m$ ).
Bij elke generatiestap worden meerdere onafhankelijke watermerksleutels gebruikt om de token-verdeling sequentieel opnieuw te wegen.
Omdat elke laag distortion-free is en de sleutels onafhankelijk zijn, blijft de gecombineerde multi-layer verdeling ook distortion-free. Dit versterkt het statistische signaal dat nodig is voor detectie.

C. Detectie via Evidentie-Accumulatie

De detector moet het embedded bericht terugwinnen zonder toegang te hebben tot de originele payload.

Reconstructie: De detector reconstrueert deterministisch dezelfde watermerksleutels, segmenten en maskers die tijdens de generatie zijn gebruikt (gebaseerd op de gegenereerde tekst en een geheime sleutel).
Evidentie: Voor elke gegenereerde token wordt gekeken of deze in een "groene" subset viel. Dit levert een bewijsstuk op voor de waarde van een specifiek bit in het bericht.
Normalisatie: Om bias te voorkomen (doordat sommige bits vaker worden getest dan andere door willekeurige masking), worden "hit-rates" genormaliseerd. Het bericht wordt gedecodeerd door voor elke bit de hypothese (0 of 1) te kiezen die de hoogste genormaliseerde hit-rate heeft.

3. Belangrijkste Bijdragen

MC2MARK Framework: Een nieuw, distortion-free framework voor multi-bit watermerken dat betrouwbaar werkt voor lange berichten.
Nieuwe Technieken: Introductie van Multi-Channel Colored Reweighting voor efficiënte embedden en Multi-Layer Sequential Reweighting voor signaalversterking.
Evidentie-gebaseerde Detectie: Een robuust detectieschema dat willekeurige variatie in het model en masking compenseert.
Empirisch Bewijs: Uitgebreide experimenten tonen aan dat de methode superieur is aan bestaande methoden (zoals MPAC en BiMark) in detecteerbaarheid en robuustheid, terwijl de tekstkwaliteit behouden blijft.

4. Resultaten

De auteurs hebben hun methode getest op diverse datasets (boekverslagen, nieuws, QA, etc.) met berichtlengtes variërend van 16 tot 512 bits.

Detecteerbaarheid:
- Voor korte berichten (16-32 bits) bereikt MC2MARK bijna 100% nauwkeurigheid.
- Voor lange berichten (256 bits) behaalt MC2MARK >91% nauwkeurigheid, wat een verbetering is van bijna 30% ten opzichte van de tweede beste methode (BiMark).
- In tegenstelling tot concurrenten, die sterk achteruitgaan bij langere berichten, blijft MC2MARK stabiel hoog.
Robuustheid:
- De methode is zeer resistent tegen random token replacement (tot 50% vervanging) en paraphrasing (via het Dipper-model).
- Bij 256 bits blijft de nauwkeurigheid boven de 90% zelfs bij 10% token-vervanging, terwijl andere methoden hier al sterk dalen.
Vervormingsvrijheid (Distortion-Freeness):
- Metingen aan tekstkwaliteit (BERTScore, ROUGE, Perplexity) voor samenvattingen en vertalingen tonen aan dat MC2MARK geen significant verschil introduceert ten opzichte van niet-gewatermerkte tekst. De semantische nauwkeurigheid en vloeiendheid blijven intact.

5. Betekenis en Impact

MC2MARK oplost een fundamenteel compromis in het veld van watermerken: de trade-off tussen berichtcapaciteit, robuustheid en tekstkwaliteit.

Praktische Toepassing: Het maakt het mogelijk om lange, unieke identificatoren (zoals gebruikers- of model-ID's) in gegenereerde tekst te embedden zonder de leesbaarheid te beïnvloeden.
Regulering: Het biedt een technische basis voor het toezicht op en de regulering van AI-gegenereerde content, wat essentieel is voor het bestrijden van misinformatie en het waarborgen van verantwoord gebruik van LLM's.
Toekomst: De methode stelt een nieuwe benchmark voor lange-bericht watermerken en opent de weg voor schaalbare, betrouwbare herkomstverificatie in real-world scenario's.