🤖 AI

Every Bit, Everywhere, All at Once: A Binomial Multibit LLM Watermark

Dit artikel introduceert een nieuw binaire multibit LLM-watermerkschema dat elke bit van een payload op elke tokenpositie codeert met behulp van een stateful encoder om dynamisch prioriteit te geven aan ondergecodeerde bits, waardoor superieure nauwkeurigheid en robuustheid worden bereikt ten opzichte van bestaande basismodellen, terwijl er tegelijkertijd een meer praktische per-bit betrouwbaarheidsscore-metriek wordt voorgesteld voor evaluatie.

Oorspronkelijke auteurs: Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Een Geheime Boodschap Verstoppen in een Boek

Stel je voor dat je een auteur bent (een AI) die een boek schrijft. Je wilt bewijzen dat jij een specifieke pagina hebt geschreven, of misschien wil je een geheime notitie verstoppen in de tekst, zoals een gebruikers-ID of een tijdstempel.

Lange tijd probeerden onderzoekers dit te doen door een enkele bit informatie (een "ja" of "nee") in elke zin te verstoppen. Dit is als het stempelen van een tiny "X" op elke pagina om te zeggen: "Deze pagina is echt." Het werkt voor detectie, maar het kan geen complexe boodschappen dragen zoals "Gebruiker #1234 heeft dit geschreven."

Om een langere boodschap te verstoppen (zoals een 32-bit of 64-bit code), probeerden eerdere methoden een strategie genaamd "Positie-toewijzing".

De Oude Manier: Stel je voor dat je een 32-bit geheim code hebt. De oude methode zegt: "Voor het eerste woord, verstop ik de eerste bit van de code. Voor het tweede woord, verstop ik de tweede bit. Voor het derde woord, de derde bit."
De Tekortkoming: Dit is als proberen een zware koffer te dragen door slechts één vinger per keer te gebruiken. Als je een woord mist, verlies je dat specifieke stukje van de puzzel. Ook wordt die "vinger" soms moe, en wordt de boodschap verward. Het is inefficiënt en breekbaar.

De Nieuwe Oplossing: De "Binomiale" Benadering

De auteurs stellen een fundamenteel nieuwe manier voor om de boodschap te verstoppen. In plaats van telkens één stukje van de puzzel te verstoppen, verstoppen ze de hele puzzel in elk enkel woord.

De Analogie: Het Koor en de Dirigent

Stel je een koor (de AI) voor dat een lied zingt.

Het Geheim: De dirigent heeft een geheim 32-notenmelodie (de boodschap) die hij het koor wil laten zingen.
De Oude Methode: De dirigent wijst naar de eerste zanger en zegt: "Zing noot 1." Dan wijst hij naar de tweede zanger: "Zing noot 2." Als de tweede zanger vergeet, is noot 2 voor altijd verloren.
De Nieuwe Methode (Binomiale Encoding): De dirigent vertelt elke enkele zanger om naar de hele 32-notenmelodie te luisteren.
- Voor elk woord dat ze zingen, passen de koorleden subtiel hun toonhoogte aan op basis van alle 32 noten tegelijk.
- Het is alsof elke zanger een klein, onzichtbaar kaartje van de hele melodie vasthoudt.
- Als je naar slechts één woord luistert, krijg je een vaag hint van de hele melodie. Als je naar het hele lied luistert, kun je de melodie perfect reconstrueren door een "meerderheidsstemming" te nemen van alle hints.

Waarom is dit beter?
Omdat de informatie overal aanwezig is. Zelfs als je een paar woorden verwijdert (of als de AI een fout maakt), bevat de rest van de tekst nog steeds het volledige geheim. Je hoeft niet het "juiste" woord te vinden om de "juiste" bit te vinden; elk woord heeft een stukje van het hele plaatje.

De "Staatgebonden" Upgrade: De Slimme Coach

De auteurs hebben een tweede laag van intelligentie toegevoegd, genaamd een Staatgebonden Encoder.

Het Probleem: Soms is de AI erg goed in het verstoppen van de eerste paar bits van het geheim, maar heeft het moeite met de laatste paar.
De Oplossing: De "Coach" (de encoder) kijkt naar het lied terwijl het wordt geschreven. Het beseft: "Hé, we hebben de eerste 20 noten veilig, maar de laatste 12 zijn wankel."
De Actie: De Coach fluistert dan naar de AI: "Stop met je zorgen over de eerste 20 noten. Richt al je energie erop om de laatste 12 noten perfect te maken."
Resultaat: Deze dynamische verschuiving van focus zorgt ervoor dat de hele boodschap helder naar buiten komt, in plaats van dat de zwakke onderdelen het hele ding naar beneden slepen.

Een Nieuwe Manier om Succes te Meten

Het artikel stelt ook dat we deze watermerken verkeerd meten.

Oude Maatstaf: "Als we weten dat deze tekst een watermerk heeft, hoe goed kunnen we dan het geheim lezen?"
- Analogie: "Als ik je zeg dat dit een geheim code is, kun je het kraken?" Dit negeert het feit dat in de echte wereld de meeste tekst geen geheim code is.
Nieuwe Maatstaf (Per-bit Zekerheid): "Als we naar willekeurige tekst kijken, kunnen we dan zeggen of er een geheim in zit? En zo ja, hoe zeker zijn we van elke specifieke bit?"
- Analogie: In plaats van alleen maar te gokken, geeft het systeem je een "zekerheidsscore" voor elke enkele bit. Het zegt: "Ik ben 99% zeker dat de eerste bit een 1 is, maar ik ben maar 50% zeker over de laatste." Dit voorkomt valse alarmen.

De Resultaten

De auteurs testten hun methode tegen 8 andere topmethoden met berichten van 16, 32 en 64 bits.

Betere Nauwkeurigheid: Hun methode ontcijferde de geheime berichten veel nauwkeuriger dan de anderen, vooral voor langere berichten.
Robuuster: Zelfs toen de tekst lichtjes werd veranderd (zoals het verwijderen van woorden of het vervangen van synoniemen), hield hun methode het beter vol dan de concurrentie.
Kwaliteit: De tekst klonk nog steeds natuurlijk en verloor niet veel kwaliteit (het klonk niet als een robot die te hard probeerde).

Samenvatting

Dit artikel introduceert een nieuwe manier om AI-tekst van een watermerk te voorzien. In plaats van één klein geheim stukje in elk woord te verstoppen, verbergt het het volledige geheime bericht in elk enkel woord. Het gebruikt een "slimme coach" om zich tijdens het genereren te richten op de zwakke plekken en introduceert een nieuwe manier om succes te meten die rekening houdt met ruis uit de echte wereld. Het resultaat is een systeem dat sterker, nauwkeuriger en beter is in het verstoppen van lange, complexe geheimen in het open zicht.

Technische Samenvatting: Elke Bit, Overal, Tegelijk: Een Binomiale Multibit LLM-Watermerk

Probleemstelling

Watermerking van Large Language Models (LLM) is overgegaan van theoretisch onderzoek naar commerciële implementatie, met voornamelijk de focus op zero-bit watermerken die een binair vraagstuk beantwoorden: "Is deze tekst gegenereerd door een specifiek model?" Echter, opkomende praktische toepassingen vereisen multibit watermerken die complexe payloads (zoals gebruikers-ID's, tijdstempels, licentie-metadata) direct in de gegenereerde tekst kunnen coderen.

Bestaande multibit-schema's vertrouwen overwegend op positietoewijzing (bijv. MPAC, MirrorMark), waarbij elke generatiestap slechts één bit van de payload op een specifieke positie codeert. Deze aanpak lijdt onder twee hoofdbeperkingen:

Sub-optimaliteit: Het coderen van slechts één bit per token is inefficiënt, en toegewezen posities kunnen ongelijkmatig verdeeld zijn.
Schaalbaarheid: Alternatieve benaderingen die positietoewijzing vermijden (bijv. Cycle-Shift, ArcMark) zijn computationeel beperkt tot korte payloads, omdat de decoderingstijd exponentieel toeneemt met de berichtlengte.

De centrale uitdaging die door dit werk wordt aangepakt, is het ontwerpen van een multibit-watermerkschema dat effectief lange bitstrings kan coderen zonder te vertrouwen op positietoewijzing, terwijl het toch hoge berichtnauwkeurigheid en robuustheid behoudt.

Methodologie

De auteurs stellen een fundamenteel nieuwe aanpak voor gebaseerd op binomiale codering, die het volledige bericht van bitstrings op elke tokenpositie codeert.

1. Binomiale Codering en Decodering

In tegenstelling tot eerdere werken die één bit per token selecteren om te coderen, codeert deze methode elke bit van de $m$ -bit payload op elke generatiestap.

Codering: Op elke tokenpositie $t$ samplet het systeem $m$ onafhankelijke Bernoulli(0.5) scorevectoren ( $G^1_t, \dots, G^m_t$ ) met behulp van een pseudorandom getalgenerator (PRNG) die is gezaaid met de context en een privésleutel. Voor elke bit $M_i$ in de payload wordt de corresponderende scorevector omgekeerd (gecomplementeerd) als $M_i = 1$ . De definitieve scorevector $\tilde{G}_t$ is de som van deze $m$ gewijzigde vectoren. De tokenverdeling wordt vervolgens bevooroordeeld ten gunste van tokens met hogere $\tilde{G}_t$ -scores.
Decodering: Om te decoderen, herberekent het systeem de Bernoulli-scores voor elke token in de tekst. De gedecodeerde bit voor positie $i$ wordt bepaald door een meerderheidsstem over alle tokens. Cruciaal biedt de methode per-bit betrouwbaarheidsscores met behulp van tweezijdige binomiale tests, waardoor het systeem de statistische significantie van elke gedecodeerde bit kan beoordelen zonder aan te nemen dat de tekst een watermerk bevat.

2. Stateful Encoder

Om de bitnauwkeurigheid te verbeteren, introduceren de auteurs een stateful encoder die de coderingsdruk tijdens de generatie dynamisch omleidt.

De encoder houdt de huidige decoderingstatistiek voor elke bit bij op basis van de gedeeltelijk gegenereerde sequentie.
Het berekent de verwachte worst-case bitnauwkeurigheid voor elke bit als de resterende tokens zonder watermerking worden gegenereerd.
De scorefunctie wordt aangepast om bits te prioriteren die momenteel ondergecodeerd zijn (d.w.z. die met decoderingstatistieken dicht bij de beslissingsgrens), waardoor de verwachte algehele bitnauwkeurigheid wordt gemaximaliseerd.

3. Evaluatiemetrics

Het artikel daagt bestaande evaluatiemetrics uit (zoals ruwe berichtnauwkeurigheid) die aannemen dat de invoertekst al bekend is als watermerkte. De auteurs betogen dat bij een echte implementatie eerst moet worden gedetecteerd of er een bericht bestaat. Zij introduceren Bitnauwkeurigheid bij $\alpha\%$ False Positive Rate (BA@ $\alpha\%$ FPR) als een meer praktische metric. Deze metric meet de waarschijnlijkheid van het correct decoderen van een bit, terwijl ervoor wordt gezorgd dat niet-watermerkte tekst niet vaker dan $\alpha\%$ van de tijd ten onrechte wordt aangegeven als bevattende een bericht.

Belangrijkste Bijdragen

Eerste Positietoewijzingsvrije Multibit Watermerk: De auteurs introduceren het eerste schema dat het volledige bericht van bitstrings op elke tokenpositie codeert via binomiale codering, waardoor de schaalbaarheids- en efficiëntielimieten van positietoewijzing worden vermeden.
Stateful Encoder: Een nieuw mechanisme dat dynamisch onderpresterende bits prioriteert tijdens de generatie, wat de bitnauwkeurigheid aanzienlijk verbetert zonder de decodestrategie te wijzigen.
Nieuw Evaluatiekader: Het artikel bekritiseert eerdere metrics omdat ze geen praktisch inzicht bieden in false positives, en stelt per-bit betrouwbaarheidsscores (BA@ $\alpha\%$ FPR) voor als standaard voor het evalueren van multibit watermerken in realistische scenario's.
Uitgebreide Evaluatie: Uitgebreide experimenten tegen 8 baselines over payloads van 16, 32 en 64 bits tonen superieure prestaties in bitnauwkeurigheid, berichtnauwkeurigheid en robuustheid, met name in regimes met lage vervorming en bij grotere payloads.

Resultaten

De evaluatie werd uitgevoerd met LLAMA3.1-8B en MINISTRAL-3-14B met payloads van 16, 32 en 64 bits.

Berichtnauwkeurigheid: Het voorgestelde schema (specifiek de stateful versie, "Ours+") presteert beter dan alle 8 baselines (inclusief MPAC, MirrorMark, ArcMark en StealthInk) in berichtnauwkeurigheid, waarbij de prestatiekloof groter wordt voor langere payloads (32 en 64 bits) en settings met lage vervorming.
Op Vertrouwen Gebaseerde Nauwkeurigheid (BA@1%FPR): De stateless versie van de voorgestelde methode bereikt een aanzienlijk hogere BA@1%FPR dan baselines, wat wijst op een superieur vermogen om watermerkte bits te onderscheiden van willekeurige ruis terwijl false positives worden gecontroleerd.
Robuustheid: Hoewel robuustheid een uitdaging blijft voor alle multibit watermerken (de nauwkeurigheid daalt scherp bij >10% woordverwijdering of parafraseren), presteert de voorgestelde methode consequent beter dan baselines bij diverse tekstwijzigingen.
Schaalbaarheid: Het schema schaalt gunstiger met het aantal tokens in vergelijking met baselines; bij 500 tokens bereikt de voorgestelde methode >90% bitnauwkeurigheid, terwijl de beste baseline ongeveer 80% bereikt.

Betekenis en Beweringen

Het artikel claimt een nieuwe richting te openen voor multibit-watermerkonderzoek door aan te tonen dat binomiale codering een krachtiger paradigma is dan positietoewijzing. De auteurs stellen dat hun aanpak effectief grote payloads codeert zonder de computationele onuitvoerbaarheid van eerdere niet-toewijzingsmethoden (zoals Cycle-Shift).

Bovendien benadrukt het werk een kritieke kloof in het veld: het gebrek aan praktische evaluatiemetrics voor multibit watermerken. Door per-bit betrouwbaarheidsscores in te voeren, betogen de auteurs dat toekomstig onderzoek en implementatie rekening moeten houden met de waarschijnlijkheid van false positives bij het decoderen van berichten uit willekeurige tekst, en niet alleen uit watermerkte tekst.

De auteurs blijven bescheiden wat betreft beperkingen, en erkennen dat robuustheid tegen tekstwijzigingen (zoals parafraseren) nog steeds een open probleem is, en dat hoewel hun empirische resultaten superioriteit tonen ten opzichte van positietoewijzing, theoretische bewijzen van strikte optimaliteit voor niet-positietoewijzingsmethoden niet worden geleverd. Zij merken ook op dat de stateful encoder, hoewel deze de berichtnauwkeurigheid verbetert, de op vertrouwen gebaseerde metrics lichtjes kan verminderen omdat deze is geoptimaliseerd voor verwachte nauwkeurigheid in plaats van statistische significantie per bit.