🤖 AI

ArcMark: Distortion-Free Multi-Byte LLM Watermark via Optimal Transport

Dit artikel introduceert ArcMark, een nieuw vervormingsvrij multi-byte watermerksysteem voor grote taalmodellen dat gebruikmaakt van principes van optimale transport en informatietheoretische kanaalcodering om betrouwbare substantiële informatie in tekst in te bedden zonder de outputverdeling of kwaliteit van het model te wijzigen.

Oorspronkelijke auteurs: Atefeh Gilani, Sajani Vithana, Carol Xuan Long, Oliver Kosut, Lalitha Sankar, Flavio P. Calmon

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Atefeh Gilani, Sajani Vithana, Carol Xuan Long, Oliver Kosut, Lalitha Sankar, Flavio P. Calmon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, creatieve schrijver hebt (een Large Language Model, of LLM) die verhalen, code of e-mails kan schrijven. Je wilt weten of een specifiek stuk tekst door deze AI is geschreven, en zo ja, dan wil je exact weten wie erom heeft gevraagd, welke versie van de AI het heeft geschreven, of zelfs wat de oorspronkelijke prompt was.

Hier komt ArcMark in beeld. Het is een nieuwe "onzichtbare inkt" voor AI-tekst.

Hier is de eenvoudige uitleg van wat het paper beweert, met gebruikmaking van alledaagse analogieën:

1. Het Probleem: De "Eén-Bit" Zaklamp

Vorige methoden om AI-tekst te watermerken, waren als het gebruik van een zaklamp die slechts eenmaal kon flitsen (een "zero-bit" of "one-bit" signaal).

Wat het deed: Het kon je vertellen: "Ja, dit is door een AI geschreven" of "Nee, dat is het niet."
De Beperking: Het kon je niet vertellen wie het schreef of waarover ze schreven. Het was als een lichtflits in het donker zien, maar niet weten wie het heeft aangedaan.
De Oude Manier: Om meer informatie te sturen, probeerden oude methoden de tekst lichtjes aan te passen, zoals hier en daar een woord veranderen. Dit maakte de schrijfstijl soms wat robotachtig of onnatuurlijk (vervorming).

2. De Oplossing: De "Onzichtbare Postkaart" (ArcMark)

De onderzoekers hebben ArcMark gecreëerd, wat lijkt op een onzichtbare postkaart die verborgen zit in de tekst.

De Magie: Het kan meerdere bytes aan informatie verbergen (zoals een volledig ID-nummer of een kort bericht) in slechts enkele honderden woorden tekst.
De "Geen Vervorming" Belofte: De belangrijkste claim is dat deze onzichtbare inkt de kwaliteit van de schrijfstijl niet verandert. Als je de tekst leest, klinkt het precies even natuurlijk alsof de AI het zonder verborgen bericht heeft geschreven. Het paper beweert dat de tekst "vervormingsvrij" is, wat betekent dat de natuurlijke flow van de AI niet wordt onderbroken.

3. Hoe Het Werkt: Het "Cirkelspel"

Het paper gebruikt wat zware wiskunde, maar hier is de eenvoudige versie van hun truc:

De Cirkel: Stel je voor dat de lijst met mogelijke woorden van de AI (zijn vocabulaire) is gerangschikt in een gigantische cirkel.
Het Doel: Het systeem kiest een specifieke plek op die cirkel om een stukje van het geheime bericht te vertegenwoordigen.
De Shuffle: De AI en de decoder (de persoon die op het bericht controleert) delen een geheime "shuffle"-sleutel. Deze sleutel roteert de cirkel zodat alleen zij weten waar het geheime punt zit.
De Selectie: De AI wordt gevraagd een woord te kiezen. In plaats van het absolute beste woord te kiezen, kiest het een woord dat dichtbij het geheime punt op de cirkel ligt.
- Analogie: Stel je voor dat je een spel speelt waarbij je een fruit uit een mand moet kiezen. De regel is: "Kies een fruit dat dicht bij het rode punt op de tafel ligt, maar zorg ervoor dat de mand er nog steeds uit ziet als een normale fruitmand." De AI kiest een fruit dat aan beide regels voldoet.
De Wiskunde: Het paper maakt gebruik van een concept genaamd "Optimal Transport" om dit op te lossen. Denk hierbij aan een super-efficiënte bezorger die de "beste" vruchten naar het "rode punt" verplaatst zonder dat de mand leeg of rommelig lijkt.

4. Waarom Het Beter Is: Het "Teamwerk" versus "Solo Act"

Oude Methodes: Probeerden één klein bitje informatie te verbergen in elk enkel woord. Als je één woord verpestte, verloor je dat bitje. Het was alsof je probeerde een bericht te sturen door één letter tegelijk te fluisteren; als de wind blies, was de letter weg.
ArcMark: Treats the whole paragraph as a single puzzle. Het gebruikt een "lineaire code" (een fancy manier om te zeggen dat het teamwerk is). Zelfs als een aanvaller een paar woorden verandert (zoals het parafraseren van een zin), kan de decoder het hele bericht nog steeds achterhalen omdat het kijkt naar het patroon van de hele reeks, niet alleen naar individuele woorden.

5. De Resultaten: Wat Het Paper Vond

De auteurs testten ArcMark op populaire AI-modellen (zoals Llama3, Mistral en Qwen) en vonden:

Nauwkeurigheid: Het kan succesvol 1, 2, 3 of zelfs 4 bytes aan data verbergen en herstellen (wat veel is voor tekst) met zeer hoge nauwkeurigheid.
Stilte: De tekst klinkt precies even goed als normale AI-tekst. Tests die "perplexity" maten (een score voor hoe verwarrend of onnatuurlijk tekst klinkt) toonden geen verschil tussen gewatermerkte en niet-gewatermerkte tekst.
Robuustheid: Zelfs als iemand probeert de tekst te "parafraseren" (vertalen naar het Frans en terug naar het Engels, of zinnen herschrijven), overleeft ArcMark veel beter dan vorige methoden.
Capaciteit: Het paper bewijst wiskundig dat ArcMark zeer dicht in de buurt komt van de theoretische maximale limiet van hoeveel informatie je in AI-tekst kunt verbergen zonder het te ruïneren.

Samenvatting

ArcMark is een nieuwe, zeer efficiënte manier om AI-tekst te stempelen met een verborgen, multi-byte ID-kaart. Dit doet het zonder dat de tekst vreemd klinkt, en het is slim genoeg om pogingen om de tekst te herschrijven of te bewerken te overleven. Het verandert het probleem van "een bericht verstoppen in AI" van een raadsel in een precieze, wiskundige wetenschap.

Technische Samenvatting: ArcMark

Probleemstelling

Het artikel behandelt de uitdaging van multi-bit watermerking voor Large Language Models (LLM's). Hoewel bestaande methoden in staat zijn om een enkel bit in te bedden (zero-bit watermerking) om door AI gegenereerde tekst te detecteren, of meerdere bits in te bedden door zero-bit principes uit te breiden (bijvoorbeeld één bit per token), zijn deze benaderingen beperkt in capaciteit. Huidige methoden worstelen om betrouwbaar meer dan een paar bits in te bedden in sequenties van honderden tokens.

De auteurs identificeren een kritieke kloof: praktische toepassingen (zoals het inbedden van gebruikers-ID's, modelversies, of de prompt zelf) vereisen de mogelijkheid om meerdere bytes informatie in te bedden. Bovendien is een "gouden standaard" voor LLM-watermerking een vervormingsvrije inbedding, waarbij het watermerkingproces de gemiddelde next-token voorspellingen van het LLM niet verandert, waardoor tekstkwaliteit en perplexiteit behouden blijven. Het artikel stelt twee centrale vragen:

Wat is de theoretische limiet (capaciteit) van informatie die in LLM-uitvoer kan worden ingebed zonder next-token voorspellingen te vervormen?
Kan een praktische schematiek deze limiet benaderen om betrouwbare multi-byte invoeging te bereiken?

Methodologie: ArcMark

De auteurs introduceren ArcMark, een watermerkingconstructie gebaseerd op coderingstheorie en optimale transport. De kerninzicht is om multi-bit watermerking niet te zien als een reeks onafhankelijke tokenbeslissingen, maar als een kanaalcoderingsprobleem met zijinformatie die beschikbaar is bij zowel de encoder (watermerker) als de decoder.

1. Informatietheoretische Formulering

De auteurs modelleren het LLM als een ruisend kanaal waarbij de "ruis" de inherente willekeur van de next-token verdeling ( $Q_{X_t}$ ) is. Zij leiden de Shannon-capaciteit af voor vervormingsvrije multi-bit watermerking.

Vervormingsvrije Beperking: De marginale verdeling van de gewatermerkte tokens moet in verwachting over de gedeelde zijinformatie gelijk zijn aan de originele LLM-verdeling: $E_{S_t}[Q_{X_t|S_t, M=m}] = Q_{X_t}$ .
Capaciteitsafleiding: Onder de aanname dat next-token verdelingen onafhankelijke en identiek verdeelde (i.i.d.) willekeurige variabelen zijn, wordt de capaciteit gedefinieerd als de maximale wederzijdse informatie $I(W; X)$ tussen het gecodeerde bericht $W$ en de uitvoer $X$ , onderworpen aan de vervormingsvrije beperking.
Theoretische Limiet: Voor een specifieke klasse van binaire tokenverdelingen wordt de capaciteit afgeleid als ongeveer 0,2787 bits/token naarmate de vocabulairegrootte naar oneindig gaat.

2. De ArcMark Constructie

ArcMark bereikt betrouwbare inbedding door het probleem te mappen naar een geometrische ruimte en een optimalisatieprobleem op te lossen:

Geometrische Representatie: Het tokenvocabulaire, de symbolen van de berichtcodewoorden en de gedeelde willekeurige sleutels worden allemaal gemapt naar punten op een eenheidscirkel (hoeken).
- Tokens worden gemapt naar $2\pi i / N$ .
- Berichtsymbolen worden gemapt naar $2\pi c / p$ .
- Zijinformatie (willekeurige verschuiving) wordt gemapt naar $2\pi v / r$ .
Codering (Lineaire Codering): Het $k$ -bit bericht wordt gemapt naar een codewordsymbool $C_m(t)$ met behulp van een willekeurige lineaire code over gehele getallen modulo $p$ . Dit symbool wordt gecombineerd met een gedeelde willekeurige verschuiving $V_t$ om een doelhoek $z_t$ op de cirkel te produceren.
Inbedding (Optimaal Transport): Om het bericht in te bedden zonder de uitvoerverdeling van het LLM te vervormen, moet de watermerker een token $X_t$ $X_{t}$ selecteren dat "dichtbij" de doelhoek $z_t$ $z_{t}$ ligt, terwijl de vervormingsvrije beperking wordt nageleefd. Dit wordt geformuleerd als een Optimaal Transport (OT) probleem.
- De watermerker lost op voor een conditionele verdeling $Q^*_{X_t|Z_t}$ die de verwachte hoekafstand tussen het geselecteerde token en de doelhoek minimaliseert, onderworpen aan de beperking dat de marginale verdeling overeenkomt met de originele LLM-verdeling.
- Dit wordt efficiënt opgelost met het Sinkhorn-algoritme.
Decodering: De decoder observeert de tokensequentie en de gedeelde zijinformatie. Het schat de verzonden hoeken in, verwijdert de gedeelde willekeurigheid om codewordsymbolen te herstellen, en voert decodering met minimale afstand uit over alle mogelijke berichten om het volledige bericht te herstellen.

Belangrijkste Bijdragen

ArcMark-algoritme: Een nieuw vervormingsvrij multi-bit watermerkingsschema dat in staat is meerdere bytes informatie in te bedden in een paar honderd tokens.
Capaciteitskarakterisering: Een formele afleiding van de Shannon-capaciteit voor vervormingsvrije multi-bit LLM-watermerking, waarbij het probleem wordt gepresenteerd als kanaalcodering met zijinformatie.
Theoretische Optimaliteit: Een bewijs dat, onder specifieke vereenvoudigende aannames (binaire tokenverdelingen), ArcMark de afgeleide Shannon-capaciteit bereikt.
Empirische Validatie: Uitgebreide evaluatie die aantoont dat ArcMark bestaande multi-bit methoden (specifiek BiMark en MPAC) overtreft in berichtnauwkeurigheid en robuustheid, terwijl het vervormingsvrije eigenschappen behoudt.

Experimentele Resultaten

De auteurs evalueerden ArcMark op drie open-weight modellen (Llama3-8B, Mistral-7B, Qwen3-8B) met behulp van de C4-RealNewslike dataset.

Berichtnauwkeurigheid: ArcMark presteert aanzienlijk beter dan BiMark bij het herstellen van het hele bericht (berichtnauwkeurigheid), met name voor grotere payloads (2, 3 en 4 bytes). Hoewel bitnauwkeurigheid belangrijk is, benadrukt het artikel berichtnauwkeurigheid als operationele maatstaf, met de opmerking dat een enkel bitfout het hele bericht (bijvoorbeeld een gebruikers-ID) onjuist maakt.
Robuustheid: ArcMark toont superieure robuustheid tegen parafraze-aanvallen (specifiek Franse terugvertaling). Zelfs bij hoge aanvalsratio's (30% van de zinnen geparafrazeerd), behoudt ArcMark een hogere berichtnauwkeurigheid dan niet-aangevallen BiMark.
Vervormingsvrije Eigenschappen:
- Perplexiteit: De perplexiteit van ArcMark is bijna identiek aan de niet-gewatermerkte baseline en dichter dan BiMark, wat de behouding van de uitvoerverdeling van het LLM bevestigt.
- Downstream Utiliteit: Bij extractieve vraag-antwoordvragen (SQuAD), lang-context code completering (LCC) en functionele code correctheid (HumanEval) toont ArcMark geen betekenisvolle degradatie ten opzichte van de niet-gewatermerkte baseline.
Zero-Bit Detectie: ArcMark ondersteunt zero-bit detectie (bepalen of tekst gewatermerkt is) met hoge nauwkeurigheid, waarbij bijna perfecte detectierates worden bereikt vanaf 150 tokens.

Betekenis en Claims

Het artikel claimt multi-bit watermerking te herformuleren van een heuristisch probleem naar een kanaalcoderingsprobleem met zijinformatie, een formulering die teruggaat tot Claude Shannon. Door het perspectief te verschuiven naar capaciteit en codeontwerp, betogen de auteurs dat informatietheorie zowel een wiskundige basis biedt voor het begrijpen van de limieten van LLM-watermerken als een constructieve weg voor het ontwerpen ervan.

De betekenis van ArcMark ligt in het vermogen om bytes (niet alleen bits) informatie betrouwbaar en zonder vervorming van tekstkwaliteit in te bedden. Dit maakt praktische toepassingen mogelijk zoals het traceren van gebruikersprompts, modelversies en specifieke modelinstanties, wat cruciaal is voor verantwoordingsplicht en naleving van regelgeving. De auteurs merken op dat door te optimaliseren voor berichtniveau-nauwkeurigheid in plaats van bitniveau-nauwkeurigheid, het risico op verkeerde toewijzing wordt verminderd.

Het artikel concludeert dat hoewel hun capaciteitsanalyse afhankelijk is van specifieke distributie-aannames, het kader de deur opent voor bredere theoretische karakteriseringen en het ontwerpen van watermerken met hogere herstelsnelheden en sterkere robuustheidsgaranties.