🤖 AI

ChainMark: Model-Free LLM Watermarking with Closed-Form Calibration

ChainMark introduceert een modelvrij, actief watermerkingsschema dat de vocabulaire partitioneert in sleutelgestuurde toestanden om harde Markov-transities af te dwingen, wat een gesloten vorm van kalibratie van detectieparameters mogelijk maakt en bewezen robuustheid bereikt tegen translatie- en substitutie-aanvallen zonder toegang te vereisen tot het genererende taalmodel.

Oorspronkelijke auteurs: Chengheng Li-Chen, Kyuhee Kim

Gepubliceerd 2026-07-22

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chengheng Li-Chen, Kyuhee Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een gigantische bibliotheek loopt waar robots verhalen schrijven. Soms zijn die robots zo goed dat je niet kunt zien of een verhaal door een mens of een machine is geschreven. Dit is een groot probleem voor de toekomst: als robots alles kunnen schrijven, hoe weten we dan wat echt is? Wetenschappers proberen dit op te lossen door robots een geheime manier te geven om hun werk te markeren, zoals een verborgen handtekening die alleen een speciale detector kan zien. Dit wordt "watermarking" genoemd. Denk aan het als een geheime code die verborgen zit in het DNA van een zin.

Het controleren van deze codes is echter lastig geweest. De meeste oude methoden zijn als een spelletje "het wachtwoord raden" dat vereist dat de robot zelf aanwezig is om het werk te controleren. Als de robot weg is, of als iemand het verhaal een klein beetje verandert (zoals het vertalen naar een andere taal), breken of verdwijnen de oude codes vaak. Bovendien willen toezichthouders (de mensen die de regels maken) een eenvoudige manier om te zeggen: "Ik heb een code nodig die minder dan 1% van de tijd fout zit, werkt op korte teksten en bestand is tegen bewerkingen", maar ze hadden niet een duidelijke formule om ingenieurs precies te vertellen hoe ze die code moeten boueren.

Dit paper introduceert een nieuwe oplossing genaamd ChainMark. Het is een slimme, "model-vrije" watermerk, wat betekent dat je de robot niet nodig hebt om het werk te controleren — je hebt alleen een geheime sleutel nodig. De auteurs hebben een manier gevonden om een code te creëren die werkt als een geheime dans. Ze laten zien dat deze dans erg moeilijk te breken is tegen specifieke soorten aanvallen, en ze bieden een duidelijke, wiskundige receptuur aan toezichthouders om ingenieurs precies te vertellen hoe ze het zo moeten instellen.

De Geheime Dans: Hoe ChainMark Werkt

Stel je voor dat de woordenschat van de robot (alle woorden die hij kan gebruiken) een enorme doos met gekleurde tegels is. ChainMark neemt een geheime sleutel en sorteert elke tegel in één van vijf gekleurde bakken (laten we zeggen: Rood, Blauw, Groen, Geel en Paars). Deze bakken zijn gerangschikt in een cirkel, als een klok: Rood → Blauw → Groen → Geel → Paars → Rood.

Wanneer de robot een verhaal schrijft, laat ChainMark hem niet zomaar elk woord kiezen. Op bepaalde plekken in het verhaal wordt de robot gedwongen om een woord te kiezen dat bij de volgende kleur in de cirkel hoort. Als het vorige woord Rood was, moet het volgende woord Blauw zijn. Als het laatste Blauw was, moet het volgende Groen zijn. De robot kiest nog steeds het beste woord dat hij kan vinden, maar hij mag alleen kiezen uit de "Blauwe" bak.

Dit creëert een verborgen pad, of een "keten" (chain), door de tekst. Het verhaal loopt in feite rond deze kleurklok.

De Detective Zonder Robot

Hier zit de magie: om te controleren of een verhaal een watermerk heeft, heb je de robot helemaal niet nodig. Je hebt alleen de geheime sleutel en de tekst nodig. Een verifieerder (de detective) neemt de tekst, zoekt de geheime sleutel op en sorteert elk woord opnieuw in zijn gekleurde bakken. Vervolgens telt hij simpelweg hoe vaak de kleuren de juiste volgorde volgen (Rood naar Blauw, Blauw naar Groen, etc.).

Als het verhaal door een mens of een robot zonder het geheim is geschreven, zullen de kleuren willekeurig rondspringen. De kans dat je de volgorde per ongeluk goed krijgt is erg klein (slechts 1 op 5, of 20%). Maar als het verhaal met ChainMark is geschreven, zullen de kleuren de keten bijna perfect volgen. De detective doet deze berekening in een flits, zonder ooit de robot om hulp te hoeven vragen.

Waarom Dit Een Groot Ding Is

Het paper laat zien dat ChainMark drie grote hoofdpijndossiers oplost die andere methoden hadden:

Geen Robot Nodig: Oude methoden vereisten vaak de "hersenen" van de robot om het werk te controleren. ChainMark heeft alleen de tekst en de sleutel nodig. Dit betekent dat een derde partij, zoals een toezichthouder of een redacteur, kan controleren of een verhaal door AI is gegenereerd zonder toegang te nodig te hebben tot het geheime AI-model van het bedrijf.
Het Perfecte Recept: De auteurs hebben een "closed-form" formule afgeleid. Dit is een chique manier om te zeggen dat ze een directe wiskundige vergelijking hebben gevonden. Als een toezichthouder zegt: "Ik wil een foutmarge van 1% voor een tekst van 200 woorden", kan de ingenieur die getallen in de formule invoeren en direct weten hoeveel kleurbakken hij moet gebruiken. Geen meer gokken of trial-and-error.
Het Overleeft de "Vertaal-aanval": Een van de grootste manieren om oude watermerken te breken, is door een tekst naar een andere taal te vertalen (zoals Chinees) en deze vervolgens weer terug te vertalen. Dit verstoort meestal de geheime code. Het paper heeft ChainMark getest tegen deze aanval en vond het ongelooflijk taai. Zelfs nadat de tekst naar het Chinees en weer terug naar het origineel was vertaald, identificeerde ChainMark de watermerktekst nog steeds in 72,8% van de gevallen. In vergelijking hiermee zakten andere populaire methoden (genaamd KGW en SWEET) onder de 20% succesrate onder dezelfde omstandigheden.

De Afweging

Het paper is eerlijk over de kosten. Om deze geheime dans te laten werken, moet de robot iets meer beperkt worden bij het kiezen van woorden. Dit maakt de tekst een klein beetje minder "vloeiend" of natuurlijk vergeleken met een volledig vrije robot. De auteurs hebben dit gemeten met een score genaamd "perplexity". De score van ChainMark is ongeveer 3,66, terwijl de andere methoden rond de 1,80 tot 1,93 lagen. Dit betekent dat ChainMark ongeveer twee keer zo "stijf" is als de anderen, maar de afruil is dat het veel moeilijker te breken is en veel gemakkelijker te verifiëren zonder de robot.

Het "Universele" Veiligheidsnet

Het paper ontdekte ook iets verrassends over hoeveel bewerkingen de code kan overleven tegen een "blinde" aanvaller (iemand die niet over de geheime sleutel beschikt). Ze hebben wiskundig bewezen dat als iemand willekeurig woorden vervangt (zoals een "knippen en plakken" aanval), de code standhoudt zolang de bewerkingen minder dan 29,3% van de tekst beslaan. Dit getal is een "universele constante", wat betekent dat het niet uitmaakt hoeveel kleurbakken je gebruikt of hoe lang de tekst is; de code houdt stand totdat je die specifieke 29,3% muur raakt.

De auteurs merken echter voorzichtig op dat dit veiligheidsnet grenzen heeft. Het geldt voor willekeurige vervangingen en vertalingen, maar het garandeert geen overleving tegen een superintelligente hacker die de geheime sleutel kent of de detector herhaaldelijk vragen kan stellen om het patroon te achterhalen. Daarnaast heeft het paper nog niet complexe, grammatica-behoudende herschrijvingen getest (waarbij de betekenis exact hetzelfde blijft maar de woorden veranderen), dus hoewel de code zeer sterk is tegen vertaling en willekeurige vervangingen, is er nog werk te doen op andere soorten aanvallen.

Wat Het Niet Is

De auteurs zijn voorzichtig in wat hun methode niet doet. Ze geven toe dat als een superintelligente hacker de geheime sleutel kent of de detector herhaaldelijk vragen kan stellen om het patroon te achterhalen, hij de code misschien kan breken. Het paper richt zich op een "blinde" aanvaller die de sleutel niet heeft. Ook hebben ze niet elke soort bewerking getest (zoals complexe grammatica-herschrijvingen die de betekenis exact hetzelfde houden), dus hoewel de code zeer sterk is tegen vertaling en willekeurige vervangingen, is er nog werk te doen op andere soorten aanvallen.

De Kernboodschap

ChainMark is als het geven van een geheime, moeilijk te breken dansbeweging aan AI-schrijvers die een spoor van voetstappen achterlaat — mits de aanvaller blind is voor de sleutel en de aanval willekeurig of translationeel is. Zelfs als iemand probeert de voetstappen uit te wissen door het verhaal te vertalen of woorden te vervangen, blijft het patroon zichtbaar voor iedereen met de geheime sleutel. Belangrijker nog, het geeft toezichthouders een duidelijke, wiskundige instructiehandleiding om deze watermerken exact zo in te stellen als ze nodig hebben, zonder te hoeven gissen of te vertrouwen op de AI-bedrijven voor de controle. Het is een stap naar een toekomst waarin we onze digitale teksten kunnen vertrouwen, wetende wie (of wat) ze precies heeft geschreven.

Technische Samenvatting: ChainMark: Model-vrij LLM-watermerk met Closed-Form Kalibratie

1. Probleemstelling

Het artikel behandelt de technische uitdagingen bij het implementeren van machine-leesbare watermerken voor door Large Language Models (LLM) gegenereerde tekst, specifiek in de context van regelgevende mandaten zoals de EU AI Act (Artikel 50). De auteurs identificeren drie structurele tekortkomingen in bestaande watermerkregelingen (bijv. KGW, SWEET, EWD) die audits door toezichthouders bemoeilijken:

Model-gebonden Detectie: Bestaande methoden vereisen vaak toegang tot het genererende model of zijn interne status (bijv. logits, entropie) op het moment van detectie, wat voorkomt dat externe auditors tekst kunnen verifiëren zonder het model.
Gebrek aan Closed-Form Kalibratie: Geen enkele bestaande regeling biedt een wiskundige mapping van de specifieke doelstellingen van een toezichthouder (vals-positievevenementenrate $\alpha$ , minimale tekstlengte $n_{min}$ en watermerkbudget $\rho$ ) naar de concrete configuratieparameters (bijv. watermerksterkte) die nodig zijn voor implementatie.
Breekbare Robuustheid: Huidige regelingen lijden onder significante degradatie van de ware-positievevenementenrate (TPR) onder veelvoorkomende aanvallen zoals vertaling (bijv. Chinese back-translation) en willekeurige substitutie, waarbij ze vaak onder de 20% TPR zakken bij een gelijkwaardig budget.

2. Methodologie: Het ChainMark-schema

ChainMark is een actief watermerkingschema dat ontworpen is om model-vrij te zijn bij detectie en gekalibreerd via closed-form wiskunde.

Kernmechanisme

Toestandspartitionering: Een geheime sleutel $\kappa$ wordt gebruikt met een hashfunctie (SHA-256) om elk vocabulaire-token $v$ toe te wijzen aan een van de $S$ discrete toestanden: $\sigma_\kappa(v) = \text{SHA-256}(\kappa \parallel v) \mod S$ . Dit partitioneert het vocabulaire in $S$ disjuncte verzamelingen $V_0, \dots, V_{S-1}$ .
Klokwerk-transitie: De toestanden zijn gerangschikt in een vaste cyclus ( $s \to (s+1) \mod S$ ).
Generatie (Inbedding): Bij een fractie $\rho$ van de tokenposities (bepaald door een entropiepoort) wordt het model gedwongen om een token uit de volgende staat in de cyclus te emitteren. Specifiek worden de logits voor tokens die niet in de doel-toestandsverzameling zitten gemaskeerd naar $-\infty$ , en het model selecteert de argmax uit de resterende geldige tokens. Op niet-gepoorte posities samplet het model vrij.
Detectie (Verificatie): Een verifieerder, die enkel de geheime sleutel en de tokenizer bezit (geen toegang tot het LLM), berekent opnieuw de staat voor elk token in de tekst. De verifieerder berekent de fractie geldige transities $\phi$ $ϕ$ waarbij de toestandsvolgorde de cyclus volgt.
- Nulhypothese ( $H_0$ ): Voor niet-watermerktekst zijn transities willekeurig, wat een verwachte geldige ratio oplevert van $p_0 = 1/S$ (voor een 1-reguliere klokwerkketen).
- Alternatieve Hypothese ( $H_1$ ): Watermerktekst vertoont een geldige ratio van $\approx 1/S + \rho(1 - 1/S)$ .
- Statistische Test: Een standaard $z$ -test wordt uitgevoerd op $\phi$ om te bepalen of de tekst een watermerk bevat. De detectiecomplexiteit is $O(n)$ hash-operaties.

Kalibratie en Robuustheid

Closed-Form Kalibratie: De auteurs leiden een formule $S^\star(n, \rho, \alpha)$ af die de doelstellingen van de toezichthouder direct mapt naar het minimale aantal toestanden $S$ dat vereist is om een vals-positievevenementenrate (FPR) van $\le \alpha$ te garanderen.
Empirische Recalibratie: Om rekening te houden met de niet-uniforme distributie van natuurlijke taal-tokens over hash-staten, wordt een one-corpus recalibratiestap voorgesteld. Dit past de detectiedrempel aan op basis van de empirische gemiddelde en standaarddeviatie van de $z$ -score op niet-watermerktekst, waardoor de beoogde FPR wordt hersteld zonder de watermerkconfiguratie te wijzigen.
Universele Robuustheidsdrempel: Het artikel bewijst dat onder uniforme willekeurige substitutie, het watermerk overleeft tot een edit-fractie $\delta^\star = 1 - 1/\sqrt{2} \approx 29,3\%$ . Cruciaal is dat deze drempel invariant is voor de parameters $S$ , $\rho$ en $n$ .

3. Belangrijkste Bijdragen

Model-vrije Detectie: ChainMark maakt externe auditing mogelijk met enkel de geheime sleutel en de tokenizer, waardoor de noodzaak voor het genererende LLM tijdens de inferentie wordt weggenomen.
Operator-gerichte Kalibratie: De afleiding van de closed-form map $S^\star(n, \rho, \alpha)$ stelt toezichthouders in staat om detectiedoelen te specificeren die direct vertaalbaar zijn naar inzetbare configuraties.
Robuustheidsgaranties: Theoretische bewijzen vestigen een universele robuustheidsdrempel ( $\approx 29,3\%$ ) tegen uniforme substitutie, onafhankelijk van systeemparameters.
Generaliseerbaarheid: Het framework breidt zich uit naar elke $k$ -reguliere dubbel-stochastische transitie-topologie, niet alleen de eenvoudige klokwerkketen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op drie instructie-getunede LLM's (Llama-3.1-8B, Qwen-2.5-7B, Mistral-7B) over vier domeinen (code, feitelijk, wiki, schrijven).

Prestaties bij Gelijkwaardig Budget: Vergeleken met KGW en SWEET bij een vast watermerkbudget ( $\rho=0.5$ $ρ = 0.5$ ), presteerde ChainMark aanzienlijk beter dan de baselines onder aanval.
- Schone Tekst: ChainMark behaalde 100% TPR.
- Willekeurige Substitutie ( $\delta=0.20$ ): ChainMark behield 99,9% TPR, terwijl KGW en SWEET respectievelijk daalden naar ~55% en ~51%.
- Chinese Back-Translation: ChainMark behield een 72,8% TPR, terwijl KGW en SWEET onder de 20% zakten (19,4% en 18,0%).
Kwaliteitskosten: Deze robuustheid gaat gepaard met een hogere zelf-perplexiteit (ChainMark: 3.66 vs. baselines: ~1.80–1.93).
Validatie van Kalibratie: Empirische resultaten bevestigden dat de closed-form kalibratie de juiste ordening van het aantal toestanden biedt, en dat de empirische recalibratie de vals-positievevenementenrate succesvol heeft verlaagd van ~2,0% naar de doelstelling van 1% zonder de ware-positieve detectie op te offeren.

5. Betekenis en Claims

Het artikel claimt dat ChainMark de noodzakelijke technische ondergrond biedt voor regelgevende kaders zoals de EU AI Act door het "auditabiliteitsprobleem" op te lossen. De primaire betekenis ligt in:

Mapping van Beleid naar Configuratie: Het vertaalt abstracte regelgevende vereisten (FPR, tekstlengte, budget) naar concrete, auditeerbare systeemparameters.
Externe Auditabiliteit: Door de detectie te ontkoppelen van het model, maakt het onafhankelijke verificatie van AI-gegenereerde inhoud mogelijk, een vereiste voor transparant bestuur.
Robuustheid vs. Kwaliteit Afweging: De auteurs erkennen dat ChainMark een meetbare kwaliteitscoste oplegt (hogere perplexiteit), maar beargumenteren dat dit een noodzakelijke afweging is om een hoge robuustheid te bereiken tegen vertaal- en substitutieaanvallen, waar huidige state-of-the-art methoden falen.

De auteurs blijven bescheiden over beperkingen en merken op dat de huidige robuustheidsclaims gericht zijn op vertaling en uniforme substitutie, en dat het schema nog geen dekking biedt voor grammatica-behoudende parafrase-aanvallen (bijv. DIPPER) of tegenstanders met adaptieve detector-query-toegang. Ze benadrukken ook dat de risico's van het "chilling effect" en vals-positieven als asymmetrische schade beschouwd moeten worden die door zorgvuldige drempelkalibratie beheerd moeten worden.