🤖 machine learning

dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

Het artikel introduceert dgMARK, een plug-and-play watermerkingsmethode voor discrete diffusie taalmodellen die hun gevoeligheid voor de volgorde van token-unmasking benut om detecteerbare signalen in te bedden via pariteitsbeperkte kandidaatselectie, wat robuustheid tegen diverse tekstbewerkingsoperaties waarborgt.

Oorspronkelijke auteurs: Pyo Min Hong, Albert No

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pyo Min Hong, Albert No

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: "Wie heeft dit geschreven?"

Stel je Large Language Models (LLM's) voor als ongelooflijk getalenteerde geestschrijvers. Ze kunnen verhalen, code en essays schrijven die precies lijken en klinken alsof ze door mensen zijn geschreven. Maar dit creëft een probleem: als een kwaadwillende partij deze modellen gebruikt om nepnieuws of phishing-e-mails te schrijven, hoe weten we dan dat het niet door een echt persoon is geschreven?

We hebben een manier nodig om de tekst te labelen zodat we kunnen bewijzen: "Hé, een computer heeft dit geschreven." Dit wordt watermarking genoemd.

De Oude Manier vs. De Nieuwe Manier

De meeste huidige watermarking-methoden werken als een bevooroordeelde muntworp.

De Analogie: Stel je een chef (de AI) voor die meestal ingrediënten kiest op basis van wat het lekkerst smaakt. De oude watermarking-methode dwingt de chef om 60% van de tijd een "groen" ingrediënt te kiezen (zoals een specifiek type peper), zelfs als een "rood" ingrediënt (zoals een tomaat) beter zou smaken.
De Fout: Dit verandert de smaak van het gerecht. De tekst kan iets robotachtiger of van lagere kwaliteit klinken omdat de AI wordt gedwongen om onnatuurlijke keuzes te maken, puur om een geheim code te verbergen.

De Nieuwe Methode: dgMARK (De "Verkeersregelaar")

Het paper introduceert dgMARK, een nieuwe methode die specifiek is ontworpen voor een nieuw type AI genaamd Diffusion Language Models (dLLMs).

Wat is een Diffusion Model?
In tegenstelling tot de oude "Autoregressieve" modellen die zinnen strikt van links naar rechts schrijven (zoals een typist), zijn Diffusion-modellen meer als een puzzeloplosser.

Ze beginnen met een blanco pagina vol vraagtekens (masks).
Ze vullen de woorden één voor één in, maar ze kunnen ze in elke volgorde naar wens invullen. Ze kunnen bijvoorbeeld eerst het laatste woord invullen, dan het eerste, en dan het middelste.

Het Geheime Inzicht
De auteurs realiseerden zich dat hoewel deze modellen theoretisch gezien op dezelfde manier zouden moeten werken, ongeacht de volgorde waarin ze de gaten opvullen, ze in de praktijk wel degelijk gevoelig zijn voor de volgorde. De volgorde waarin ze woorden onthullen, verandert het eindresultaat subtiel.

De Analogie: De Verkeersregelaar
In plaats van de chef te dwingen om een specifief ingrediënt te kiezen (wat de smaak verandert), werkt dgMARK als een Verkeersregelaar.

De AI kijkt naar alle lege plekken op de pagina en zegt: "Ik denk dat ik hier een 'kat' kan zetten, of daar een 'hond'."
De Verkeersregelaar (dgMARK) heeft een geheime regel: "Als het woord dat je wilt plaatsen overeenkomt met een geheim patroon (zoals een pariteitscontrole), mag jij eerst."
De AI kiest nog steeds het beste woord voor die plek (de smaak verandert niet), maar de volgorde waarin de woorden op de pagina verschijnen, wordt subtiel gestuurd door de geheime regel.

Hoe de Geheime Code Werkt

De "geheime regel" is gebaseerd op een simpele wiskundige truc genaamd pariteit (oneven vs. even getallen).

Stel je voor dat de AI een zin invult. Voor elke positie (1e woord, 2e woord, enz.) is er een geheime lijst van "goedgekeurde" woorden.
Als de AI het 3e woord wil invullen, en het woord dat hij wil gebruiken staat op de "goedgekeurde" lijst voor de 3e plek, zegt dgMARK: "Geweldig! Vul die dan nu in!"
Als het woord niet op de lijst staat, kan de AI even wachten en eerst een andere plek invullen.

Gedurende een hele paragraaf creëert dit een statistisch patroon. Als je de tekst controleert, zul je zien dat de woorden in posities verschijnen die overeenkomen met het geheime patroon vaker voorkomen dan bij een willekeurige kans zou mogen. Het is alsof je een kaartspel subtiel hebt geschud zodat elke 4e kaart altijd een Hartenkaart is.

Waarom Dit Beter Is

Geen Verandering in Smaak: Omdat de AI nog steeds het beste woord voor de klus kiest, klinkt de tekst net zo natuurlijk en hoogwaardig als voorheen. Het paper laat zien dat de "perplexity" (een maatstaf voor hoe verwarrend de tekst is) nauwelijks verandert.
Moeilijk te Verwijderen: Als iemand de tekst probeert te bewerken (woorden toevoegen, verwijderen of verwisselen), laat de logica van de "Verkeersregelaar" een vingerafdruk achter. Het paper gebruikt een sliding window detector (zoals kijken door een bewegend vergrootglas) om deze patronen te vinden, zelfs als de tekst is bewerkt.
Plug-and-Play: Het werkt met de bestaande manier van denken van de AI. Je hoeft het model niet opnieuw te trainen; je voegt alleen deze "Verkeersregelaar"-laag toe aan het decodeerproces.

De Resultaten

De auteurs hebben dit getest op verschillende geavanceerde modellen (zoals LLaDA en Dream).

Detecteerbaarheid: Ze konden de watermerk-tekst met een zeer hoge nauwkeurigheid identificeren, zelfs wanneer de tekst bewerkt of geparafraseerd was.
Kwaliteit: De watermerk-tekst was bijna niet te onderscheiden van niet-watermerk-tekst qua kwaliteit.
Robuustheid: Zelfs als iemand probeerde de tekst te "parafraseren" (de tekst herschrijven om het watermerk te verbergen), bleef de methode effectief, vooral bij het gebruik van een "lookahead"-functie (waarbij de AI één stap vooruit plant om te zorgen dat het patroon doorgaat).

Samenvatting

dgMARK is een slimme manier om AI-tekst te watermerken door de volgorde te regisseren waarin woorden worden onthuld, in plaats van de AI te dwingen specifieke woorden te kiezen. Het is als het dirigeren van een orkest: je vertelt de muzikanten niet dat ze de verkeerde noten moeten spelen (wat de muziek zou verpesten); je vertelt ze alleen wanneer ze hun beste noten moeten spelen, zodat het ritme een geheim, detecteerbaar patroon volgt.

Technische Samenvatting: dgMARK – Decoding-Guided Watermarking voor Diffusion Language Models

Probleemstelling
Large Language Models (LLMs) brengen aanzienlijke risico's met zich mee wat betreft desinformatie, plagiaat en auteursrechtinbreuk, wat betrouwbare herkomstinstrumenten noodzakelijk maakt om door machines gegenereerde tekst te onderscheiden van door mensen geschreven inhoud. Hoewel watermarking een praktische oplossing is, zijn bestaande methoden voornamelijk ontworpen voor autoregressieve modellen (ARMs) die tekst strikt van links naar rechts genereren. Deze methoden beïnvloeden doorgaans de token-waarschijnlijkheden (bijv. het partitioneren in "groene/rode" lijsten) om signalen in te bedden. Discrete Diffusion Language Models (dLLMs) werken echter anders: zij denoise iteratief gemaskeerde sequenties en kunnen tokens in willekeurige volgordes finaliseren. Bij dLLMs is de "vorige token"-context die vereist is door ARMs vaak ongedefinieerd tijdens het decoderen, waardoor traditionele op waarschijnlijkheid gebaseerde watermarks ineffectief zijn of complexe aanpassingen vereisen die de outputdistributie van het model veranderen. Bovendien, hoewel ideale dLLMs orde-invariant zouden moeten zijn, vertonen praktische modellen een gevoeligheid voor de decoderingsvolgorde, wat een kloof creëert tussen theoretische invariantie en praktisch gedrag die onbenut blijft voor watermarking.

Methodologie: dg-MARK
De auteurs stellen dgMARK (Decoding-Guided Watermarking) voor, een methode die watermarks inbedt door de decoderingsvolgorde te sturen in plaats van de geleerde token-waarschijnlijkheden van het model te herwegen. De kernpremiss is dat dLLMs bij elke stap hoog-belonende kandidaat-tokens selecteren; dgMARK maakt hier gebruik van door de unmasking van posities te prioriteren waar de kandidaat-token aan een specifieke pariteitsvoorwaarde voldoet.

Pariteitsvoorwaarde: Gegeven een geheime sleutel $\xi$ , brengt een deterministische hashfunctie $f(v, \xi)$ elke token $v$ in kaart naar een binaire waarde. Voor een decoderingspositie $i$ bevat de "matching set" $G_i$ tokens waar $f(v, \xi) \equiv i \pmod 2$ .
Decoderingsstrategie: Tijdens het decoderingsproces identificeert het algoritme kandidaat-tokens voor alle nog niet onthulde posities. Het prioriteert posities $j$ waar de voorspelde token $v_j$ tot de matching set $G_j$ behoort. Onder deze geldige kandidaten wordt de positie met de hoogste beloning (gebaseerd op de onderliggende decoderingsstrategie, bijv. vertrouwen, entropie of marge) geselecteerd voor unmasking. Als geen enkele kandidaat aan de pariteitsvoorwaarde voldoet, valt het systeem terug op het standaard selectieproces.
Eén-stap Lookahead: Om te voorkomen dat hebzuchtige keuzes toekomstige mogelijkheden voor pariteits-matching uitputten, biedt dgMARK een variant met een top- $k$ beam search met één-stap lookahead. Deze variant evalueert hoeveel toekomstige posities pariteits-gealigneerd zouden blijven als een specifieke token zou worden vastgelegd, waarbij het pad wordt gekozen dat de toekomstige alignment maximaliseert.
Detectie: Detectie berust op statistische toetsing van de pariteits-matching rate. Omdat de hashfunctie gebalanceerd is, zou niet-watergemerkte tekst een matching rate nabij 0,5 vertonen. Watergemerkte tekst vertoont een significant verhoogde rate. Om robuustheid te garanderen tegen post-editing (invoegingen, verwijderingen, substituties), gebruikt de detector een sliding-window benadering, waarbij $z$ -statistieken over overlappende vensters worden geaggregeerd om indexverschuivingen op te vangen.

Belangrijkste Bijdragen

Orde-agnostische Watermarking: dgMARK is de eerste methode die de decoderingsvolgorde zelf gebruikt als het primaire kanaal voor watermarking in dLLMs, waardoor directe modificatie van de geleerde token-waarschijnlijkheden wordt vermeden.
Plug-and-Play Compatibiliteit: De methode fungeert als een wrapper rond bestaande decoderingsstrategieën (confidence, entropy, margin-based) en vereist geen hertraining van het model of wijziging van de interne parameters.
Robuustheid: Het sliding-window detectiemechanisme zorgt ervoor dat de watermark detecteerbaar blijft na aanzienlijke tekstmodificaties, inclusen paraphrasering en token-niveau edities.
Kwaliteitsbehoud: Door niet expliciet de waarschijnlijkheidsdistributie (logits) te beïnvloeden, beoogt dgMARK de degradatie van tekstkwaliteit te minimaliseren in vergelijking met waarschijnlijkheids-verschuivende baselines.

Experimentele Resultaten
De auteurs hebben dgMARK geëvalueerd op benchmarkdatasets (C4, Writing Prompts) met behulp van state-of-the-art dLLMs (LLaDA, LLaDA 1.5, LLaDA 2.0, Dream).

Detecteerbaarheid: dgMARK bereikt sterke detecteerbaarheid. Met een 3-beam search lookahead bereikt het True Positive Rates (TPR) van bijna 100% bij een False Positive Rate (FPR) van 0,01% op de C4-dataset, waarmee het baselines zoals KGW (Kirchenbauer et al., 2023) en PATTERN-MARK evenaart of overtreft.
Tekstkwaliteit: De methode veroorzaakt minimale degradatie in tekstkwaliteit. De toename in perplexiteit (PPL) is consistent kleiner dan die waargenomen bij KGW en PATTERN-MARK. Downstream benchmark prestaties (MMLU, GSM8K, HumanEval) laten slechts kleine dalingen zien, waarbij dgMARK over het algemeen de capaciteit beter behoudt dan waarschijnlijkheids-verschuivende methoden.
Robuustheid: Onder token-niveau aanvallen (invoeging, verwijdering, substitutie) met modificatiebudgetten tot 40%, behoudt dgMARK hoge Area Under the Curve (AUC) scores. Het demonstreert ook veerkracht tegen paraphrasering-aanvallen met DIPPER en Llama 3, met name wanneer gecombineerd met beam search.
Schaalbaarheid: Detecteerbaarheid verbetert met sequentielengte, waardoor de methode bijzonder effectief is voor langere generatietaken.

Betekenis en Claims
Het artikel claimt dat dgMARK de decoderingsvolgorde vestigt als een praktisch en complementair watermarking-kanaal voor dLLMs. De auteurs benadrukken dat hun aanpak een duidelijk voordeel biedt ten opzichte van bestaande paradigma's: het bereikt betrouwbare herkomst zonder de geleerde conditionele waarschijnlijkheden van het model direct te verstoren. Het werk benadrukt dat de inherente orde-gevoeligheid van praktische dLLMs, die vaak als een beperking of bijproduct wordt beschouwd, kan worden benut als een controleknop voor beveiliging. De auteurs merken bescheiden op dat de effectiviteit van de methode rust op de empirische imperfectie van huidige modellen (d.w.z. hun gevoeligheid voor decoderingsvolgorde), waarbij ze erkennen dat een perfect getraind, orde-invariant dLLM deze specifieke watermarking-aanpak theoretisch ineffectief zou maken. Desalniettemin biedt dgMARK, voor huidige en nabije toekomst dLLMs, een robuuste, lage-distortie oplossing voor content herkomst.