🤖 machine learning

dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

Das Papier stellt dgMARK vor, eine Plug-and-Play-Watermarking-Methode für diskrete Diffusionssprachmodelle, die deren Sensitivität gegenüber der Enttarnungsreihenfolge von Token nutzt, um durch paritätsbeschränkte Kandidatenauswahl detektierbare Signale einzubetten, wodurch Robustheit gegenüber verschiedenen Textbearbeitungsoperationen gewährleistet wird.

Ursprüngliche Autoren: Pyo Min Hong, Albert No

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pyo Min Hong, Albert No

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: „Wer hat das geschrieben?“

Stellen Sie sich Large Language Models (LLMs) wie unglaublich talentierte Geisterautoren vor. Sie können Geschichten, Code und Essays schreiben, die exakt so aussehen und klingen, als wären sie von Menschen geschrieben worden. Aber das schafft ein Problem: Wenn ein böswilliger Akteur diese Modelle nutzt, um Fake News oder Phishing-E-Mails zu schreiben, wie wissen wir dann, ob es nicht eine echte Person war?

Wir brauchen eine Möglichkeit, den Text zu kennzeichnen, damit wir beweisen können: „Hey, das hat ein Computer geschrieben.“ Das nennt man Watermarking (Wasserzeichen setzen).

Der alte Weg vs. der neue Weg

Die meisten aktuellen Watermarking-Methoden funktionieren wie ein voreingenommener Münzwurf.

Die Analogie: Stellen Sie sich einen Koch (die KI) vor, der normalerweise Zutaten danach auswählt, was am besten schmeckt. Die alte Watermarking-Methode zwingt den Koch dazu, 6er-mal eine „grüne“ Zutat (wie eine bestimmte Art von Paprika) zu wählen, selbst wenn eine „rote“ Zutat (wie eine Tomate) besser geschmeckt hätte.
Der Fehler: Dies verändert den Geschmack des Gerichts. Der Text könnte etwas roboterhaft oder qualitativ minderwertig klingen, weil die KI gezwungen wird, unnatürliche Entscheidungen zu treffen, nur um ein geheimes Codewort zu verstecken.

Die neue Methode: dgMARK (Der „Verkehrsleiter“)

Das Paper stellt dgMARK vor, eine neue Methode, die speziell für eine neuere Art von KI namens Diffusion Language Models (dLLMs) entwickelt wurde.

Was ist ein Diffusionsmodell?
Im Gegensatz zu den alten „autoregressiven“ Modellen, die Sätze streng von links nach rechts schreiben (wie ein Tipper), sind Diffusion-Modelle eher wie Rätsellöser.

Sie beginnen mit einer leeren Seite voller Fragezeichen (Masken).
Sie füllen die Wörter eines nach dem anderen aus, aber sie können sie in beliebiger Reihenfolge ausfüllen. Sie können vielleicht zuerst das letzte Wort ausfüllfüllen, dann das erste, dann das in der Mitte.

Die entscheidende Erkenntreit
Die Autoren erkannten, dass diese Modelle zwar theoretisch unabhängig von der Reihenfolge funktionieren sollten, in der Realität aber empfindlich auf die Reihenfolge reagieren. Die Reihenfolge, in der sie Wörter enthüllen, verändert das Endergebnis leicht.

Die Analogie: Der Verkehrsleiter
Anstatt den Koch zu zwingen, eine bestimmte Zutat zu wählen (was den Geschmack verändert), fungiert dgMARK wie ein Verkehrsleiter.

Die KI schaut auf alle leeren Stellen auf der Seite und sagt: „Ich könnte hier ein ‚Katze‘ setzen oder dort ein ‚Hund‘.“
Der Verkehrsleiter (dgMARK) hat eine geheime Regel: „Wenn das Wort, das du setzen willst, zu einem geheimen Muster passt (wie eine Paritätsprüfung), darfst du zuerst dran sein.“
Die KI wählt immer noch das beste Wort für diese Stelle (der Geschmack ändert sich nicht), aber die Reihenfolge, in der die Wörter auf der Seite erscheinen, wird subtil durch die geheime Regel gesteuert.

Wie der geheime Code funktioniert

Die „geheime Regel“ basiert auf einem einfachen mathematischen Trick namens Parität (ungerade vs. gerade Zahlen).

Stellen Sie sich vor, die KI füllt einen Satz aus. Für jede Position (1. Wort, 2. Wort usw.) gibt es eine geheime Liste von „zugelassenen“ Wörtern.
Wenn die KI das 3. Wort ausfüllen will und das Wort, das sie möchte, auf der „zugelassenen“ Liste für den 3. Platz steht, sagt dgMARK: „Großartig! Fülle das jetzt aus!“
Wenn das Wort nicht auf der Liste steht, wartet die KI vielleicht einen Moment und füllt zuerst eine andere Stelle aus.

Über einen ganzen Absatz hinweg erzeugt dies ein statistisches Muster. Wenn man den Text überprüft, stellt man fest, dass die Wörter in Positionen erscheinen, die dem geheimen Muster häufiger entsprechen, als es der Zufall zulassen würde. Es ist, als würde man feststellen, dass ein Kartendeck subtil so gemischt wurde, dass jede vierte Karte immer ein Herz ist.

Warum das besser ist

Keine Geschmacksveränderung: Da die KI immer noch das beste Wort für die Aufgabe wählt, klingt der Text genauso natürlich und hochwertig wie zuvor. Das Paper zeigt, dass die „Perplexity“ (ein Maß dafür, wie verwirrend der Text ist) sich kaum verändert.
Schwer zu entfernen: Wenn jemand versucht, den Text zu bearbeiten (Wörter hinzufügen, löschen oder austauschen), hinterlässt die Logik des „Verkehrsleiters“ einen Fingerabdruck. Das Paper verwendet einen Sliding-Window-Detektor (wie das Betrachten des Textes durch eine bewegliche Lupe), um diese Muster auch dann zu finden, wenn der Text bearbeitet wurde.
Plug-and-Play: Es arbeitet mit der bestehenden Denkweise der KI zusammen. Man muss das Modell nicht neu trainieren; man fügt einfach diese „Verkehrsleiter“-Schicht über den Decoding-Prozess hinzu.

Die Ergebnisse

Die Autoren testeten dies an mehreren fortgeschrittenen Modellen (wie LLaDA und Dream).

Detektierbarkeit: Sie konnten den wassermarkierten Text mit sehr hoher Genauigkeit identifizieren, selbst wenn der Text bearbeitet oder paraphriert (umgeschrieben) wurde.
Qualität: Der wassermarkierte Text war in Bezug auf die Qualität kaum von nicht-wassermarkiertem Text zu unterscheiden.
Robustität: Selbst wenn jemand versuchte, den Text zu „paraphrasieren“ (ihn umzuschreiben, um das Wasserzeichen zu verbergen), blieb die Methode effektiv, insbesondere wenn sie eine „Lookahead“-Funktion nutzt (bei der die KI einen Schritt voraus plant, um sicherzustellen, dass das Muster fortgesetzt wird).

Zusammenfassung

dgMARK ist eine kluge Art, KI-Texte zu wasserzeichnen, indem man die Reihenfolge orchestriert, in der Wörter enthüllt werden, anstatt die KI zu zwingen, bestimmte Wörter zu wählen. Es ist wie das Dirigieren eines Orchesters: Man sagt den Musikern nicht, sie sollen die falschen Noten spielen (was die Musik ruinieren würde); man sagt ihnen nur, wann sie ihre besten Noten spielen sollen, damit der Rhythmus einem geheimen, detektierbaren Muster folgt.

Technische Zusammenfassung: dgMARK – Decoding-Guided Watermarking für Diffusion Language Models

Problemstellung
Große Sprachmodelle (LLMs) bergen erhebliche Risiken hinsichtlich Desinformation, Plagiaten und Urheberrechtsverletzungen, was zuverlässige Herkunftsnachweis-Werkzeuge erforderlich macht, um maschinengenerierten Text von menschlich verfasstem Inhalt zu unterscheiden. Während Watermarking eine praktische Lösung darstellt, sind bestehende Methoden primär auf autoregressive Modelle (ARMs) ausgelegt, die Text streng von links nach rechts generieren. Diese Methoden verändern typischerweise die Token-Wahrscheinlichkeiten (z. B. durch Partitionierung in „grüne/rote“ Listen), um Signale einzubetten. Discrete Diffusion Language Models (dLLMs) operieren jedoch anders: Sie rauschen maskierte Sequenzen iterativ heraus und können Token in beliebiger Reihenfolge finalisieren. Bei dLLMs ist der von ARMs benötigte Kontext des „vorherigen Tokens“ während des Decodings oft undefiniert, was herkömmliche, auf Wahrscheinlichkeits-Biasing basierende Watermarks ineffektiv macht oder komplexe Anpassungen erfordert, die die Output-Verteilung des Modells verändern. Darüber hinaus sind ideale dLLMs zwar ordnungsinvariant sein sollten, praktische Modelle jedoch eine Sensitivität gegenüber der Decoding-Reihenfolge aufweisen, was eine Lücke zwischen theoretischer Invarianz und praktischem Verhalten schafft, die für das Watermarking bisher ungenutzt blieb.

Methodik: dgMARK
Die Autoren schlagen dgMARK (Decoding-Guided Watermarking) vor, eine Methode, die Wasserzeichen einbettet, indem sie die Decoding-Reihenfolge steuert, anstatt die gelernten Token-Wahrscheinlichkeiten des Modells neu zu gewichten. Die Kernannahme ist, dass dLLMs in jedem Schritt hochbelohnte Kandidaten-Token auswählen; dgMARK nutzt dies aus, indem es die Entmaskierung von Positionen priorisiert, an denen das Kandidaten-Token eine spezifische Paritätsbedingung erfüllt.

Paritätsbedingung: Gegeben sei ein geheimer Schlüssel $\xi$ , eine deterministische Hash-Funktion $f(v, \xi)$ bildet jedes Token $v$ auf einen binären Wert ab. Für eine Decoding-Position $i$ enthält die „Matching-Menge“ $G_i$ jene Tokens, für die gilt: $f(v, \xi) \equiv i \pmod 2$ .
Decoding-Strategie: Während des Decoding-Prozesses identifiziert der Algorithmus Kandidaten-Tokens für alle noch nicht enthüllten Positionen. Er priorisiert Positionen $j$ , bei denen das vorhergesagte Token $v_j$ zur Matching-Menge $G_j$ gehört. Unter diesen validen Kandidaten wird die Position mit der höchsten Belohnung (basierend auf der zugrunde liegenden Decoding-Strategie, z. B. Konfidenz, Entropie oder Margin) für die Entmaskierung ausgewählt. Falls kein Kandidat die Paritätsbedingung erfüllt, greift das System auf den Standard-Selektionsprozess zurück.
One-Step Lookahead: Um zu verhindern, dass gierige Entscheidungen (greedy choices) zukünftige Möglichkeiten zur Paritäts-Übereinstimmung erschöpfen, bietet dgMARK eine Variante mittels eines Top- $k$ Beam-Search mit One-Step-Lookahead an. Diese Variante evaluiert, wie viele zukünftige Positionen paritäts-konform blieben, wenn ein bestimmtes Token festgelegt würde, und wählt den Pfad, der die zukünftige Ausrichtung maximiert.
Detektion: Die Detektion basiert auf der statistischen Prüfung der Paritäts-Matching-Rate. Da die Hash-Funktion balanciert ist, sollte nicht-wassermarkierter Text eine Matching-Rate nahe 0,5 aufweisen. Wassermarkierter Text zeigt eine signifikant erhöhte Rate. Um Robustheit gegenüber Post-Editing (Einfügungen, Löschungen, Substitutionen) zu gewährleisten, nutzt der Detektor einen Sliding-Window-Ansatz, der $z$ -Statistiken über überlappende Fenster aggregiert, um Indexverschiebungen zu handhaben.

Zentrale Beiträge

Ordnungsagnostisches Watermarking: dgMARK ist die erste Methode, welche die Decoding-Reihenfolge selbst als primären Kanal für das Watermarking in dLLMs nutzt und somit die direkte Modifikation der gelernten Token-Wahrscheinlichkeiten vermeidet.
Plug-and-Play-Kompatibilität: Die Methode fungiert als Wrapper um bestehende Decoding-Strategien (Konfidenz-, Entropie- oder Margin-basiert) und erfordert weder ein Retraining des Modells noch die Änderung interner Parameter.
Robustheit: Der Sliding-Window-Detektionsmechanismus stellt sicher, dass das Wasserzeichen auch nach signifikanten Textmodifikationen, einschließlich Paraphrasierung und Token-Ebene-Edits, detektierbar bleibt.
Qualitätserhaltung: Durch den Verzicht auf ein explizites Biasing der Wahrscheinlichkeitsverteilung (Logits) zielt dgMARK darauf ab, die Verschlechterung der Textqualität im Vergleich zu Wahrscheinlichkeits-Verschiebungs-Baselines zu minimieren.

Experimentelle Ergebnisse
Die Autoren evaluierten dgMARK auf Benchmark-Datensätzen (C4, Writing Prompts) unter Verwendung von State-of-the-Art dLLMs (LLaDA, LLaDA 1.5, LLaDA 2.0, Dream).

Detektierbarkeit: dgMARK erreicht eine starke Detektierbarkeit. Mit einem 3-Beam-Search-Lookahead erreicht es True-Positive-Raten von nahezu 100 % bei einer False-Positive-Rate von 0,01 % auf dem C4-Datensatz und übertrifft oder gleicht Baselines wie KGW (Kirchenbauer et al., 2023) und PATTERN-MARK.
Textqualität: Die Methode verursacht eine minimale Verschlechterung der Textqualität. Die Zunahme der Perplexität (PPL) ist konsistent geringer als bei KGW und PATTERN-MARK. Die Leistung in Downstream-Benchmarks (MMLU, GSM8K, HumanEval) zeigt nur geringfügige Einbußen, wobei dgMARK die Leistungsfähigkeit im Allgemeinen besser bewahrt als Wahrscheinlichkeits-Biasing-Methoden.
Robustsheit: Unter Token-Level-Angriffen (Einfügen, Löschen, Substitution) mit Modifikationsbudgets von bis zu 40 % behält dgMARK hohe AUC-Werte bei. Es demonstriert zudem Resilienz gegen Paraphrasierungs-Angriffe mittels DIPPER und Llama 3, insbesondere in Kombination mit Beam Search.
Skalierbarkeit: Die Detektierbarkeit verbessert sich mit der Sequenzlänge, was die Methode besonders effektiv für Aufgaben der Langform-Generierung macht.

Bedeutung und Behauptungen
Das Paper behauptt, dass dgMARK die Decoding-Reihenfolge als praktischen und komplementären Watermarking-Kanal für dLLMs etabliert. Die Autoren betonen, dass ihr Ansatz einen deutlichen Vorteil gegenüber bestehenden Paradigmen bietet: Er erreicht eine zuverlässige Provenienz ohne die direkte Verzerrung der gelernten bedingten Wahrscheinlichkeiten des Modells. Die Arbeit hebt hervor, dass die inhärente Ordnungssensitivität praktischer dLLMs, die oft als Limitierung oder Nebeneffekt betrachtet wird, als Kontrollknopf für Sicherheit genutzt werden kann. Die Autoren merken bescheiden an, dass die Effektivität der Methode auf der empirischen Imperfektion aktueller Modelle (d. h. deren Sensitivität gegenüber der Decoding-Reihenfolge) beruht, und räumen ein, dass ein perfekt trainiertes, ordnungsinvariantes dLLM diesen spezifischen Watermarking-Ansatz theoretisch unwirksam machen würde. Dennoch bietet dgMARK für aktuelle und nahe Zukunft dLLMs eine robuste, distortionsarme Lösung für die Herkunftssicherung von Inhalten.