🤖 AI

ChainMark: Model-Free LLM Watermarking with Closed-Form Calibration

Mit der Einführung von ChainMark wird ein modellfreies, aktives Watermarking-Schema vorgestellt, das das Vokabular in schlüsselbasierte Zustände partitioniert, um harte Markov-Übergänge zu erzwingen, was eine geschlossene Kalibrierung der Detektionsparameter ermöglicht und eine nachweisbare Robustheit gegenüber Translations- und Substitutionsangriffen ohne Zugriff auf das generierende Sprachmodell erreicht.

Ursprüngliche Autoren: Chengheng Li-Chen, Kyuhee Kim

Veröffentlicht 2026-07-22

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chengheng Li-Chen, Kyuhee Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spazieren durch eine riesige Bibliothek, in der Roboter Geschichten schreiben. Manchmal sind diese Roboter so gut, dass man nicht unterscheiden kann, ob eine Geschichte von einem Menschen oder einer Maschine geschrieben wurde. Das ist ein großes Problem für die Zukunft: Wenn Roboter alles schreiben können, wie wissen wir dann, was echt ist? Wissenschaftler versuchen dies zu lösen, indem sie den Robotern einen geheimen Weg geben, ihre Arbeit zu markieren, wie eine versteckte Signatur, die nur ein spezieller Detektor sehen kann. Dies wird als „Watermarking“ bezeichnet. Stellen Sie es sich wie einen geheimen Code vor, der in der DNA eines Satzes verborgen ist.

Das Überprüfen dieser Codes war jedoch schwierig. Die meisten alten Methoden ähnelten einem Spiel wie „Passwort erraten“, bei dem der Roboter selbst anwesend sein muss, um die Arbeit zu prüfen. Wenn der Roboter weg ist oder jemand die Geschichte leicht verändert (wie etwa durch die Übersetzung in eine andere Sprache), brechen die alten Codes oft ab oder verschwinden. Darüber hinaus wollten Regulierungsbehörden (die Menschen, die die Regeln machen) eine einfache Möglichkeit haben, um zu sagen: „Ich brauche einen Code, der seltener als 1 % mal falsch liegt, bei kurzen Texten funktioniert und Edits übersteht“, aber sie hatten bisher keine klare Formel, um Ingenieuren genau vorzugeben, wie sie diesen Code bauen sollen.

Dieses Paper stellt eine neue Lösung namens ChainMark vor. Es ist ein cleveres, „modellfreies“ Wasserzeichen, was bedeutet, dass man nicht den Roboter braucht, um die Arbeit zu prüfen – man benötigt lediglich einen geheimen Schlüssel. Die Autoren haben einen Weg gefunden, einen Code zu erstellen, der wie ein geheimer Tanz funktioniert. Sie zeigen, dass dieser Tanz sehr schwer zu brechen ist gegenüber spezifischen Arten von Angriffen, und sie liefern ein klares, mathematisches Rezept für Regulierungsbehörden, damit diese den Ingenieuren genau sagen können, wie sie es einrichten sollen.

Der geheime Tanz: Wie ChainMark funktioniert

Stellen Sie sich das Vokabular des Roboters (alle Wörter, die er verwenden kann) als eine riesige Box mit farbigen Kacheln vor. ChainMark nimmt einen geheimen Schlüssel und sortiert jede einzelne Kachel in eines von fünf farbigen Behältern (sagen wir Rot, Blau, Grün, Gelb und Lila). Diese Behälter sind in einem Kreis angeordnet, wie eine Uhr: Rot → Blau → Grün → Gelb → Lila → Rot.

Wenn der Roboter eine Geschichte schreibt, lässt ChainMark ihn nicht einfach irgendein Wort wählen. An bestimmten Stellen in der Geschichte wird der Roboter gezwungen, ein Wort zu wählen, das zum nächsten Farbton im Kreis gehört. Wenn das letzte Wort Rot war, muss das nächste Blau sein. Wenn das letzte Blau war, muss das nächste Grün sein. Der Roboter wählt immer noch das beste Wort, das er finden kann, aber er darf nur aus dem „Blau“-Behälter wählen.

Dies erzeugt einen verborgenen Pfad, oder eine „Kette“, durch den Text. Die Geschichte wandert im Wesentlichen um diese Farb-Uhr herum.

Der Detektiv ohne Roboter

Hier liegt der Zauber: Um zu prüfen, ob eine Geschichte wassermarkiert ist, benötigen Sie den Roboter überhaupt nicht. Sie benötigen nur den geheimen Schlüssel und den Text. Ein Verifizierer (der Detektiv) nimmt den Text, sucht den geheimen Schlüssel nach und sortiert jedes Wort neu in seine farbigen Behälter ein. Dann zählt er einfach, wie oft die Farben der richtigen Reihenfolge folgen (Rot zu Blau, Blau zu Grün usw.).

Wenn die Geschichte von einem Menschen oder einem Roboter ohne das Geheimnis geschrieben wurde, springen die Farben zufällig umher. Die Chance, die Reihenfolge durch Zufall richtig zu treffen, ist sehr gering (nur 1 zu 5, oder 20 %). Aber wenn die Geschichte mit ChainMark geschrieben wurde, folgen die Farben der Kette fast perfekt. Der Detektiv erledigt diese Mathematik in einem Augenblick, ohne jemals den Roboter um Hilfe bitten zu müssen.

Warum das eine große Sache ist

Das Paper zeigt, dass ChainMark drei große Probleme löst, die andere Methoden hatten:

Kein Roboter nötig: Alte Methoden erforderten oft das „Gehirn“ des Roboters, um die Arbeit zu prüfen. ChainMark benötigt nur den Text und den Schlüssel. Das bedeutet, dass ein Dritter, wie eine Regulierungsbehörde oder ein Nachrichtenredakteur, prüfen kann, ob eine Geschichte KI-generiert ist, ohne Zugriff auf das geheime KI-Modell des Unternehmens zu benötigen.
Das perfekte Rezept: Die Autoren haben eine „geschlossene Formel“ hergeleitet. Dies ist eine schicke Art zu sagen, dass sie eine direkte mathematische Gleichung gefunden haben. Wenn eine Regulierungsbehörde sagt: „Ich brauche eine Fehlalarmrate von 1 % für einen 200-Wörter-Text“, kann der Ingenieur diese Zahlen in die Formel einsetzen und sofort wissen, wie viele Farbbehälter er verwenden muss. Kein mehr Raten oder Ausprobieren.
Es übersteht den „Übersetzungsangriff“: Eine der größten Möglichkeiten, alte Wasserzeichen zu brechen, besteht darin, einen Text in eine andere Sprache zu übersetzen (wie Chinesisch) und dann wieder zurück zu übersetzen. Dies verwirbelt normalerweise den geheimen Code. Das Paper hat ChainMark gegen dies getestet und fand es unglaublich widerstandsfähig. Selbst nachdem der Text ins Chinesische und zurück übersetzt wurde, identifizierte ChainMark den wassermarkierten Text immer noch in 72,8 % der Fälle korrekt. Im Gegensatz dazu fielen andere populäre Methoden (genannt KGW und SWEET) unter denselben Bedingungen auf unter 20 % Erfolgsrate.

Der Kompromiss

Das Paper ist ehrlich über die Kosten. Um diesen geheimen Tanz zu ermöglichen, muss der Roboter bei der Wortwahl etwas stärker eingeschränkt werden. Dies macht den Text ein klein wenig weniger „flüssig“ oder natürlich im Vergleich zu einem völlig freien Roboter. Die Autoren haben dies mit einem Score namens „Perplexity“ gemessen. Der Score von ChainMark lag bei etwa 3,66, während die anderen Methoden bei etwa 1,80 bis 1,93 lagen. Das bedeutet, dass ChainMark etwa doppelt so „steif“ ist wie die anderen, aber der Vorteil ist, dass es viel schwerer zu brechen und viel einfacher zu verifizieren ist, ohne den Roboter.

Das „universelle“ Sicherheitsnetz

Das Paper entdeckte auch etwas Überraschendes darüber, wie viel Bearbeitung der Code gegen einen „blinden“ Angreifer (einen, der den geheimen Schlüssel nicht kennt) überleben kann. Sie haben mathematisch bewiesen, dass, wenn jemand zufällig Wörter austauscht (wie ein „Ausschneiden und Einfügen“-Angriff), der Code Bestand hat, solange die Edits weniger als 29,3 % des Textes ausmachen. Diese Zahl ist eine „universelle Konstante“, was bedeutet, dass es nicht darauf ankommt, wie viele Farbbehälter man verwendet oder wie lang der Text ist; der Code hält stand, bis man diese spezifische 29,3 %-Grenze erreicht.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dieses Sicherheitsnetz Grenzen hat. Es gilt für zufällige Austauschvorgänge und Übersetzungen, aber es garantiert keinen Schutz gegen einen superintelligenten Hacker, der den geheimen Schlüssel kennt oder dem Detektor wiederholt Fragen stellt, um das Muster herauszufinden. Zudem hat das Paper noch nicht komplexe, grammatikbewahrende Umschreibungen getestet (bei denen die Bedeutung exakt gleich bleibt, aber die Wörter sich ändern), sodass zwar der Code sehr stark gegen Übersetzungen und zufällige Austauschvorgänge ist, aber in Bezug auf andere Arten von Angriffen noch Arbeit zu leisten bleibt.

Was es nicht ist

Die Autoren sind vorsichtig zu betonen, was ihre Methode nicht leistet. Sie geben zu, dass ein superintelligenter Hacker, der den geheimen Schlüssel kennt oder dem Detektor immer wieder Fragen stellen kann, um das Muster zu verstehen, das System eventuell knacken könnte. Das Paper konzentriert sich auf einen „blinden“ Angreifer, der den Schlüssel nicht besitzt. Außerdem wurden nicht alle Arten von Bearbeitungen getestet (wie komplexe grammatikalische Umschreibungen, die die Bedeutung exakt gleich halten), sodass der Code zwar sehr stark gegen Übersetzungen und zufällige Austauschvorgänge ist, aber in Bezug auf andere Arten von Angriffen noch Arbeit zu leisten bleibt.

Das Fazit

ChainMark ist wie einem KI-Schreiber einen geheimen, schwer zu brechenden Tanzschritt zu geben, der eine Spur von Fußabdrücken hinterlässt – vorausgesetzt, der Angreifer ist blind gegenüber dem Schlüssel und der Angriff ist zufällig oder translatorisch. Selbst wenn jemand versucht, die Fußabdrücke durch das Übersetzen der Geschichte oder das Austauschen von Wörtern zu löschen, bleibt das Muster für jeden mit dem geheimen Schlüssel sichtbar. Vor allem bietet es Regulierungsbehörden eine klare, mathematische Anleitung, um diese Wasserzeichen exakt so einzurichten, wie sie es benötigen, ohne raten oder sich auf das KI-Unternehmen verlassen zu müssen, um die Prüfung durchzuführen. Es ist ein Schritt in Richtung einer Zukunft, in der wir digitalem Text vertrauen können, da wir genau wissen, wer (oder was) ihn geschrieben hat.

Technisches Resümee: ChainMark: Modellfreies LLM-Watermarking mit Closed-Form-Kalibrierung

1. Problemstellung

Das Paper adressiert die technischen Herausforderungen bei der Implementierung maschinenlesbarer Wasserzeichen für von Large Language Models (LLM) generierten Text, insbesondere im Kontext regulatorischer Mandate wie dem EU AI Act (Artikel 50). Die Autoren identifizieren drei strukturelle Defizite bestehender Watermarking-Verfahren (z. B. KGW, SWEET, EWD), die die Prüfung durch Regulierungsbehörden behindern:

Modellgebundene Detektion: Bestehende Methoden erfordern oft Zugriff auf das generierende Modell oder dessen internen Zustand (z. B. Logits, Entropie) zum Zeitpunkt der Detektion, was eine Verifizierung durch Drittanbieter ohne das Modell verhindert.
Fehlende Closed-Form-Kalibrierung: Kein bestehendes Schema bietet eine mathematische Abbildung von den spezifischen Zielen eines Regulators (Falsch-Positiv-Rate $\alpha$ , minimale Textlänge $n_{min}$ und Wasserzeichen-Budget $\rho$ ) auf die konkreten Konfigurationsparameter (z. B. Wasserzeichenstärke), die für den Einsatz erforderlich sind.
Spröde Robustheit: Aktuelle Verfahren leiden unter einer signifikanten Degradation der Richtig-Positiv-Raten (TPR) bei gängigen Angriffen wie Übersetzung (z. B. Chinesisch-Rückübersetzung) und zufälliger Substitution, wobei sie bei identischem Budget oft unter 20 % TPR fallen.

2. Methodik: Das ChainMark-Schema

ChainMark ist ein aktives Watermarking-Schema, das zur Detektion modellfrei und mittels Closed-Form-Mathematik kalibriert ist.

Kernmechanismus

Zustandspartitionierung: Ein geheimer Schlüssel $\kappa$ wird zusammen mit einer Hash-Funktion (SHA-256) verwendet, um jedes Vokabular-Token $v$ einer von $S$ diskreten Zuständen zuzuordnen: $\sigma_\kappa(v) = \text{SHA-256}(\kappa \parallel v) \mod S$ . Dies partitioniert das Vokabular in $S$ disjunkte Mengen $V_0, \dots, V_{S-1}$ .
Uhrwerk-Übergang (Clockwork Transition): Die Zustände sind in einem festen Zyklus angeordnet ( $s \to (s+1) \mod S$ ).
Generierung (Einbettung): An einem Bruchteil der Token-Positionen (bestimmt durch ein Entropie-Gate) wird das Modell dazu gezwungen, ein Token aus dem nächsten Zustand im Zyklus auszugegeben. Konkret werden die Logits für Tokens, die nicht im Zielzustands-Set liegen, auf $-\infty$ maskiert, und das Modell wählt das Argmax aus den verbleibenden gültigen Tokens. An ungegateten Positionen sampelt das Modell frei.
Detektion (Verifizierung): Ein Verifizierer, der lediglich den geheimen Schlüssel und den Tokenizer besitzt (kein LLM-Zugriff), berechnet den Zustand für jedes Token im Text neu. Der Verifizierer berechnet den Anteil der gültigen Übergänge $\phi$ $ϕ$ , bei denen die Zustandssequenz dem Zyklus folgt.
- Nullhypothese ( $H_0$ ): Für nicht-wasserzeichenbehafteten Text sind die Übergänge zufällig, was eine erwartete Rate von $p_0 = 1/S$ ergibt (für eine 1-reguläre Clockwork-Kette).
- Alternativhypothese ( $H_1$ ): Wasserzeichenbehafteter Text weist eine gültige Rate von $\approx 1/S + \rho(1 - 1/S)$ auf.
- Statistischer Test: Ein Standard- $z$ -Test wird auf $\phi$ durchgeführt, um zu bestimmen, ob der Text wasserzeichenbehaftet ist. Die Detektionskomplexität beträgt $O(n)$ Hash-Operationen.

Kalibrierung und Robustheit

Closed-Form-Kalibrierung: Die Autoren leiten eine Formel $S^\star(n, \rho, \alpha)$ ab, die die Ziele des Regulators direkt auf die minimale Anzahl der Zustände $S$ abbildet, die erforderlich ist, um eine Falsch-Positiv-Rate (FPR) von $\le \alpha$ zu garantieren.
Empirische Rekalibrierung: Um die nicht-gleichmäßige Verteilung natürlicher Sprach-Tokens über Hash-Zustände zu berücksichtigen, wird ein Schritt der Ein-Korpus-Rekalibrierung vorgeschlagen. Dieser passt den Detektionsschwellenwert basierend auf dem empirischen Mittelwert und der Standardabweichung des $z$ -Scores auf nicht-wasserzeichenbehaftetem Text an, wodurch die Ziel-FPR wiederhergestellt wird, ohne die Wasserzeichen-Konfiguration zu ändern.
Universeller Robustheitsschwellenwert: Das Paper beweist, dass unter uniformer Zufallssubstitution das Wasserzeichen bis zu einem Editier-Anteil von $\delta^\star = 1 - 1/\sqrt{2} \approx 29,3 \%$ überlebt. Entscheidend ist, dass dieser Schwellenwert invariant gegenüber den Parametern $S$ , $\rho$ und $n$ ist.

3. Zentrale Beiträge

Modellfreie Detektion: ChainMark ermöglicht die Prüfung durch Dritte unter Verwendung von lediglich dem geheimen Schlüssel und dem Tokenizer, wodurch der Zugriff auf das generierende LLM zum Zeitpunkt der Inferenz entfällt.
Operator-orientierte Kalibrierung: Die Ableitung der Closed-Form-Abbildung $S^\star(n, \rho, \alpha)$ erlaubt es Regulatoren, Detektionsziele zu spezifizieren, die direkt in ein einsatzfähiges System übersetzt werden können.
Robustheitsgarantien: Theoretische Beweise etablieren einen universellen Robustheitsschwellenwert ( $\approx 29,3 \%$ ) gegen uniforme Substitution, unabhängig von den Systemparametern.
Generalisierbarkeit: Das Framework lässt sich auf jede $k$ -reguläre, doppelt stochastische Übergangstopologie erweitieren, nicht nur auf die einfache Clockwork-Kette.

4. Experimentelle Ergebnisse

Die Experimente wurden auf drei instruktionsgesteuerten LLMs (Llama-3.1-8B, Qwen-2.5-7B, Mistral-7B) über vier Domänen (Code, Faktisch, Wiki, Schreiben) durchgeführt.

Leistung bei abgestimmtem Budget (Matched-Budget): Im Vergleich zu KGW und SWEET bei einem festen Wasserzeichen-Budget ( $\rho=0,5$ $ρ = 0, 5$ ) übertraf ChainMark die Baselines unter Angriff signifikant.
- Reiner Text: ChainMark erreichte eine TPR von 100 %.
- Zufällige Substitution ( $\delta=0,20$ ): ChainMark behielt eine TPR von 99,9 % bei, während KGW und SWEET auf ~55 % bzw. ~51 % fielen.
- Chinesisch-Rückübersetzung: ChainMark behielt eine TPR von 72,8 % bei, während KGW und SWEET unter 20 % fielen (19,4 % bzw. 18,0 %).
Qualitätskosten: Diese Robustheit geht mit einem erhöhten Self-Perplexity-Wert einher (ChainMark: 3,66 vs. Baselines: ~1,80–1,93).
Validierung der Kalibrierung: Empirische Ergebnisse bestätigten, dass die Closed-Form-Kalibrierung die korrekte Ordnung der Zustandsanzahlen liefert und die empirische Rekalibrierung die Falsch-Positiv-Rate erfolgreich von ~2,0 % auf die Zielmarke von 1 % reduzierte, ohne die True-Positive-Detektion zu beeinträchtigen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass ChainMark das notwendige technische Substrat für regulatorische Rahmenbedingungen wie den EU AI Act bereitstellt, indem es das Problem der „Auditierbarkeit“ löst. Seine primäre Bedeutung liegt in:

Mapping von Policy zu Konfiguration: Es übersetzt abstrakte regulatorische Anforderungen (FPR, Textlänge, Budget) in konkrete, auditierbare Systemparameter.
Drittanbieter-Auditierbarkeit: Durch die Entkopplung der Detektion vom Modell ermöglicht es die unabhängige Verifizierung von KI-generierten Inhalten, eine Voraussetzung für transparente Governance.
Robustheit vs. Qualität: Die Autoren räumen ein, dass ChainMark eine messbare Qualitätskosten (höhere Perplexity) verursacht, argumentieren jedoch, dass dies ein notwendiger Kompromiss ist, um eine hohe Robustheit gegenüber Übersetzungs- und Substitutionsangriffen zu erreichen, bei denen aktuelle State-of-the-Art-Methoden versagen.

Die Autoren bleiben bescheiden hinsichtlich der Limitationen und merken an, dass die aktuellen Robustheitsansprüche gegen Übersetzungs- und uniforme Substitutionsangriffe gelten und das Schema noch keine grammatikbewahrenden Paraphrasierungsangriffe (z. B. DIPPER) oder Gegner mit adaptivem Detector-Query-Zugriff abdeckt. Sie heben zudem hervor, dass die Risiken des „Chilling Effect“ und der Falsch-Positiv-Rate asymmetrische Schäden darstellen, die durch sorgfältige Schwellenwert-Kalibrierung gemanagt werden müssen.