💻 computer science

Echoes within the Reasoning: Stealthy and Effective Watermarking via Chain of Thought

Dieser Artikel stellt BiCoT vor, ein neuartiges Wasserzeichen-Framework, das Eigentumssignale in die interne geometrische Struktur von Chain-of-Thought-Reasoning-Spuren einbettet, um eine robuste und unauffällige Erkennung zu erreichen, ohne die Reasoning-Genauigkeit zu beeinträchtigen, und das durch einen Robust Subspace Registration-Verifizierer ergänzt wird, um Modelldiebstahl und Verteilungsverschiebungen zu bewältigen.

Ursprüngliche Autoren: Jiacheng Lu, Yiming Li, Tao Song, Weijian Wang, Wenjie Qu, Haibing Guan, Jiaheng Zhang

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiacheng Lu, Yiming Li, Tao Song, Weijian Wang, Wenjie Qu, Haibing Guan, Jiaheng Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen einen hochintelligenten Roboter, der außerordentlich gut darin ist, komplexe Rätsel zu lösen. Sie haben Millionen von Dollar und Jahre an Zeit investiert, um ihn zu trainieren. Nun machen Sie sich Sorgen, dass jemand Ihren Roboter stehlen, umbenennen und als seinen eigenen verkaufen könnte. Sie benötigen eine Möglichkeit zu beweisen: „Dies ist mein Roboter", ohne zu verändern, wie er Rätsel löst, oder es offensichtlich zu machen, dass er markiert wurde.

Dieser Artikel stellt eine neue Methode namens BiCoT vor, um dieses Problem zu lösen. Hier ist die Funktionsweise, erklärt durch einfache Analogien.

Das Problem: Die Falle der „Endgültigen Antwort"

Frühere Methoden versuchten, KI-Modelle zu wassernzeichen, indem sie sie zwangen, ihre endgültige Antwort leicht zu verändern (etwa durch Hinzufügen eines geheimen Codewortes) oder indem sie sie auf bestimmte „Auslöser"-Phrasen reagieren ließen.

Der Fehler: Dies ist wie der Versuch, eine geheime Nachricht zu verstecken, indem man das letzte Wort eines Satzes ändert. Wenn Sie das letzte Wort ändern, könnten Sie die Bedeutung des Satzes zerstören. Wenn die KI ein Mathe-Nachhilfelehrer ist, macht das Ändern der finalen Zahl, um ein Geheimnis zu verbergen, die Mathematik falsch. Es ist ein Kompromiss: Sie haben entweder eine perfekte Antwort oder ein verstecktes Wasserzeichen, aber selten beides.

Die Lösung: Verstecken im „Denk"-Prozess

Die Autoren erkannten, dass eine KI, bevor sie Ihnen eine Antwort gibt, einen Chain of Thought (CoT) durchläuft. Dies ist die schrittweise Argumentation, die sie intern durchführt (z. B. „Zuerst addiere ich diese Zahlen, dann teile ich...").

Stellen Sie sich den Denkprozess der KI wie eine Baustelle vor:

Die Endgültige Antwort ist das fertige Gebäude.
Der Chain of Thought ist das Gerüst, die Baupläne und die Arbeiter, die sich beim Bau bewegen.

Der Artikel argumentiert, dass das „fertige Gebäude" zerbrechlich ist; wenn Sie es berühren, könnte es einstürzen. Aber das „Gerüst" ist riesig, komplex und bietet viel Platz, um Dinge zu verstecken, ohne das Gebäude zu beschädigen.

Wie BiCoT funktioniert: Die „Strukturellen Anker"

Die Forscher entdeckten, dass nicht alle Teile des Denkprozesses gleichwertig sind.

Die „Anker": Bei einem Matheproblem sind die Zahlen (Ziffern) die wichtigsten Teile. Sie sind die „strukturellen Anker", die die Logik zusammenhalten. Wenn Sie mit den Zahlen spielen, bricht die Mathematik zusammen.
Die „Verbindungen": Wörter wie „daher", „weil" oder „und" sind flexibel. Sie sind die „Verbindungen", die den Satz zusammenhalten.

Die BiCoT-Strategie:
Anstatt die endgültige Antwort zu ändern, versteckt BiCoT das Eigentumsgeheimnis innerhalb der Geometrie des Denkprozesses, wobei es gezielt diese „strukturellen Anker" (die Zahlen) anspricht.

Die Geheime Signatur: Stellen Sie sich vor, der Besitzer hat einen geheimen „Schlüssel" (eine bestimmte Richtung in einem hochdimensionalen Raum).
Die Ausrichtung: BiCoT zwingt die interne Darstellung der Zahlen durch die KI, sich mit diesem geheimen Schlüssel auszurichten. Es ist wie das Streichen der Stahlträger des Gerüsts mit einer geheimen Farbe, die nur der Besitzer zu sehen weiß.
Das Sicherheitsnetz: Um sicherzustellen, dass die KI nicht verwirrt wird, zwingt die Methode die „Verbindungs"-Wörter (wie „und" oder „weil"), orthogonal (in einem 90-Grad-Winkel) zum geheimen Schlüssel zu bleiben. Dies stellt sicher, dass das Geheimnis nicht in die normale Sprache übergeht und die Fähigkeit der KI, zu sprechen und zu argumentieren, perfekt intakt bleibt.

Das „Drift"-Problem und die „Wächter"-Lösung

Was passiert, wenn ein Dieb das Modell stiehlt und versucht, es zu „feinjustieren" (durch Nachtraining oder Komprimierung), um das Wasserzeichen zu entfernen? Dies wird als Drift bezeichnet. Es ist wie jemand, der das Gerüst neu streicht, was die geheime Farbe wegwaschen könnte.

Um dies zu beheben, verwendet BiCoT einen cleveren Verifikationstrick namens Robust Subspace Registration (RSR):

Die Wächter: Das System verwendet eine Reihe von „Wächter"-Tokens (spezifische, neutrale Wörter), die wie Kalibrierungssensoren wirken.
Die Kalibrierung: Wenn der Besitzer das Modell überprüft, betrachtet er, wie sich diese Wächter verschoben haben. Wenn das gesamte Modell „neu gestrichen" wurde (Drift), zeigen die Wächter eine konsistente Verschiebung.
Die Korrektur: Das System subtrahiert diese Verschiebung mathematisch und „zentriert" das Modell effektiv neu, um zu sehen, ob die geheime Signatur immer noch unter der Farbe vorhanden ist. Es ist wie die Verwendung einer Wasserwaage, um zu sehen, ob eine Wand noch gerade ist, auch wenn jemand ein schweres Bild daran aufgehängt hat.

Die Ergebnisse

Der Artikel behauptet, dass diese Methode:

Unauffällig ist: Man kann nicht erkennen, dass die KI wassergezeichnet ist, nur indem man ihre Antworten betrachtet. Die Mathematik ist immer noch korrekt; die Sätze ergeben immer noch Sinn.
Robust ist: Selbst wenn der Dieb versucht, das Modell nachzutrainieren, zu komprimieren oder Rauschen hinzuzufügen, kann das „Wächter"-System die geheime Signatur immer noch finden, die in den Denkschritten versteckt ist.
Effektiv ist: In Tests identifizierte sie gestohlene Modelle mit nahezu perfekter Genauigkeit, während die Leistung des Modells bei Aufgaben fast exakt gleich wie beim Original blieb.

In Kürze

BiCoT ist wie ein verstecktes Wasserzeichen in der DNA des Denkprozesses der KI. Anstatt das Endprodukt zu stempeln (was das Produkt ruiniert), verändert es subtil den internen Bauplan, wie die KI über Zahlen denkt. Selbst wenn jemand versucht, den Bauplan neu zu streichen, bleibt die geheime DNA nachweisbar und beweist, wer der wahre Besitzer ist, alles ohne dass die KI jemals merkt, dass sie beobachtet wird oder ihre Fähigkeit verliert, Probleme zu lösen.

Technische Zusammenfassung: Echos im Denken: Unauffällige und effektive Wasserzeichen durch Chain of Thought

1. Problemstellung

Large Language Models (LLMs) mit Chain-of-Thought (CoT)-Fähigkeiten stellen wertvolles geistiges Eigentum dar, sind jedoch schweren Bedrohungen durch unbefugten Diebstahl und nicht lizenzierte Kommerzialisierung ausgesetzt. Bestehende Black-Box-Wasserzeichenmethoden haben Schwierigkeiten, Robustheit und Modellnutzbarkeit in Einklang zu bringen.

Ansätze auf Basis von Backdoors verlassen sich auf feste Trigger-Aktions-Muster, die Modelle zum Overfitting zwingen, was die Genauigkeit bei komplexen Aufgaben und die Generalisierung beeinträchtigt. Sie sind zudem anfällig für Erkennung und Filterung, falls Trigger bekannt werden.
Ansätze auf Basis von Modell-Editing behandeln Wasserzeichen als statisches Wissen, das durch starre Vorlagen auswendig gelernt werden muss, was sie gegenüber Verteilungsverschiebungen oder adaptiven Angriffen auf Prompt-Strukturen anfällig macht.
Fundamentale Einschränkung: Beide Paradigmen verifizieren die Eigentümerschaft typischerweise durch die Modifikation der Endantwort. Dies erzeugt einen Nullsummenkonflikt zwischen Korrektheit (Nutzbarkeit) und Wasserzeichenstärke. Die Änderung der Endantwort verschlechtert oft die Leistung des Modells bei nachgelagerten Aufgaben.

Die Arbeit geht davon aus, dass ein Paradigma existiert, das sowohl Unauffälligkeit als auch Wirksamkeit bei strikter Wahrung der Modellgenauigkeit erreicht, indem der Verifikationsraum von der Endantwort auf den Chain-of-Thought (CoT)-Denkprozess verschoben wird.

2. Methodik: BiCoT

Die Autoren schlagen BiCoT (Bi-level Chain-of-Thought) vor, ein Wasserzeichen-Framework, das Eigentumssignale in die innere Geometrie von Denkspuren einbettet, anstatt in die endgültige Ausgabe. Die Methode arbeitet in drei Stufen:

A. Geometrische Formulierung (Stufe I)

BiCoT modelliert den latenten Zustand des LLM als Trajektorie auf einem hochdimensionalen Reasoning Manifold (Denk-Mannigfaltigkeit).

Strukturelle Anker: Durch Gradienten-Saliency-Analyse identifizieren die Autoren, dass bestimmte Token (z. B. Ziffern beim mathematischen Denken, logische Konnektoren in anderen Domänen) als „strukturelle Anker" fungieren, die die Denkdynamik überproportional steuern.
Manifold-Ausrichtung: Das Framework definiert einen privaten Signature Subspace ( $S_v$ $S_{v}$ ), parametrisiert durch einen Einheitsvektor $v$ $v$ .
- Anker-Token: Ihre versteckten Zustände werden so eingeschränkt, dass sie auf den Signatur-Unterraum kollabieren ( $\cos(h_t, v) \to 1$ ).
- Steuer-Token: Gewöhnliche linguistische Token (Konnektoren, Stoppwörter) werden dazu gezwungen, orthogonal zum Signatur-Unterraum zu bleiben ( $\cos(h_t, v) \to 0$ ), um die semantische Kapazität und die Denkgenauigkeit zu erhalten.
Kausaler Halo: Token, die unmittelbar auf einen Anker folgen, werden als separate Kategorie behandelt; sie können eine kurzreichweitige residuale Ausrichtung aufweisen, zerfallen jedoch schnell, wodurch sichergestellt wird, dass das Wasserzeichen den gewöhnlichen Text nicht global kontaminiert.

B. Wasserzeichen-Injektion (Stufe II)

Der Injektionsprozess wird als Bi-level-Optimierungsproblem formuliert:

Innerer Loop: Berechnet eine virtuelle Störung des versteckten Zustands ( $\delta^*$ ), die die Projektion der Ankerzustände auf den Signatur-Unterraum maximiert.
Äußerer Loop: Aktualisiert die Modellparameter ( $\theta$ $θ$ ), um eine kombinierte Zielfunktion zu minimieren:
1. Task-Loss ( $L_{task}$ ): Stellt sicher, dass das Modell die Leistung bei nachgelagerten Denkaufgaben beibehält.
2. Geometric Loss ( $L_{geo}$ ): Erzwingt das Kollabieren der Anker auf die Signatur und die Orthogonalität der Steuer-Token.
3. Consistency Regularizer ( $L_{KL}$ ): Erhält die lokale Konsistenz zwischen dem wasserzeichenversehenen Modell und dem Basismodell bei CoT-Präfixen.
  Dieses Design koppelt das Wasserzeichen mit den für das Denken relevanten Repräsentationen, was eine Entfernung erschwert, ohne die Merkmale zu stören, die kohärentes Denken unterstützen.

C. Robuste Subraum-Registrierung (Stufe III)

Um Repräsentationsdrifts zu adressieren, die durch Angriffe (z. B. Fine-Tuning, Quantisierung) verursacht werden, führen die Autoren die Robuste Subraum-Registrierung (RSR) ein.

Sentinel-Token: Eine Reihe vorab identifizierter Token, die empfindlich auf den Signatur-Unterraum reagieren, werden als Sonden verwendet.
Drift-Kalibrierung: Der Verifizierer schätzt den systematischen Verteilungsdriftvektor ( $\hat{\mu}_{drift}$ ), indem er die Medianabweichung der Sentinel-Token von ihren Basisstatistiken berechnet.
Neuausrichtung: Die beobachteten Logits werden korrigiert, indem der geschätzte Drift subtrahiert wird, wodurch die verschobene Mannigfaltigkeit effektiv zurück in den kanonischen Signaturraum zentriert wird, bevor ein Hypothesentest durchgeführt wird.
Verifikation: Das System führt einen Hypothesentest an den kalibrierten Logits der Sentinel-Token durch, wobei nur Top- $k$ -Log-Wahrscheinlichkeiten verwendet werden (Black-Box-Zugriff).

3. Hauptbeiträge

Kausalanalyse von CoT: Die Arbeit zeigt auf, dass die CoT-Generierung eine ausgeprägte kausale Hierarchie besitzt, bei der bestimmte „strukturelle Anker" die Denkdynamik steuern. Sie demonstriert, dass CoT einen reichhaltigeren, höherkapazitiven und diverseren Träger für Signale bietet als die niedrig-entropische Endantwort.
BiCoT-Framework: Ein neues Wasserzeichen-Paradigma, das Eigentum in die Geometrie der Denk-Mannigfaltigkeit einbettet. Es nutzt Bi-level-Optimierung, um das Wasserzeichen mit dem Denkprozess selbst zu verflechten, während Steuer-Token orthogonal behandelt werden, um die Nutzbarkeit zu erhalten.
Robuste Verifikation (RSR): Ein Black-Box-Verifizierer, der Repräsentationsdrifts durch sentinel-basierte Registrierung bewältigen kann und so eine zuverlässige Erkennung auch unter Modell-Perturbationen und adaptiven Angriffen gewährleistet.

4. Experimentelle Ergebnisse

Die Experimente wurden hauptsächlich mit Qwen2.5-7B-Instruct durchgeführt und über Mistral-7B, DeepSeek-7B und Qwen2.5-14B validiert.

Erkennbarkeit: BiCoT erreicht 1,0 AUC und 100 % Watermark Success Rate (WSR) bei 0,1 % und 1,0 % False Positive Rates (FPR) über alle getesteten Modelle hinweg und übertrifft Baselines wie iSeal, llmmap und SEAL signifikant.
Genauigkeit: Das wasserzeichenversehene Modell bewahrt die Leistung bei nachgelagerten Aufgaben. Bei Denkaufgaben (GSM8K) ist die Leistungsverschlechterung marginal ( $\approx -0,0083$ ). Bei satzebener Verständnisaufgaben sind die Schwankungen gering, wobei einige Aufgaben leichte Verbesserungen zeigen.
Robustheit:
- Modell-Level-Angriffe: Das Wasserzeichen bleibt unter Gaußschem Rauschen, vollständig parametrisiertem Supervised Fine-Tuning (SFT), Parameter-Efficient Fine-Tuning (PEFT/LoRA) und aggressiver Quantisierung (8-Bit) erkennbar (AUC $\approx$ 1,0).
- Output-Level-Angriffe: Die Methode ist resistent gegenüber adaptiven Angriffen, einschließlich eines gezielten „ANCHOR"-Angriffs, bei dem der Angreifer während der Inferenz explizit Ziffer-Token maskiert. Das Wasserzeichen bleibt aufgrund der intrinsischen Umverteilung der Aufmerksamkeitsmechanismen erhalten.
Ablationsstudien: Das Entfernen des Wasserzeichen-Loss führt zu einer Leistung auf dem Niveau des zufälligen Raten. Das Entfernen des Re-Anchoring-Mechanismus (RSR) verursacht einen katastrophalen Einbruch der Erkennung unter Drift, was seine Notwendigkeit bestätigt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass BiCoT den fundamentalen Zielkonflikt zwischen Wasserzeichenstärke und Modellnutzbarkeit löst, indem das Verifikationssignal von der Endantwort entkoppelt wird. Durch die Einbettung von Eigentum in die Geometrie des Denkprozesses erreicht die Methode:

Unauffälligkeit: Das Wasserzeichen ist im endgültigen Ausgabetext unsichtbar und verlässt sich nicht auf brüchige Trigger.
Wirksamkeit: Es bietet eine robuste Erkennung gegenüber adaptiven Angriffen und Modell-Drifts.
Genauigkeit: Sie bewahrt strikt die Denkfähigkeiten und Generalisierung des Modells.

Die Autoren betonen, dass dieser Ansatz die Modellprovenienz und den Schutz geistigen Eigentums für Open-Source- und kommerzielle LLMs unterstützt, ohne deren Nutzbarkeit als Denkmaschinen zu beeinträchtigen. Die Arbeit geht von einem Black-Box-Szenario mit Logprob-Zugriff (Zugriff auf Top- $k$ -Nächste-Token-Wahrscheinlichkeiten) aus, was die Autoren als praktische Grenze für viele moderne API-Bereitstellungen ansehen, im Gegensatz zu einer unrealistischen Orakel-Annahme.