💻 computer science

Synchronization-Free Algebraic Fingerprints for Large Language Models: From Autoregressive to Diffusion Models

Dieses Paper schlägt ein neuartiges, synchronisationsfreies Watermarking-Verfahren für Large Language Models vor, das mittels Reed-Solomon-Polynomen und binären Kongruenzen geheime Identitäten in Token-Paaren einbettet und so eine robuste Attribution ermöglicht, die gegenüber Editierung, Paraphrasierung und Token-Neuordnung ohne die Notwendigkeit einer Blocksynchronisation resistent ist.

Ursprüngliche Autoren: Jaroslaw Janas, Josef Pieprzyk, Pawel Morawiecki

Veröffentlicht 2026-07-21

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jaroslaw Janas, Josef Pieprzyk, Pawel Morawiecki

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine geheime Signatur auf einem Haufen Sandburgen zu hinterlassen, die von einem sehr talentierten, aber etwas schelmischen Roboter gebaut wurden. Dieser Roboter ist eine Künstliche Intelligenz (KI), die Geschichten schreibt, Fragen beantwortet und Code erstellt. Das Problem ist, dass der Roboter so gut darin ist, den menschlichen Stil zu kopieren, dass es unmöglich ist, zu unterscheiden, ob eine Geschichte von einem Menschen oder der Maschine geschrieben wurde. Schlimmer noch: Wenn jemand versucht, die Geschichte zu „verändern“ – indem er einen Satz löscht, einen Witz hinzufügt oder die Absätze umstellt – wird die Signatur normalerweise ausgelöscht, genau wie ein Fußabdruck im Sand, wenn die Flut kommt.

Wissenschaftler haben versucht, dies zu lösen, indem sie unsichtbare Codes in den Text stempeln, aber die meisten ihrer Methoden gleichen eher einer langen, zerbrechlichen Kette aus Büroklammern. Wenn man eine Büroklammer herauszieht (ein gelöschtes Wort) oder eine neue hinzufügt (ein eingefügtes Wort), bricht die ganze Kette und die geheime Botschaft geht verloren. Dieses neue Paper führt eine völlig andere Denkweise für dieses Problem ein. Anstatt einer fragilen Kette stellen Sie sich ein Feld aus tausenden winzigen, unabhängigen Glühwürmchen vor. Jedes Glühwürmchen trägt ein winziges Stück eines geheimen Codes. Wenn ein Sturm (ein Editor) die Hälfte der Glühwürmchen wegbläst oder wenn sie in einer anderen Reihenfolge fliegen, können Sie die geheime Botschaft immer noch entschlüsseln, weil Sie nicht alle von ihnen in einer Linie benötigen; Sie brauchen nur ein paar von ihnen. Die Forscher zeigen, dass man mithilfe mathematischer Tricks unter Verwendung von Polynomen (denken Sie an sie als geheime Rezepte für Zahlen) und indem man die Textbearbeitung als ein Spiel mit dem Zufall betrachtet, die geheime Identität der KI selbst dann rekonstruieren kann, wenn der Text stark bearbeitet wurde.

Das Problem: Die „Kette“ vs. die „Wolke“

Lange Zeit haben Forscher versucht, KI-Texte zu wasserzeichen, indem sie die geheime Botschaft in einer strengen Sequenz organisieren, wie Perlen auf einer Schnur. Sie würden sagen: „Das erste Wort erhält ein geheimes Merkmal, das zweite Wort das nächste und so weiter.“ Das funktioniert gut, bis jemand den Text bearbeitet. Wenn man das erste Wort löscht, wird das zweite Wort plötzlich zum „ersten“, und der gesamte geheime Code wird durcheinandergebracht. Es ist, als würde man versuchen, ein Buch zu lesen, aus dem jemand Seite 5 herausgerissen hat; plötzlich wird Seite 6 zu Seite 5, und die Geschichte ergibt keinen Sinn mehr. Dies wird als „Synchronisierungsproblem“ bezeichnet. Der Detektor (die Person, die das Wasserzeichen prüft) wird verwirrt, weil sich die Reihenfolge der Hinweise geändert hat.

Die Autoren dieses Papers argumenten, dass dieser „Ketten“-Ansatz fundamental fehlerhaft für Texte ist, die bearbeitet werden könnten. Sie schlagen einen radikalen Wechsel vor: Verlassen Sie sich nicht mehr auf die Reihenfolge. Anstatt einer Kette schlagen sie eine „Wolke“ aus unabhängigen Hinweisen vor.

Die Lösung: Unabhängige Glühwürmchen und geheime Rezepte

Der Kern dieser Arbeit ist ein „synchronisationsfreies“ Wasserzeichen. So funktioniert es, unter Verwendung der Analogie eines geheimen Rezepts und eines Paares von Nachbarn.

Stellen Sie sich vor, die KI schreibt eine Geschichte, Wort für Wort. Die Forscher schlagen vor, dass für jedes Paar benachbarter Wörter (nennen wir sie „Wort A“ und „Wort B“) das System ein geheimes „Rezept“ (ein mathematisches Polynom) überprüft, um zu entscheiden, welche Art von „Geschmack“ Wort B haben sollte.

Das geheime Rezept: Der Besitzer der KI hat eine geheime Identität (wie eine 32-Bit- oder 128-Bit-Zahl). Sie wandeln diese Zahl in eine mathematische Formel um.
Die Nachbarn: Für jedes Wortpaar schaut das System nach dem ersten Wort, um einen spezifischen „Testpunkt“ auf der Formel auszuwählen.
Die Entscheidung: Die Formel liefert ein Ergebnis. Wenn das Ergebnis „gerade“ ist, muss das zweite Wort ein „Typ 1“-Wort sein (wie ein Nomen). Wenn das Ergebnis „ungerade“ ist, muss das zweite Wort ein „Typ 2“-Wort sein (wie ein Verb).
Die Magie: Der entscheidende Teil ist, dass diese Entscheidung für Wort B nur von Wort A und dem geheimen Rezept abhängt. Es ist egal, was vor Wort A geschah oder was nach Wort B folgt.

Da jedes Wortpaar ein eigenständiges „Glühwürmchen“ ist, spielt es keine Rolle, ob Sie Wort A löschen, ein neues Wort zwischen sie einfügen oder den ganzen Absatz umstellen. Die verbleibenden Paare halten immer noch ihre eigenen unabhängigen Hinweise. Wenn Sie genug Paare übrig haben, können Sie das ursprüngliche geheime Rezept mathematisch rekonstruieren, selbst wenn der Text zerstückelt und neu angeordnet wurde.

Wie sie beweisen, dass es funktioniert

Die Autoren haben nicht nur geraten, dass dies funktionieren könnte; sie haben ein mathematisches Modell gebaut, um es zu beweisen. Sie behandelten den Prozess der Textbearbeitung (das Löschen von Wörtern, das Ändern von Wörtern) als einen „binären symmetrischen Kanal“. In einfachen Worten ausgedrückt: Sie behandelten jeden Bearbeitungsfehler als einen einfachen Münzwurf: Entweder ist der Hinweis korrekt oder er wurde zum falschen Ergebnis „umgekippt“.

Sie führsten die Berechnungen durch, um zu sehen, wie viele Hinweise (Wortpaare) man benötigt, um das Geheimnis zu rekonstruieren.

Das Ergebnis: Sie fanden heraus, dass man nur sehr wenig „zusätzlichen“ Text benötigt. Selbst wenn der Text stark bearbeitet wurde (bis zu 30 % der Hinweise sind falsch oder fehlen), benötigen Sie nur ein paar zusätzliche Sätze, um eine 32-Bit-Geheimcode mit 99 % Konfidenz zu rekonstruieren.
Die Analogie: Wenn Sie versuchen würden, ein 32-Bit-Passwort durch Münzwürfe zu erraten, und Sie bekämen bei 30 % der Würfe falsche Ergebnisse, wären Sie normalerweise stecken geblieben. Aber weil ihre Mathematik eine spezielle Art von Code (Reed-Solomon) verwendet, ist es, als hätten Sie einen magischen Dekodierring, der diese falschen Würfe korrigieren kann, sols lange genug insgesamt viele Würfe gibt.

Sie testeten auch, wie man sehr lange Geheimnisse (wie 128 Bit) handhabt. Sie fanden heraus, dass es hilfreich ist, das große Geheimnis in kleinere Stücke (Fragmente) aufzuteilen und jedes Stück als seine eigene unabhängige Wolke aus Glühwürmchen zu behandeln, wodurch man das Ganze rekonstruieren kann, ohne einen massiven Text zu benötigen.

Was ist mit verschiedenen Arten von KI?

Das Paper untersucht auch eine neuere Art von KI namens „Diffusionsmodelle“. Im Gegensatz zu Standard-KI, die Text Wort für Wort von links nach rechts schreibt (wie ein Tipper), beginnen Diffusionsmodelle mit einem chaotischen, zerstreuten Satz und schleifen ihn langsam ab, wie ein Bildhauer, der Stein wegschlägt, um die Statue zu finden.

Die Autoren erkannten, dass ihr „unabhängiger Glühwürmchen“-Ansatz hier auch perfekt funktioniert. Sie schlugen drei verschiedene Wege vor, wie die KI sich auf das Wasserzeichen „festlegen“ kann, während sie den Text bereinigt:

Einfaches Commitment (Basic Commit): Die KI sperrt ein Wort fest, sobald es die Regel des linken Nachbarn erfüllt. Das ist schnell, aber wenn sie einen Fehler macht, kann sie ihn nicht mehr korrigieren.
Verfeinertes Commitment (Refined Commit): Die KI prüft beide Nachbarn. Wenn ein Nachbar „Ja“ und der andere „Nein“ sagt, kann sie ihre Meinung über den Nachbarn ändern, um den Fehler zu beheben. Das ist intelligenter, dauert aber etwas länger.
Gleitendes Commitment (Sliding Commit): Die KI behandelt die Grenze zwischen „gesperrten“ und „ungesperrten“ Wörtern wie eine Schiebetür. Sie bewegt die Tür vor und zurück, bis alles perfekt passt. Das ist am robustesten, dauert aber am längsten.

Ihre Simulationen deuten darauf hin, dass für Standard-KI die „einfache“ Methode schnell genug ist. Für Diffusionsmodelle bietet die „verfeinerte“ Methode ein gutes Gleichgewicht, da sie Fehler im laufenden Betrieb korrigiert.

Das Fazit

Dieses Paper legt einen Weg für ein KI-Wasserzeichen nahe, das unglaublich schwer zu brechen ist. Im Gegensatz zu bisherigen Methoden, die zusammenbrechen, wenn der Text bearbeitet wird, übersteht diese Methode Löschungen, Einfügungen und Umstellungen, weil jeder Hinweis für sich allein steht. Die Autoren zeigen durch Mathematik und Simulationen, dass man die geheime Identität der KI mit hoher Konfidenz rekonstruieren kann, selbst wenn der Text stark bearbeitet wurde. Sie bieten zudem einen Fahrplan, wie man dies sowohl in Standard-Textgeneratoren als auch in den neueren, komplexeren Diffusionsmodellen implementiert.

Obwohl sie nicht behaupten, jedes mögliche Problem gelöst zu haben (sie merken an, dass zukünftige Arbeiten komplexere Bearbeitungsmuster untersuchen könnten), haben sie einen mathematisch fundierten Rahmen geschaffen, der das Wasserzeichen wesentlich zuverlässiger macht als zuvor. Es ist ein Wechsel vom Bau einer fragilen Kette hin zur Erstellung einer resilienten Wolke aus Hinweisen.

Technisches Resümee: Synchronisationsfreie algebraische Fingerabdrücke für Large Language Models

1. Problemstellung

Die weitverbreitete Bereitstellung von Large Language Models (LLMs) hat die dringende Notwendigkeit nach zuverlässigen Wasserzeichen-Methoden geschaffen, um generierten Text zuzurechnen, Rechenschaftspflicht zu gewährleisten und Missbrauch zu erkennen. Bestehende Wasserzeichen-Schemata für LLMs lassen sich im Allgemeinen in statistische, lexikalische, syntaktische oder kryptografische Kategorien einteilen. Eine grundlegende Einschränkung der meisten aktuellen Ansätze ist jedoch deren Synchronisationsabhängigkeit. Diese Methoden betten Wasserzeichen-Bits typischerweise sequenziell oder innerhalb fester Blockgrößen ein, wobei sie auf der präzisen Positionsordnung der Token basieren. Infolgedessen zerstören gängige Bearbeitungsoperationen – wie Einfügen, Löschen, Paraphrasieren oder Satzumstellungen – die Ausrichtung zwischen Encoder und Decoder, was das Wasserzeichen unwiederbringlich macht. Das Paper identifiziert die Entwicklung von synchronisationsfreien Wasserzeichen-Techniken, die eine zuverlässige Detektion nach beliebiger Textbearbeitung ermöglichen, als ein zentrales offenes Problem auf diesem Gebiet.

2. Methodik

Die Autoren schlagen ein neuartiges Wasserzeichen-Framework vor, das die Notwendigkeit einer expliziten Token-Ausrichtung während der Rekonstruktion eliminiert. Die Kerninnovation ist ein algebraisches Fingerprinting-Schema basierend auf Reed–Solomon-Codes, bei dem jedes Wasserzeichen-Bit unabhängig in ein Paar benachbarter Token eingebettet wird.

2.1 Algebraischer Rahmen

Identitätsrepräsentation: Eine geheime Identität $S$ wird als $n$ -bit Binärvektor dargestellt, der auf ein Polynom $f_S(x)$ des Grades höchstens $n-1$ über einem endlichen Körper $\mathbb{F}_q$ (wobei $q > 2^n$ eine ungerade Primzahl ist) abgebildet wird.
Binärer Fingerabdruck: Anstatt den vollständigen Feldwert $f_S(\alpha)$ zu übertragen, extrahiert das Schema eine einzelne binäre Beobachtung: die Parität der Auswertung, $\phi_S(\alpha) = f_S(\alpha) \pmod 2$ .
Einbettungsmechanismus: Für jedes aufeinanderfolgende Token-Paar $(t_i, t_{i+1})$ $(t_{i}, t_{i + 1})$ gilt:
1. Das erste Token $t_i$ bestimmt einen eindeutigen Auswertungspunkt $\alpha_i = H(K, \text{id}(t_i)) \pmod q$ , wobei $H$ eine kryptografische Hash-Funktion und $K$ ein geheimer Schlüssel ist.
2. Das Wasserzeichen-Bit $w_i = \phi_S(\alpha_i)$ wird berechnet.
3. Das zweite Token $t_{i+1}$ wird so generiert (oder verzerrt), dass es zu einer spezifischen Token-Klasse (z. B. „grün“ oder „rot“) gehört, die dem Bitwert $w_i$ entspricht.
Unabhängigkeit: Da jedes Bit nur vom lokalen Token-Paar und dem geheimen Schlüssel abhängt, ist die Einbettung eines Bits nicht von der Position oder dem Zustand vorheriger Bits abhängig.

2.2 Rekonstruktion und Dekodierung

Die Rekonstruktion erfordert nicht, dass die Token in ihrer ursprünglichen Reihenfolge vorliegen. Der Detektor sammelt eine Menge überlebender Token-Paare, berechnet die Auswertungspunkte $\alpha_j$ unter Verwendung des geheimen Schlüssels neu und beobachtet die entsprechenden Bits $\hat{w}_j$ . Ziel ist es, die eindeutige Identität $S$ zu finden, für die $\phi_S(\alpha_j) = \hat{w}_j$ für alle beobachteten Paare gilt.

Algorithmen: Das Paper schlägt drei Rekonstruktionsalgorithmen basierend auf der Identitätsgröße vor:
1. Exhaustive Search (Erschöpfende Suche): Für kleine $n$ ( $n \lesssim 20$ ).
2. Meet-in-the-Middle: Für moderate $n$ ( $20 < n \le 60$ ), was die Komplexität von $O(2^n)$ auf $O(2^{n/2})$ reduziert.
3. Fragmentation (Fragmentierung): Für große Identitäten wird das Geheimnis in unabhängige Fragmente aufgeteilt, was die parallele Rekonstruktion kleinerer Teilprobleme ermöglicht.

2.3 Modellierung von Korruption

Die Autoren modellieren den Wasserzeichen-Prozess als einen Binären Symmetrischen Kanal (BSC). Sie argumentieren, dass Einfügen, Löschen, Substitutionen und Einbettungsfehler alle zu einer einzigen Übergangswahrscheinlichkeit $p$ abstrahiert werden können.

Einfügen/Löschen: Im Gegensatz zu blockbasierten Schemata, bei denen ein einzelnes Löschen alle nachfolgenden Bits verschiebt, entfernt oder fügt eine Einfügung oder ein Löschen hier lediglich spezifische, unabhängige Beobachtungen. Die Wahrscheinlichkeit einer unentdeckten Bearbeitung wird mit etwa $1/4$ angegeben, was bedeutet, dass die meisten Bearbeitungen detektierbare Inkonsistenzen einführen.
Rekonstruktionswahrscheinlichkeit: Die Wahrscheinlichkeit einer erfolgreichen Rekonstruktion hängt ausschließlich von der Anzahl der überlebenden korrekten Beobachtungen $r$ ab. Wenn $r \ge n + \lambda$ , ist die Fehlerrate durch $2^{-\lambda}$ begrenzt.

2.4 Erweiterung auf Diffusionsmodelle

Das Framework wird auf Diffusion Language Models (DLMs) erweitert, die Text iterativ statt autoregressiv generieren. Die Autoren schlagen drei „Commit-Algorithmen“ vor, um die Wasserzeichen-Constraints während des Denoising-Prozesses durchzusetzen:

Basic Commit: Commitet ein Token, wenn die linke Constraint erfüllt ist.
Refined Commit: Commitet basierend auf linken Constraints, widerruft aber Nachbarn, falls die rechten Constraints fehlschlagen, was eine lokale Selbstkorrektur ermöglicht.
Sliding Commit: Erlaubt es der Grenze zwischen committeten und uncommitteten Regionen zu wandern, indem der Prozess als Random Walk behandelt wird, um lokale Inkonsistenzen zu lösen.

3. Kernbeiträge

Das Paper fasst seine Beiträge wie folgt zusammen:

Synchronisationsfreies Framework: Eine Methode, bei der jedes Wasserzeichen-Bit unabhängig eingebettet wird, wodurch die Notwendigkeit einer Token-Ausrichtung während der Rekonstruktion entfällt.
Reed–Solomon-Kodierung: Eine Konstruktion, die die Identität aus einer hinreichend großen Sammlung korrekter Beobachtungen rekonstruiert, unabhängig von deren Position im Text.
BSC-Modellierung: Eine Demonstration, dass alle Korruptionsquellen (Einbettungsfehler und Bearbeitung) als ein einzener Binärer Symmetrischer Kanal modelliert werden können, was eine analytische statt rein empirische Robustheitsbewertung ermöglicht.
Probabilistische Formeln: Ableitung exakter und approximativer Formeln, die die erforderliche Mindesttextlänge für eine erfolgreiche Rekonstruktion mit einem vorgegebenen Konfidenzniveau vorhersagen.
Skalierbarkeit: Leichtgewichtige Varianten, die lange Identitäten in Fragmente unterteilen, um die Rechenkomplexität zu reduzieren, während die synchronisationsfreien Eigenschaften erhalten bleiben.
Diffusions-Erweiterung: Eine Erweiterung des Frameworks auf Diffusionsbasierte Modelle mit effizienten Token-Commitment-Algorithmen und probabilistischer Analyse.

4. Ergebnisse und Analyse

Robustheit: Die Analyse zeigt, dass eine zuverlässige Rekonstruktion selbst bei hohen Token-Korruptionsraten nur geringe Redundanz erfordert. Beispielsweise erfordert die Rekonstruktion einer 32-Bit-Identität mit 99 % Konfidenz in einem Kanal mit einer Fehlerrate von 30 % ( $p=0,3$ ) lediglich 25 zusätzliche Token-Paare (insgesamt 57 Paare).
Effizienz: Der „Meet-in-the-Middle“-Algorithmus ermöglicht eine praktische Rekonstruktion für Identitäten bis zu $n \approx 60$ Bits auf Standard-Workstations. Die Fragmentierung ermöglicht die Handhabung beliebig langer Identitäten.
Diffusions-Konvergenz:
- Der Basic Commit-Algorithmus konvergiert in $O(\ln N / \epsilon)$ Iterationen.
- Der Sliding Commit-Algorithmus konvergiert in $O(N)$ Iterationen, garantiert aber, dass lokale Inkonsistenzen schließlich aufgelöst werden, anstatt eingefroren zu werden.
- Der Refined Commit-Algorithmus bietet eine schnellere initiale Commit-Rate, führt aber zu „Churn“ (dem Widerruf gültiger Commits), was die vollständige Sequenzstabilität im Vergleich zum Basic-Ansatz verzögern kann.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass seine primäre Bedeutung in der Eliminierung des Synchronisationsproblems liegt, welches ein fundamentales Hindernis für robustes LLM-Watermarking darstellte. Durch die Entkopplung der Wasserzeichen-Bits von ihrer sequenziellen Position bleibt die vorgeschlagene Methode gegenüber genau jenen Bearbeitungsoperationen robust, die bestehende Schemata ungültig machen.

Darüber hinaus plädieren die Autoren für eine Verschiebung der Evaluierungsmethodik. Anstatt sich auf umfangreiche, modellspezifische Experimente zu verlassen, die schnell veralten, schlagen sie die Verwendung der Abstraktion des Binären Symmetrischen Kanals vor. Dies ermöglicht einen prinzipiengetreuen, mathematischen Vergleich von Wasserzeichen-Schemata über verschiedene Modelle und Bearbeitungsstrategien hinweg, basierend auf einem einzigen Parameter: der effektiven Fehlerwahrscheinlichkeit $p$ .

Das Paper schließt mit dem Argument, dass der BSC zwar eine Vereinfachung darstellt, aber eine bemerkenswert nützliche Annäherung für synchronisationsfreie Schemata bietet, da sich alle Bearbeitungsoperationen letztlich als unabhängige Fehler in den rekonstruierten Paritätsbits manifestieren. Dieser Ansatz bietet explizite Garantien auf die Rekonstruktionswahrscheinlichkeit und vereinfacht das Design robuster Wasserzeichen-Systeme.