🤖 AI

Every Bit, Everywhere, All at Once: A Binomial Multibit LLM Watermark

Dieser Beitrag stellt ein neuartiges binäres Multibit-Wasserzeichenverfahren für große Sprachmodelle vor, das jeden Bit eines Nutzlasts an jeder Token-Position mittels eines zustandsbehafteten Encoders kodiert, um unterkodierte Bits dynamisch zu priorisieren, und dabei eine überlegene Genauigkeit und Robustheit gegenüber bestehenden Baselines erreicht, während gleichzeitig eine praktischere Metrik zur Bewertung der Bit-für-Bit-Konfidenz vorgeschlagen wird.

Ursprüngliche Autoren: Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Eine geheime Nachricht in einem Buch verstecken

Stellen Sie sich vor, Sie sind ein Autor (eine KI), der ein Buch schreibt. Sie möchten beweisen, dass Sie eine bestimmte Seite verfasst haben, oder vielleicht möchten Sie eine geheime Notiz im Text verstecken, wie eine Benutzer-ID oder einen Zeitstempel.

Lange Zeit versuchten Forscher dies, indem sie ein einzelnes Bit an Information (ein „Ja" oder „Nein") in jedem Satz versteckten. Das ist wie das Stempeln eines winzigen „X" auf jede Seite, um zu sagen: „Diese Seite ist echt." Es funktioniert zur Erkennung, kann aber keine komplexen Nachrichten wie „Benutzer #1234 hat dies geschrieben" tragen.

Um eine längere Nachricht (wie einen 32-Bit- oder 64-Bit-Code) zu verstecken, versuchten frühere Methoden eine Strategie namens „Positions-Zuweisung".

Der alte Weg: Stellen Sie sich vor, Sie haben einen 32-Bit-Geheimcode. Die alte Methode sagt: „Für das erste Wort verberge ich das erste Bit des Codes. Für das zweite Wort verberge ich das zweite Bit. Für das dritte Wort das dritte Bit."
Der Fehler: Das ist wie der Versuch, einen schweren Koffer nur mit einem Finger gleichzeitig zu tragen. Wenn Sie ein Wort verpassen, verlieren Sie dieses spezifische Puzzleteil. Außerdem wird der „Finger" manchmal müde, und die Nachricht wird unleserlich. Es ist ineffizient und fragil.

Die neue Lösung: Der „binomiale" Ansatz

Die Autoren schlagen eine grundlegend neue Art vor, die Nachricht zu verstecken. Anstatt ein Puzzleteil nach dem anderen zu verstecken, verstecken sie das gesamte Puzzle in jedem einzelnen Wort.

Die Analogie: Der Chor und der Dirigent

Stellen Sie sich einen Chor (die KI) vor, der ein Lied singt.

Das Geheimnis: Der Dirigent hat eine geheime 32-Noten-Melodie (die Nachricht), die der Chor singen soll.
Die alte Methode: Der Dirigent zeigt auf den ersten Sänger und sagt: „Singe Note 1." Dann zeigt er auf den zweiten Sänger: „Singe Note 2." Wenn der zweite Sänger vergisst, ist Note 2 für immer verloren.
Die neue Methode (Binomiale Kodierung): Der Dirigent sagt jedem einzelnen Sänger, auf die gesamte 32-Noten-Melodie zu hören.
- Für jedes Wort, das sie singen, passen die Chorsänger ihren Tonfall subtil an, basierend auf allen 32 Noten gleichzeitig.
- Es ist, als würde jeder Sänger eine winzige, unsichtbare Karte der gesamten Melodie in sich tragen.
- Wenn Sie nur ein Wort hören, erhalten Sie einen schwachen Hinweis auf die gesamte Melodie. Wenn Sie das ganze Lied hören, können Sie die Melodie perfekt rekonstruieren, indem Sie eine „Mehrheitsentscheidung" aller Hinweise treffen.

Warum ist das besser?
Weil die Information überall ist. Selbst wenn Sie ein paar Wörter löschen (oder wenn die KI einen Fehler macht), enthält der Rest des Textes immer noch das volle Geheimnis. Sie müssen nicht das „richtige" Wort finden, um das „richtige" Bit zu finden; jedes Wort hat ein Stück des gesamten Bildes.

Das „zustandsbehaftete" Upgrade: Der clevere Trainer

Die Autoren fügten eine zweite Ebene der Intelligenz hinzu, die als zustandsbehafteter Encoder bezeichnet wird.

Das Problem: Manchmal ist die KI sehr gut darin, die ersten paar Bits des Geheimnisses zu verstecken, hat aber Schwierigkeiten mit den letzten paar.
Die Lösung: Der „Trainer" (der Encoder) beobachtet das Lied, während es geschrieben wird. Er merkt: „Hey, die ersten 20 Noten sind fest verankert, aber die letzten 12 sind wackelig."
Die Aktion: Der Trainer flüstert dann der KI zu: „Hör auf, dir Sorgen um die ersten 20 Noten zu machen. Konzentriere deine ganze Energie darauf, die letzten 12 Noten perfekt zu machen."
Ergebnis: Diese dynamische Verlagerung des Fokus stellt sicher, dass die gesamte Nachricht klar herauskommt, anstatt dass die schwachen Teile das Ganze herunterziehen.

Eine neue Art, den Erfolg zu messen

Das Papier argumentiert auch, dass wir diese Wasserzeichen falsch messen.

Alter Maßstab: „Wenn wir wissen, dass dieser Text ein Wasserzeichen trägt, wie gut können wir das Geheimnis lesen?"
- Analogie: „Wenn ich dir sage, das ist ein Geheimschrift, kannst du sie knacken?" Dies ignoriert die Tatsache, dass in der realen Welt die meisten Texte keine Geheimschrift sind.
Neuer Maßstab (Bit-für-Bit-Vertrauen): „Wenn wir zufälligen Text betrachten, können wir dann feststellen, ob ein Geheimnis vorhanden ist? Und wenn ja, wie sicher sind wir bei jedem einzelnen Bit?"
- Analogie: Anstatt nur zu raten, gibt das System für jedes einzelne Bit einen „Vertrauenswert" an. Es sagt: „Ich bin zu 99 % sicher, dass das erste Bit eine 1 ist, aber ich bin nur zu 50 % sicher beim letzten." Dies verhindert Fehlalarme.

Die Ergebnisse

Die Autoren testeten ihre Methode gegen 8 andere Top-Methoden mit Nachrichten von 16, 32 und 64 Bits.

Bessere Genauigkeit: Ihre Methode entschlüsselte die geheimen Nachrichten viel genauer als die anderen, insbesondere bei längeren Nachrichten.
Robuster: Selbst wenn der Text leicht verändert wurde (wie das Löschen von Wörtern oder das Austauschen von Synonymen), hielt ihre Methode besser stand als die Konkurrenz.
Qualität: Der Text klang immer noch natürlich und verlor nicht viel an Qualität (er klang nicht wie ein Roboter, der sich zu sehr anstrengt).

Zusammenfassung

Dieses Papier stellt eine neue Art vor, KI-Texte mit Wasserzeichen zu versehen. Anstatt in jedem Wort ein winziges Geheimnis zu verstecken, verbirgt es die gesamte geheime Nachricht in jedem einzelnen Wort. Es verwendet einen „cleveren Trainer", um sich während der Generierung auf die Schwachstellen zu konzentrieren, und führt eine neue Art der Erfolgsmessung ein, die reale Störungen berücksichtigt. Das Ergebnis ist ein System, das stärker, genauer und besser darin ist, lange, komplexe Geheimnisse mitten im offenen Sichtfeld zu verstecken.

Technische Zusammenfassung: Jedes Bit, überall, gleichzeitig: Ein binärer Multibit-LLM-Wasserzeichen

Problemstellung

Die Wasserzeichen-Technologie für Large Language Models (LLM) hat sich von theoretischer Forschung zur kommerziellen Anwendung entwickelt, wobei der Schwerpunkt bisher vor allem auf Zero-Bit-Wasserzeichen lag, die eine binäre Frage beantworten: „Wurde dieser Text von einem spezifischen Modell generiert?" Allerdings erfordern aufkommende praktische Anwendungen Multibit-Wasserzeichen, die in der Lage sind, komplexe Nutzdaten (z. B. Benutzer-IDs, Zeitstempel, Lizenzmetadaten) direkt in den generierten Text zu kodieren.

Bestehende Multibit-Verfahren stützen sich überwiegend auf eine Positionsallokation (z. B. MPAC, MirrorMark), bei der jeder Generierungsschritt nur ein einzelnes Bit der Nutzdaten an einer spezifischen Position kodiert. Dieser Ansatz leidet unter zwei Hauptnachteilen:

Suboptimalität: Die Kodierung von nur einem Bit pro Token ist ineffizient, und die zugewiesenen Positionen können ungleichmäßig verteilt sein.
Skalierbarkeit: Alternative Ansätze, die auf eine Positionsallokation verzichten (z. B. Cycle-Shift, ArcMark), sind aufgrund der exponentiell mit der Nachrichtenlänge zunehmenden Dekodierzeit rechnerisch auf kurze Nutzdaten beschränkt.

Die zentrale Herausforderung, die in dieser Arbeit adressiert wird, besteht darin, ein Multibit-Wasserzeichenverfahren zu entwerfen, das lange Bitstrings effektiv kodieren kann, ohne auf eine Positionsallokation zurückzugreifen, und dabei eine hohe Nachrichten-Genauigkeit sowie Robustheit gewährleistet.

Methodik

Die Autoren schlagen einen grundlegend neuen Ansatz vor, der auf binomialer Kodierung basiert und die gesamte Nachrichten-Bitfolge an jeder Token-Position kodiert.

1. Binomiale Kodierung und Dekodierung

Im Gegensatz zu früheren Arbeiten, die pro Token nur ein Bit zur Kodierung auswählen, kodiert diese Methode jedes Bit der $m$ -Bit-Nutzdaten bei jedem Generierungsschritt.

Kodierung: An jeder Token-Position $t$ sampelt das System $m$ unabhängige Bernoulli(0.5)-Score-Vektoren ( $G^1_t, \dots, G^m_t$ ) unter Verwendung eines Pseudozufallszahlengenerators (PRNG), der mit dem Kontext und einem privaten Schlüssel initialisiert wird. Für jedes Bit $M_i$ in der Nutzdaten wird der entsprechende Score-Vektor invertiert (komplementiert), falls $M_i = 1$ ist. Der finale Score-Vektor $\tilde{G}_t$ ist die Summe dieser $m$ modifizierten Vektoren. Die Token-Verteilung wird dann zu Token mit höheren $\tilde{G}_t$ -Scores hin verzerrt.
Dekodierung: Zur Dekodierung rechnet das System die Bernoulli-Scores für jedes Token im Text neu. Das dekodierte Bit für Position $i$ wird durch eine Mehrheitsentscheidung über alle Token hinweg bestimmt. Entscheidend ist, dass die Methode eine Bit-spezifische Konfidenzbewertung mittels zweiseitiger Binomialtests bietet, wodurch das System die statistische Signifikanz jedes dekodierten Bits bewerten kann, ohne anzunehmen, dass der Text ein Wasserzeichen enthält.

2. Zustandsbehafteter Encoder

Um die Bit-Genauigkeit zu verbessern, führen die Autoren einen zustandsbehafteten Encoder ein, der während der Generierung den Kodierungsdruck dynamisch umlenkt.

Der Encoder verfolgt die aktuelle Dekodierungsstatistik für jedes Bit basierend auf der teilweise generierten Sequenz.
Er berechnet die erwartete Worst-Case-Bit-Genauigkeit für jedes Bit, falls die verbleibenden Token ohne Wasserzeichen generiert werden.
Die Bewertungsfunktion wird so angepasst, dass sie Bits priorisiert, die derzeit unterkodiert sind (d. h. solche mit Dekodierungsstatistiken nahe der Entscheidungsgrenze), wodurch die erwartete Gesamt-Bit-Genauigkeit maximiert wird.

3. Evaluierungsmetriken

Die Arbeit hinterfragt bestehende Evaluierungsmetriken (z. B. rohe Nachrichten-Genauigkeit), die davon ausgehen, dass der Eingabetext bereits als wasserzeichenhaltig bekannt ist. Die Autoren argumentieren, dass im realen Einsatz zunächst festgestellt werden muss, ob eine Nachricht existiert. Sie führen die Bit-Genauigkeit bei $\alpha\%$ False-Positive-Rate (BA@ $\alpha\%$ FPR) als eine praktischere Metrik ein. Diese Metrik misst die Wahrscheinlichkeit, ein Bit korrekt zu dekodieren, unter der Bedingung, dass nicht-wasserzeichenhaltiger Text nicht fälschlicherweise als eine Nachricht markiert wird, die mehr als $\alpha\%$ der Zeit auftritt.

Hauptbeiträge

Erstes positionsallokationsfreies Multibit-Wasserzeichen: Die Autoren stellen das erste Verfahren vor, das die gesamte Nachrichten-Bitfolge an jeder Token-Position mittels binomialer Kodierung kodiert und damit die Skalierbarkeits- und Effizienzgrenzen der Positionsallokation umgeht.
Zustandsbehafteter Encoder: Ein neuartiger Mechanismus, der während der Generierung unterperformierende Bits dynamisch priorisiert und die Bit-Genauigkeit erheblich verbessert, ohne die Dekodierungsstrategie zu ändern.
Neues Evaluierungsframework: Die Arbeit kritisiert frühere Metriken wegen ihres Mangels an praktischer Aussagekraft hinsichtlich False Positives und schlägt eine Bit-spezifische Konfidenzbewertung (BA@ $\alpha\%$ FPR) als Standard für die Evaluierung von Multibit-Wasserzeichen in realistischen Szenarien vor.
Umfassende Evaluierung: Umfassende Experimente gegen 8 Baseline-Methoden bei Nutzdaten von 16, 32 und 64 Bit zeigen überlegene Leistung in Bezug auf Bit-Genauigkeit, Nachrichten-Genauigkeit und Robustheit, insbesondere in Regimen mit geringer Verzerrung und bei größeren Nutzdaten.

Ergebnisse

Die Evaluierung wurde mit LLAMA3.1-8B und MINISTRAL-3-14B bei Nutzdaten von 16, 32 und 64 Bit durchgeführt.

Nachrichten-Genauigkeit: Das vorgeschlagene Verfahren (insbesondere die zustandsbehaftete Version, „Ours+") übertrifft alle 8 Baseline-Methoden (einschließlich MPAC, MirrorMark, ArcMark und StealthInk) in der Nachrichten-Genauigkeit; die Leistungslücke vergrößert sich bei längeren Nutzdaten (32 und 64 Bit) und Einstellungen mit geringer Verzerrung.
Konfidenzbasierte Genauigkeit (BA@1%FPR): Die zustandslose Version des vorgeschlagenen Verfahrens erreicht eine signifikant höhere BA@1%FPR als die Baseline-Methoden, was auf eine überlegene Fähigkeit hinweist, wasserzeichenhaltige Bits von zufälligem Rauschen zu unterscheiden, während False Positives kontrolliert werden.
Robustheit: Obwohl die Robustheit nach wie vor eine Herausforderung für alle Multibit-Wasserzeichen darstellt (die Genauigkeit sinkt bei >10% Wortlöschung oder Umschreibung drastisch), übertrifft das vorgeschlagene Verfahren die Baseline-Methoden bei verschiedenen Textmodifikationen konsistent.
Skalierung: Das Verfahren skaliert günstiger mit der Anzahl der Token im Vergleich zu Baseline-Methoden; bei 500 Token erreicht die vorgeschlagene Methode eine Bit-Genauigkeit von >90%, während die beste Baseline-Methoden nur ~80% erreicht.

Bedeutung und Behauptungen

Die Arbeit beansprucht, eine neue Richtung für die Multibit-Wasserzeichenforschung zu eröffnen, indem sie demonstriert, dass binomiale Kodierung ein leistungsfähigeres Paradigma als die Positionsallokation ist. Die Autoren behaupten, dass ihr Ansatz große Nutzdaten effektiv kodiert, ohne die rechnerische Unlösbarkeit früherer nicht-allokierender Methoden (wie Cycle-Shift) zu haben.

Darüber hinaus hebt die Arbeit eine kritische Lücke im Feld hervor: das Fehlen praktischer Evaluierungsmetriken für Multibit-Wasserzeichen. Durch die Einführung einer Bit-spezifischen Konfidenzbewertung argumentieren die Autoren, dass zukünftige Forschung und Anwendung die Wahrscheinlichkeit von False Positives bei der Dekodierung von Nachrichten aus beliebigem Text, nicht nur aus wasserzeichenhaltigem Text, berücksichtigen müssen.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und räumen ein, dass die Robustheit gegenüber Textmodifikationen (z. B. Umschreibung) nach wie vor ein offenes Problem ist und dass, obwohl ihre empirischen Ergebnisse eine Überlegenheit gegenüber der Positionsallokation zeigen, theoretische Beweise für die strikte Optimalität von nicht-positionsallokierenden Methoden nicht erbracht werden. Sie weisen zudem darauf hin, dass der zustandsbehaftete Encoder, obwohl er die Nachrichten-Genauigkeit verbessert, die konfidenzbasierten Metriken leicht verringern kann, da er auf erwartete Genauigkeit und nicht auf statistische Signifikanz pro Bit optimiert.