Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der Geschichten, E-Mails oder Code schreibt. Dieser Roboter ist so gut darin, menschliches Schreiben nachzuahmen, dass es schwer zu erkennen ist, ob ein Text von einem Menschen oder dem Roboter stammt. Die Autoren dieses Papiers wollen ein spezifisches Problem lösen: Wie können wir die Schreibweise des Roboters heimlich markieren, um nachzuweisen, dass sie vom Roboter stammt, ohne dass der Text seltsam klingt oder an Qualität verliert?

Sie nennen dies „Wasserzeichen". Stellen Sie sich das wie ein verstecktes Wasserzeichen auf einem Banknoten vor, das mit bloßem Auge nicht sichtbar ist, aber von einem speziellen Scanner erkannt werden kann.

Hier ist eine einfache Aufschlüsselung ihres Ansatzes, unter Verwendung alltäglicher Analogien:

1. Das Problem: Der Roboter ist zu streng

Normalerweise wählt ein Roboter beim Schreiben Wörter einzeln aus, streng basierend auf dem Wort, das er gerade geschrieben hat. Es ist wie ein Zug auf einer einzigen Spur: Sobald er den Bahnhof verlassen hat, kann er nicht voraussehen, wie der nächste Bahnhof aussieht.

Die Autoren erkannten, dass der Roboter geheime Nachrichten viel besser verstecken könnte, wenn er voraussehen könnte – auch nur ein winziges Stück. Sie schlagen eine neue Arbeitsweise für den Roboter vor: Block-autoregressiv.

• Die Analogie: Anstatt ein Wort nach dem anderen zu wählen, stellt man sich vor, der Roboter wählt einen kleinen „Block" von 8 Wörtern gleichzeitig. Bevor er diese 8 Wörter festlegt, betrachtet er alle möglichen Kombinationen dieser 8 Wörter. Dies gibt ihm eine „nicht-kausale" Sichtweise (ein Blick in die unmittelbare Zukunft) darauf, wie der Text könnte.

2. Die Lösung: Das „Geheime Menü"

Die Kernidee besteht darin, diesen „Blick" zu nutzen, um eine geheime Nachricht (wie ein digitales ID-Tag) im Text zu verstecken.

• Das Setup: Stellen Sie sich vor, der Roboter hat ein „Basis-Menü" dafür, wie er normalerweise Wörter wählt.
• Der Trick: Die Autoren führen ein „geheimes Menü" (das Wasserzeichen) ein. Wenn der Roboter kurz davor steht, einen Wortblock zu wählen, prüft er sein geheimes Menü.
  • Wenn die geheime Nachricht eine „0" sagt, wählt er eine Wortkombination, die aus einer bestimmten Gruppe etwas wahrscheinlicher gewählt wird.
  • Wenn die geheime Nachricht eine „1" sagt, wählt er aus einer anderen Gruppe.
• Die Magie: Der Roboter tut dies so subtil, dass der gesamte „Geschmack" des Textes (sein statistisches Muster) fast identisch mit dem unmarkierten Text bleibt. Für einen menschlichen Leser klingt die Geschichte perfekt. Für einen speziellen Decoder mit dem geheimen Schlüssel offenbart das Muster der Entscheidungen die versteckte Nachricht.

3. Die Mathematik: Das „Perfekte Gleichgewicht"

Das Papier verwendet schwere Mathematik (Informationstheorie), um zu beweisen, wie viel geheime Daten sie verstecken können, ohne den Text zu zerstören.

• Die Gelfand-Pinsker-Analogie: Stellen Sie sich vor, Sie versuchen, eine Nachricht durch einen verrauschten Funkkanal zu senden, aber Sie wissen genau, wie das Rauschen klingen wird, bevor Sie sprechen. Sie können Ihre Stimme anpassen, um das Rauschen perfekt zu kompensieren. Die Autoren behandeln die natürlichen Wortwahlen des Roboters als „Rauschen" und die geheime Nachricht als das Signal. Da der Roboter sein eigenes „Rauschen" (die Wahrscheinlichkeit der Wortwahlen) im Voraus kennt, kann er die Nachricht effizienter verstecken.
• Das Ergebnis: Sie berechneten die theoretische maximale Geschwindigkeit, mit der sie Daten verstecken können. Sie stellten fest, dass sie durch diese „Vorausblick"-Methode etwa 0,375 Bits Daten pro generiertes Wort verstecken können. Das ist wie das Verstecken einer winzigen geheimen Notiz in jedem einzelnen Wort, ohne dass der Leser es bemerkt.

4. Der Algorithmus: Der „Intelligente Verkehrsleiter"

Um dies in der Praxis funktionieren zu lassen, haben sie nicht nur geraten; sie bauten ein intelligentes System mit zwei Hauptwerkzeugen:

• CMDP (Constrained Markov Decision Process / Eingeschränkter Markov-Entscheidungsprozess): Stellen Sie sich dies als Verkehrsleiter für den Roboter vor. Der Leiter muss entscheiden, welche Wörter gewählt werden, um die Nachricht zu verstecken. Aber er hat eine Regel: „Machen Sie den Text nicht seltsam." Der Leiter prüft ständig: „Wenn ich dieses Wort wähle, um eine '1' zu verstecken, werden die nächsten 7 Wörter noch natürlich klingen?" Er balanciert die Notwendigkeit, Daten zu verstecken, mit der Notwendigkeit, die Textqualität hoch zu halten.
• Polar Codes: Dies ist eine bestimmte Art von Fehlerkorrekturcode (wie ein Sicherheitsnetz). Selbst wenn der Text später leicht verändert wird (oder wenn der Decoder etwas unsicher ist), stellt dieser Code sicher, dass die versteckte Nachricht dennoch korrekt wiederhergestellt werden kann.

5. Die Ergebnisse: Es funktioniert!

Die Autoren testeten ihr System mit einem echten Sprachmodell (LLaMA).

• Tarnung: Der wasserzeichenversehene Text war von normalem Text kaum zu unterscheiden. Die „Perplexität" (ein Maß dafür, wie verwirrend oder unnatürlich der Text klingt) änderte sich kaum.
• Zuverlässigkeit: Sie versteckten Nachrichten erfolgreich mit einer sehr niedrigen Fehlerrate (weniger als 10 % der versteckten Bits gingen verloren).
• Der Haken: Das System funktioniert am besten mit kurzen Textblöcken (wie 8 Wörter auf einmal). Wenn sie zu weit voraussehen wollten (längere Blöcke), wird die Mathematik für Computer zu schwer, um sie schnell zu verarbeiten.

Zusammenfassung

Das Papier schlägt eine Methode vor, die Ausgabe von Large Language Models heimlich zu stempeln, indem das Modell einen kleinen Haufen zukünftiger Wörter „vorausblickt", bevor es entscheidet, was es schreibt. Indem es diesen Blick nutzt, um seine Wortwahlen leicht zu verschieben, kann es eine versteckte ID-Nachricht einbetten. Die Mathematik beweist, dass dies möglich ist, ohne die Qualität des Schreibens zu ruinieren, und ihr Computeralgorithmus hat dies in der Praxis erfolgreich demonstriert.

Was das Papier NICHT behauptet:

• Es wird nicht behauptet, dass dies für jede Textlänge sofort funktioniert (es hat Schwierigkeiten mit sehr langen Blöcken).
• Es wird nicht behauptet, dass dies eine perfekte Abwehr gegen alle Missbräuche von KI ist, sondern nur eine Methode zur Rückverfolgung und Zeitstempelung.
• Es werden keine medizinischen oder klinischen Anwendungen diskutiert; es geht rein um Textgenerierung und Informationstheorie.