💻 computer science

Can we Watermark Low-Entropy LLM Outputs?

Diese Arbeit stellt neue Wasserzeichen-Schemata für LLM-Ausgaben mit geringer Entropie vor, die robust gegen zufällige Substitutionen und Löschungen sind und dabei die zuvor notwendigen starken Annahmen über die Entropierate und die Alphabetgröße aufgeben.

Ursprüngliche Autoren: Noam Mazor, Andrew Morgan, Rafael Pass

Veröffentlicht 2026-04-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Noam Mazor, Andrew Morgan, Rafael Pass

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: KI-Texte sind wie perfekte Fälschungen

Stellen Sie sich vor, Sie schreiben einen Brief. Jetzt gibt es eine KI, die Briefe schreiben kann, die so gut sind, dass man sie kaum von Ihren eigenen unterscheiden kann. Das ist toll, aber es gibt ein Problem: Wie wissen wir, ob ein Text von einer KI oder von einem Menschen stammt?

Die Forscher wollen eine Art unsichtbare Tinte (ein Wasserzeichen) entwickeln. Wenn die KI einen Text schreibt, hinterlässt sie darin einen geheimen Code. Nur wer den Schlüssel hat, kann diesen Code lesen und sagen: „Aha, das war die KI!"

Die Herausforderung:

Unsichtbarkeit: Der Code darf den Text nicht verändern. Er darf nicht klingen, als wäre er von einer Maschine geschrieben worden.
Robustheit: Wenn jemand den Text kopiert, ein paar Wörter ändert, löscht oder neue hinzufügt (wie beim Umformulieren), darf der Code trotzdem noch lesbar bleiben.

Das alte Problem: Zu wenig „Zufall"

Bisherige Methoden hatten ein großes Manko: Sie funktionierten nur gut, wenn die KI sehr „kreativ" und zufällig war.

Die alte Annahme: Die Forscher dachten, die KI müsse bei jedem Wort eine echte Wahl treffen (z. B. zwischen 1000 verschiedenen Wörtern). Das nennt man „hohe Entropie" (viel Zufall).
Die Realität: Oft schreibt die KI aber sehr vorhersehbare Sätze. Sie wählt vielleicht nur aus zwei Möglichkeiten (z. B. „ja" oder „nein") oder wiederholt Standardfloskeln. Das nennt man „niedrige Entropie".
Das Ergebnis: Die alten Wasserzeichen-Methoden fielen bei diesen vorhersehbaren Texten sofort auf oder wurden zerstört, sobald man ein Wort änderte. Es war, als würde man versuchen, einen unsichtbaren Tintenstift auf einem Blatt Papier zu verwenden, das nur aus grauen, leeren Flächen besteht – die Tinte verschwindet einfach.

Die neue Lösung: Ein cleverer Trick mit Hash-Funktionen

Die Autoren dieses Papers haben einen neuen Weg gefunden, der auch bei diesen „langweiligen", vorhersehbaren Texten funktioniert. Hier ist die Idee mit einer Analogie:

1. Der „Zauber-Hut" (Hash-Funktion)

Stellen Sie sich vor, die KI wählt ein Wort aus einem riesigen Wörterbuch.

Der alte Weg: Man versuchte, das Wort direkt zu manipulieren. Das ging bei wenig Zufall nicht.
Der neue Weg: Bevor das Wort auf den Papier kommt, werfen wir es in einen Zauber-Hut (eine mathematische Funktion, genannt Hash). Dieser Hut verwandelt jedes Wort in eine einfache 0 oder 1 (wie einen Münzwurf).
- Das Wort „Apfel" wird zu einer 0.
- Das Wort „Birne" wird zu einer 1.
- Wichtig: Selbst wenn die KI nur zwischen „Apfel" und „Birne" wählt (wenig Zufall), verwandelt der Hut diese Wahl in eine 0 oder 1, die wir manipulieren können.

2. Der geheime Code (Pseudorandom Code)

Die Forscher haben einen geheimen Code (eine Folge von 0en und 1en), der wie ein zufälliges Rauschen aussieht. Niemand kann ihn erkennen, aber wer den Schlüssel hat, kann ihn wiederherstellen.

3. Das Einbetten (Der Tanz)

Jetzt kommt der Trick:

Die KI wählt zwei Wörter aus (z. B. „Apfel" und „Birne").
Der Zauber-Hut verwandelt sie in 0 und 1.
Der geheime Code sagt: „An dieser Stelle muss eine 1 stehen."
Da „Birne" eine 1 ist, wählt die KI „Birne".
Wenn der Code eine 0 verlangt, wählt sie „Apfel".
Das Geniale: Wenn die KI gar keine Wahl hat (z. B. sie muss „Apfel" sagen), dann passiert nichts. Aber wenn sie auch nur eine kleine Chance hat, das Wort zu wählen, nutzen wir diese Chance, um den Code zu verstecken.

Warum ist das so stark? (Die Robustheit)

Stellen Sie sich vor, ein Angreifer versucht, das Wasserzeichen zu entfernen, indem er Wörter austauscht (z. B. „Apfel" durch „Obst" ersetzt).

Bei alten Methoden: Wenn man ein Wort ändert, ist der Code kaputt.
Bei dieser neuen Methode: Es ist egal, ob das Wort „Apfel" oder „Obst" ist. Solange der Zauber-Hut aus dem neuen Wort immer noch eine 1 macht (oder eine 0), bleibt der Code intakt.
Selbst wenn jemand 50 % der Wörter austauscht oder löscht, bleibt genug vom Code übrig, um ihn wiederzuerkennen. Es ist wie ein Puzzle: Selbst wenn die Hälfte der Teile fehlt oder vertauscht wurde, kann man das Bild immer noch erkennen.

Die wichtigsten Ergebnisse einfach zusammengefasst

Kein „Zufalls-Druck" mehr nötig: Früher brauchte man Texte, die voller Überraschungen waren. Jetzt funktioniert es auch bei Texten, die sehr vorhersehbar sind (niedrige Entropie).
Wort-Ebene statt Buchstaben-Ebene: Die Methode manipuliert ganze Wörter, nicht nur Buchstaben. Das ist viel natürlicher. Wenn jemand einen Text umschreibt (Paraphrasieren), bleibt das Wasserzeichen erhalten.
Sicher gegen Angriffe: Selbst wenn jemand versucht, den Text absichtlich zu verunstalten, um das Wasserzeichen zu löschen, ist es mathematisch sehr schwer, das zu schaffen, ohne den Text unleserlich zu machen.

Fazit

Die Autoren haben einen Weg gefunden, KI-Texte mit einem unsichtbaren, aber extrem widerstandsfähigen Fingerabdruck zu versehen. Egal, ob die KI kreativ schreibt oder Standardfloskeln nutzt – und egal, ob jemand den Text ein wenig verändert – der Beweis, dass es von einer KI stammt, bleibt erhalten.

Kurz gesagt: Sie haben einen unsichtbaren Tintenstift entwickelt, der auch auf grauem Papier schreibt und nicht abwaschbar ist, selbst wenn man das Papier zerknüllt.

1. Problemstellung

Das Papier adressiert die Herausforderung, unentdeckbare und robuste Wasserzeichen für die Ausgaben von Large Language Models (LLMs) zu entwickeln, insbesondere in Szenarien mit niedriger Entropie.

Hintergrund: Mit der zunehmenden Qualität von KI-generierten Inhalten ist die Unterscheidung zwischen menschlichen und maschinellen Texten schwierig geworden. Wasserzeichen sollen eine verdeckte Markierung ermöglichen, die die Herkunft identifiziert, ohne die Verteilung der LLM-Ausgaben zu verändern (Unentdeckbarkeit).
Das spezifische Problem: Bisherige Arbeiten (z. B. Christ et al. [CG24], Golowich et al. [GM24]) setzen voraus, dass die LLM-Ausgaben eine hohe Entropie aufweisen.
- [CG24] benötigt eine konstante Entropierate von $\Omega(\log |T|)$ , wobei $T$ das Alphabet der Tokens ist.
- [GM24] benötigt sogar eine Entropie, die polynomiell in Bezug auf den Sicherheitsparameter ist.
Die Lücke: In der Praxis generieren LLMs oft Texte mit niedriger Entropie (z. B. wiederholende Phrasen, deterministische Antworten oder Tokens mit geringer Unsicherheit). Wenn die Entropie pro Token nur eine Konstante (z. B. 1 Bit) beträgt, versagen die bestehenden Methoden, da sie keine zuverlässige Korrelation zwischen dem Token und dem Wasserzeichen-Codewort herstellen können, ohne die Verteilung zu verzerren.
Ziel: Die Autoren fragen, ob ein unentdeckbares und robustes Wasserzeichenschema möglich ist, das auch dann funktioniert, wenn die Entropie pro Token nur eine Konstante ist, unabhängig von der Größe des Token-Alphabets.

2. Methodik

Die Autoren entwickeln einen Ansatz, der auf Pseudorandom Codes (PRC) basiert, jedoch eine innovative Transformation der Token-Eingabe vornimmt, um die Entropieanforderungen zu senken.

Kernidee: Hashing statt Binärisierung

Frühere Ansätze reduzierten große Token-Alphabete auf Binärdaten durch direkte Binärdarstellung oder Huffman-Codierung. Dies erhöhte jedoch die Entropieanforderung pro Token proportional zur Binärlänge.
Der neue Ansatz der Autoren:

Hashing: Statt den Token direkt zu kodieren, wird jeder Token $t$ aus dem großen Alphabet $T$ durch eine zufällige Hash-Funktion $h: T \to \{0, 1\}$ auf ein einzelnes Bit abgebildet.
Embedding: Das Wasserzeichen (ein PRC-Codewort) wird in die Hash-Werte der Tokens eingebettet, nicht in die Tokens selbst.
Blockweise Verarbeitung: Um Robustheit gegen Löschungen (Deletions) zu gewährleisten, wird der Output in Blöcke unterteilt. Für jeden Block wird eine einheitliche Hash-Funktion verwendet, die für alle Tokens innerhalb dieses Blocks gleich bleibt. Dies ermöglicht es, den Block auch nach Löschungen korrekt zu decodieren, da die Hash-Funktion bekannt ist.

Der Embedding-Prozess (Algorithmus)

Um ein Bit $c_i$ des PRC-Codeworts in den Output einzubetten, ohne die Verteilung des LLM zu verzerren:

Das LLM generiert zwei unabhängige Stichproben $t_0, t_1$ aus seiner Verteilung $D$ .
Erfolgsfall: Wenn $h(t_0) \neq h(t_1)$ , wird der Token ausgewählt, dessen Hash-Wert dem gewünschten Bit $c_i$ entspricht. Dies verzerrt die Verteilung nicht, da beide Optionen gleich wahrscheinlich sind.
Fehlerfall: Wenn $h(t_0) = h(t_1)$ , wird ein Token zufällig gewählt. Dies führt mit einer Wahrscheinlichkeit von $1/2$ zu einem Fehler im eingebetteten Bit.
Analyse: Solange ein Token eine empirische Entropie von mindestens 1 hat, ist die Wahrscheinlichkeit, dass $h(t_0) \neq h(t_1)$ ist, ausreichend hoch, um die Gesamtfehlerrate unter $1/2$ zu halten.

Robustheitsgarantien

Die Autoren analysieren zwei Szenarien:

Zufällige Substitutionen: Sie zeigen, dass selbst bei zufälliger Ersetzung von Tokens durch andere (basierend auf einer adversarischen Verteilung) die erwartete Fehlerrate im PRC unter $1/2$ bleibt, solange ein konstanter Anteil der Tokens eine Mindestentropie aufweist.
Zufällige Substitutionen und Löschungen: Hier wird entweder eine heuristische Annahme getroffen (dass die Fehler wie ein binärer symmetrischer Kanal verteilt sind, was bei „natürlichen" Prompts gilt) oder ein stärkeres PRC benötigt, das gegen adversarische Substitutionen und zufällige Löschungen robust ist.

3. Wichtige Beiträge

Reduktion der Entropieanforderung: Das Papier beweist, dass Wasserzeichen auch dann robust eingebettet werden können, wenn die Entropie pro Token nur eine Konstante (z. B. 1 Bit) beträgt, im Gegensatz zu den vorherigen Anforderungen von $\Omega(\log |T|)$ .
Token-Erhaltende Struktur: Im Gegensatz zu Ansätzen, die Tokens in Binärdaten umwandeln, behält der vorgeschlagene Ansatz die Token-Struktur bei. Dies macht das Schema robuster gegen praktische Angriffe wie Paraphrasieren oder das Ersetzen von Synonymen, die auf Token-Ebene operieren, nicht auf Bit-Ebene.
Neue Schemata für verschiedene Angriffsvektoren:
- Ein Schema robust gegen zufällige Substitutionen (unter der Annahme subexponentieller Härte von LPN).
- Ein Schema robust gegen zufällige Substitutionen und Löschungen (unter einer heuristischen Annahme oder mit einem stärkeren PRC).
- Ein Schema robust gegen eine konstante Fraktion von adversarischen Bearbeitungen (Edit Distance), basierend auf der „Permuted Codes"-Annahme.
Formale Definitionen: Einführung einer Definition für „natürliche" Prompts, bei denen die Fehlerverteilung konsistent ist, um pathologische Fälle (wie den „Emoji-Attack", bei dem deterministische Tokens die Entropie auf Null drücken) auszuschließen.

4. Ergebnisse

Die Autoren stellen vier Hauptsätze (Theoreme) und Korollare vor, die auf der Existenz bestimmter Pseudorandom Codes (PRC) basieren:

Theorem 1 & Korollar 1: Unter der Annahme der subexponentiellen Härte des Learning Parity with Noise (LPN)-Problems existiert ein Wasserzeichenschema für große Token-Alphabete, das gegen eine Fraktion von $(1/2 - \epsilon)$ zufälliger Substitutionen robust ist, sofern ein konstanter Anteil der Tokens eine Entropie von 1 Bit aufweist.
Theorem 2 & Korollar 2: Unter LPN und der zusätzlichen heuristischen Annahme „natürlicher" Prompts (konsistente Fehlerverteilung) ist das Schema auch gegen zufällige Löschungen robust.
Theorem 3 & Korollar 3: Wenn ein PRC existiert, der gegen adversarische Substitutionen und zufällige Löschungen robust ist, kann das Schema ohne heuristische Annahmen robust gegen zufällige Substitutionen und Löschungen sein.
Theorem 4 & Korollar 4: Unter der „Permuted Codes"-Annahme (basierend auf [CGG+25]) existiert ein Schema, das gegen eine konstante Fraktion von adversarischen Bearbeitungen (Insertionen, Löschungen, Substitutionen) robust ist. Dies erfordert jedoch, dass ein größerer konstanter Anteil des gesamten Outputs (nicht nur eines Substrings) die Mindestentropie aufweist.

Vergleich mit dem Stand der Technik (Zusammenfassung aus Abbildung 1):

Entropie: Reduziert von $O(\log |T|)$ oder $poly(\log \lambda)$ auf $O(1)$ .
Robustheit: Behält Robustheit gegen Substitutionen und (unter Bedingungen) Löschungen bei.
Annahmen: Nutzt etablierte kryptographische Annahmen (LPN) oder neuere Konzepte (Permuted Codes).

5. Bedeutung und Ausblick

Praktische Relevanz: Da viele reale LLM-Ausgaben (insbesondere bei kurzen Antworten, Code-Generierung oder spezifischen Aufgaben) niedrige Entropie aufweisen, macht dieser Ansatz Wasserzeichen für eine viel breitere Klasse von Anwendungen nutzbar als bisherige Methoden.
Sicherheit: Die Unentdeckbarkeit bleibt gewahrt, da die Ausgabe-Verteilung des LLM nicht verzerrt wird. Die Robustheit gegen Angriffe wie Paraphrasieren oder das Entfernen von Textteilen ist signifikant verbessert.
Offene Fragen: Die Autoren weisen darauf hin, dass die vollständige Robustheit gegen eine große Fraktion von adversarischen Bearbeitungen (ohne heuristische Annahmen) weiterhin eine Herausforderung darstellt und von der Weiterentwicklung von PRCs abhängt. Zudem ist die Länge des benötigten Substrings für die Mindestentropie bei adversarischen Angriffen größer.

Zusammenfassend stellt dieses Papier einen bedeutenden Fortschritt in der theoretischen Kryptographie für KI-Sicherheit dar, indem es die Lücke zwischen den Anforderungen an hohe Entropie und der Realität niedriger Entropie in LLM-Ausgaben schließt.