💻 computer science

WaterSearch: A Quality-Aware Search-based Watermarking Framework for Large Language Models

Dieser Beitrag stellt WaterSearch vor, ein neuartiges satzweises, suchbasiertes Wasserzeichen-Rahmenwerk für Large Language Models, das den Zielkonflikt zwischen Erkennbarkeit und Textqualität auflöst, indem es durch kontrollierte Seed-Pools die Verteilungstreue und Signaleigenschaften gemeinsam optimiert und damit signifikante Leistungsverbesserungen sowie robuste Anti-Angriffs-Fähigkeiten über diverse Aufgaben hinweg erzielt.

Ursprüngliche Autoren: Yukang Lin, Jiahao Shao, Shuoran Jiang, Wentao Zhu, Bingjie Lu, Xiangping Wu, Joanna Siebert, Qingcai Chen

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yukang Lin, Jiahao Shao, Shuoran Jiang, Wentao Zhu, Bingjie Lu, Xiangping Wu, Joanna Siebert, Qingcai Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Sicherheitsbeamte" versus der „Künstler"

Stellen Sie sich vor, Sie haben einen brillanten KI-Künstler (ein Large Language Model), der Geschichten schreibt, Fragen beantwortet und Probleme löst. Um zu verhindern, dass Menschen diesen Künstler missbrauchen (z. B. durch die Verbreitung von Fake News oder den Diebstahl von Urheberrechten), möchten wir auf alles, was er schreibt, ein digitales Wasserzeichen setzen. Dieses Wasserzeichen ist wie eine versteckte Unterschrift, die beweist: „Ja, eine KI hat dies geschrieben."

Allerdings gibt es einen Haken. Die aktuellen Methoden zum Hinzufügen dieses Wasserzeichens sind wie ein ungeschickter Sicherheitsbeamter, der versucht, die Arbeiten des Künstlers zu kennzeichnen. Um das Wasserzeichen für Detektoren sichtbar zu machen, zwingt der Beamte den Künstler, seine Wortwahl leicht zu verändern.

Das Ergebnis: Der Text ist als KI-generiert erkennbar, klingt aber oft roboterhaft, repetitiv oder faktisch falsch.
Der Kompromiss: Wenn Sie das Wasserzeichen stärker machen (schwerer zu fälschen), verschlechtert sich die Textqualität. Wenn Sie wollen, dass der Text natürlich klingt, wird das Wasserzeichen zu schwach, um erkannt zu werden.

Die neue Idee: „Der Samen-Pool"

Die Autoren dieses Papiers erkannten, dass der Ansatz des „ungeschickten Beamten" nicht der einzige Weg ist. Sie bemerkten etwas Interessantes: Zufälligkeit ist entscheidend.

Stellen Sie sich den Generierungsprozess der KI wie einen Koch vor, der ein Gericht zubereitet. Der „Samen" ist die zufällige Zutat, die der Koch zuerst greift. Wenn der Koch eine leicht andere zufällige Zutat greift (einen anderen Samen), könnte er ein völlig anderes Gericht kochen, selbst bei demselben Rezept.

Das Papier entdeckte, dass das Wasserzeichen je nachdem, welcher „zufällige Samen" verwendet wird, unterschiedlich reagiert. Manche Samen machen das Wasserzeichen sehr stark, verderben aber den Geschmack (die Qualität). Andere Samen lassen den Text hervorragend schmecken, aber das Wasserzeichen ist unsichtbar.

Die Lösung: WaterSearch (Der „Geschmackstester"-Ansatz)

Anstatt der KI zu erlauben, nur ein Gericht zu kochen und auf das Beste zu hoffen, ändert WaterSearch den Prozess. Es fungiert wie ein Küchenchef, der mehrere Versionen desselben Gerichts gleichzeitig bestellt.

So funktioniert es, Schritt für Schritt:

Paralleles Kochen (Der Samen-Pool): Wenn die KI einen Absatz schreiben muss, wählt WaterSearch nicht nur einen zufälligen Samen aus. Es wählt eine kleine Gruppe von Samen aus (wie 5 verschiedene Samen).
Kandidaten generieren: Es bittet die KI, denselben Absatz fünf Mal zu schreiben, wobei jede Version einen anderen Samen verwendet.
- Version A: Großartiges Wasserzeichen, seltsame Grammatik.
- Version B: Perfekte Grammatik, schwaches Wasserzeichen.
- Version C: Gutes Gleichgewicht aus beidem.
- Version D & E: Verschiedene andere Mischungen.
Die Auswahl (Der Geschmackstest): Ein intelligenter Selektor betrachtet alle fünf Versionen. Er fragt: „Welche klingt am natürlichsten und hat gleichzeitig noch ein stark genug verstecktes Signatur?"
Der Gewinner: Er wählt die beste Version (Version C) aus und verwirft die anderen.

Warum dies ein Game Changer ist

Das Papier behauptet, dass diese Methode das Problem „Sicherheitsbeamter versus Künstler" auf drei wesentliche Arten löst:

Bessere Qualität: Da das System die Möglichkeit hat, die beste Version auszuwählen, muss es die KI nicht zwingen, schlecht zu schreiben. Es findet den „Sweet Spot", bei dem die Textqualität hoch ist und das Wasserzeichen dennoch erkennbar bleibt.
Kurze Texte & Code: Dies ist besonders hilfreich für knifflige Aufgaben wie das Schreiben kurzer Antworten oder Computercode. In diesen Fällen gibt es sehr wenige Wörter, in die man ein Wasserzeichen verstecken kann, sodass traditionelle Methoden versagen. WaterSearchs Ansatz „fünf Mal versuchen und das Beste auswählen" funktioniert hier viel besser.
Robustheit: Selbst wenn jemand den Text später bearbeitet (z. B. einige Wörter ändert oder Sätze umformuliert), ist das Wasserzeichen stark genug, um dennoch gefunden zu werden.

Die Kosten (Die „Küche"-Analogie)

Gibt es einen Nachteil? Ja. Fünf Gerichte zu kochen erfordert mehr Energie und Zeit als ein Gericht.

Die Behauptung des Papiers: Die Autoren zeigen, dass dies zwar mehr Rechenleistung erfordert, sie es jedoch sehr effizient aufgebaut haben (wie die Nutzung einer gemeinsamen Küchenarbeitsfläche). Die zusätzlichen Kosten sind beherrschbar, und die enorme Verbesserung der Qualität lohnt sich.

Zusammenfassung

WaterSearch ist ein neues Framework, das verhindert, dass die KI gezwungen wird, schlechte Texte zu schreiben, nur um ein Wasserzeichen zu verstecken. Anstatt ein einziges „okayes" Ergebnis zu erzwingen, generiert es mehrere Optionen mit verschiedenen zufälligen „Samen", wählt diejenige aus, die sowohl hochwertig als auch sicher ist, und verwirft den Rest. Es ist, als würde man der KI eine zweite Chance geben, es richtig zu machen, und stellt sicher, dass der Text vertrauenswürdig ist und das Wasserzeichen erkennbar bleibt, ohne die Botschaft zu ruinieren.

Technische Zusammenfassung: WaterSearch

Problemstellung

Large Language Models (LLMs) benötigen robuste Wasserzeichenmechanismen, um Rechenschaftspflicht zu gewährleisten und maschinell generierte Inhalte zu identifizieren. Bestehende Methoden, wie das KGW-Framework, verlassen sich typischerweise darauf, Token-Level-Wahrscheinlichkeitsverteilungen während der Generierung zu stören. Obwohl diese Störungen für die Detektion effektiv sind, führen sie zu einem bekannten Zielkonflikt: Die Erhöhung der Wasserzeichenstärke verschlechtert oft die Textqualität, insbesondere in herausfordernden Szenarien wie der Generierung kurzer Texte, bei推理-Aufgaben und bei der Generierung mit niedriger Entropie (z. B. Code-Vervollständigung). Aktuelle Versuche, dies durch entropiebewusste Heuristiken oder unverzerrte Anpassungen zu mildern, beruhen weiterhin auf der Modifikation von Token-Verteilungen unter einer festen Generierungspipeline, was vom ursprünglichen Verhalten des Modells abweichen und die Balance zwischen Detektierbarkeit und Fidelity nicht erreichen kann.

Methodik: WaterSearch

Die Autoren schlagen WaterSearch vor, ein suchbasiertes Framework, das die Perspektive von Token-Level-Störungen auf Seed-Level-Steuerung verlagert. Die Kernidee besteht darin, dass sich das Wasserzeichenverhalten über verschiedene Zufalls-Seed-Werte hinweg signifikant unterscheidet, was zu unterschiedlichen Zielkonflikten zwischen Detektionsstärke und Generierungsqualität führt.

1. Seed-Pooling und parallele Generierung

Anstatt eine einzelne Textsequenz mit einem festen Seed zu generieren, unterhält WaterSearch einen Seed-Pool globaler Seeds bei jedem Generierungsschritt.

Seed-Pool-Konstruktion: Eine Menge vordefinierter Seeds wird unter Verwendung eines geheimen Schlüssels ( $\pi_{key}$ ) permutiert, um die Reproduzierbarkeit für die Detektion sicherzustellen und gleichzeitig kontrollierte Variation einzuführen.
Parallele Kandidaten: Für jeden Textabschnitt generiert das Framework $k$ Kandidaten parallel: eine Standardsequenz ohne Wasserzeichen und $k-1$ wasserzeichenversehene Sequenzen, die jeweils mit einem anderen Seed aus dem Pool instanziiert werden.
Effizienz: Um die Rechenkosten zu managen, setzt das System auf parallele Generierung mit Wiederverwendung des Key-Value (KV)-Caches, wodurch die Speicherkomplexität von $O(k(L+T))$ auf $O(k(L+m))$ reduziert wird, wobei $m$ die Chunk-Größe ist.

2. Kandidatenauswahl

WaterSearch behandelt Wasserzeichen als Problem der Kandidatenauswahl. Es bewertet die $k$ generierten Abschnitte mittels einer gewichteten Zielfunktion $q(y, \tilde{y})$ :
$q(y, \tilde{y}) = \alpha q_{sim}(y, \tilde{y}) + (1 - \alpha) \frac{|\tilde{y}|_G}{|\tilde{y}|}$
Wobei:

$q_{sim}$ die Ähnlichkeit (lexikalisch oder semantisch) zwischen dem Kandidaten und der wasserzeichenfreien Referenz misst (Fidelity).
$\frac{|\tilde{y}|_G}{|\tilde{y}|}$ den Anteil der „Green-List"-Token (Detektierbarkeit) darstellt.
$\alpha$ ein einstellbarer Hyperparameter ist, der Qualität und Detektierbarkeit ausbalanciert.
Der Abschnitt mit der höchsten Punktzahl wird ausgewählt und für die nächste Iteration an den Kontext angehängt.

3. Detektionsstrategie

Da der spezifische Seed, der für den ausgewählten Abschnitt verwendet wurde, für den Detektor nicht explizit bekannt ist, setzt WaterSearch eine Strategie der Hypothesenprüfung auf Basis der Max-Statistik ein:

Chunk-Level-Test: Für einen gegebenen Textabschnitt rekonstruiert der Detektor den Seed-Pool und bewertet die Wasserzeichen-Statistik (Anzahl der Green-List-Token) für alle Kandidaten-Seeds.
Max-Statistik: Es wird die maximale Statistik ausgewählt, die über den Seed-Pool hinweg beobachtet wurde. Unter der Nullhypothese ( $H_0$ , kein Wasserzeichen) wird die Verteilung dieser maximalen Statistik aus dem Maximum unabhängiger Binomialvariablen abgeleitet.
Aggregation: Chunk-Level-p-Werte werden mittels Fishers Methode aggregiert, um einen Signifikanzwert auf Dokumentenebene zu berechnen. Dieser Ansatz ist robust gegenüber Token-Level-Störungen und Paraphrasierungen, da er Beweise über mehrere Abschnitte hinweg akkumuliert.

Hauptbeiträge

Seed-Level-Perspektive: Die Arbeit identifiziert, dass Zufalls-Seed-Werte das Wasserzeichenverhalten signifikant beeinflussen, und führt Seed-Pooling als neuen Mechanismus ein, um den Zielkonflikt-Raum zwischen Qualität und Detektierbarkeit zu erkunden.
WaterSearch-Framework: Ein praktisches, modulares Framework, das Kandidaten unter verschiedenen Seeds generiert und auswählt, kompatibel mit bestehenden Token-Level-Wasserzeichenmethoden (z. B. KGW, GPT Watermark).
Robuste Detektion: Eine Detektionsmethode, die auf seed-Level-statistischer Variation basiert und keine explizite Seed-Identifizierung erfordert, was Robustheit gegenüber Angriffen bietet.

Experimentelle Ergebnisse

Experimente wurden auf WaterBench (umfassend 10 Aufgaben, darunter kurze/lange Texte, QA und Code) und RepoBench-P durchgeführt, und zwar über drei Modelle (Qwen2.5-7B, Llama2-7B, InternLM-7B) und vier Wasserzeichen-Baselines.

Gesamtleistung: WaterSearch übertraf Baseline-Methoden in allen Settings konsistent und erzielte einen durchschnittlichen absoluten Gewinn von etwa 5,5 Punkten im geometrischen Mittel (GM) von Qualitäts- und Detektionsmetriken.
Herausfordernde Szenarien:
- Generierung kurzer Texte: Deutliche Verbesserungen der Detektionserfolgsraten (z. B. +26,9 Punkte in Copen, +3,7 in HotpotQA), wo Token-Budgets begrenzt sind.
- Generierung mit niedriger Entropie: Bemerkenswerte Gewinne bei Code-Vervollständigungsaufgaben (LCC, RepoBench-P) mit einem durchschnittlichen Gewinn von 4,7 Punkten, wobei hohe Textqualität bei verbesserter Detektierbarkeit beibehalten wurde.
Robustheit: Die Methode zeigte eine überlegene Widerstandsfähigkeit gegen Einfügeangriffe, Synonymersetzungen und Paraphrasierungsangriffe (Pegasus, Parrot) im Vergleich zu Baselines.
Ablationsstudien:
- Die Erhöhung der parallelen Beam-Größe ( $K$ ) verbesserte sowohl Qualität als auch Detektion, wobei bereits $K=2$ Gewinne gegenüber Baselines zeigte.
- Der Zielkonflikt-Faktor $\alpha$ ermöglicht eine flexible Steuerung, wobei WaterSearch eine bessere Pareto-Grenze als Baselines erreicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Behandlung von Zufälligkeit (Zufalls-Seed-Werte) als kontrollierbare Variable einen prinzipiellen Weg bietet, Wasserzeichen zu verbessern, ohne die Token-Level-Generierungslogik grundlegend zu verändern. Durch die Nutzung von Seed-Vielfalt navigiert WaterSearch effektiv durch den Zielkonflikt zwischen Qualität und Detektierbarkeit, insbesondere in Szenarien, in denen traditionelle Störungsmethoden Schwierigkeiten haben. Die Autoren betonen, dass ihr Ansatz modular und mit bestehenden Wasserzeichen-Schemata kompatibel ist und eine praktische Lösung für den Einsatz robuster Wasserzeichen in realen LLM-Anwendungen bietet.

Die Arbeit anerkennt Einschränkungen und stellt fest, dass sie die Beschränkungen der zugrunde liegenden Wasserzeichenmethoden erbt (z. B. den potenziellen Einfluss von KGW auf die Qualität) und zusätzliche Rechenkosten verursacht, obwohl diese durch die Wiederverwendung des KV-Caches gemildert werden. Als zukünftige Arbeit wird vorgeschlagen, sich auf die Verbesserung der Sampling-Effizienz und die Kostensenkung zu konzentrieren.