💬 NLP

Linear Ensembles Wash Away Watermarks: On the Fragility of Distributional Perturbations in LLMs

Dieses Paper zeigt auf, dass die durch LLM-Wasserzeichen eingeführten statistischen Perturbationen durch das Mittelbildungsverfahren der Ausgabeverteilungen von lediglich drei bis fünf heterogenen Modellen, einer Technik namens WASH, effektiv neutralisiert werden können, was nicht nur aktuelle Wasserzeichenverfahren unentdeckbar macht, sondern auch die Textqualität und die Generierungsgeschwindigkeit verbessert.

Ursprüngliche Autoren: Zhihao Wu, Gracia Gong, Qinglin Zhu, Yudong Chen, Runcong Zhao

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhihao Wu, Gracia Gong, Qinglin Zhu, Yudong Chen, Runcong Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen bestimmten Sänger in einem überfüllten Raum zu identifizieren. Um ihn hervorzuheben, geben Sie ihm einen einzigartigen, leuchtenden Hut (ein Wasserzeichen). Wenn Sie jemanden mit diesem Hut sehen, wissen Sie: „Ah, das ist der KI-Sänger.“

Dieses Paper argumentiert, dass dieses System einen massiven, fundamentalen Fehler hat: Es bricht zusammen, sobald man mehr als einen Sänger gleichzeitig auftreten lässt.

Hier ist die Aufschlüsselung der Ergebnisse des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Der „leuchtende Hut“ ist zerbrechlich

Derzeit versuchen KI-Unternehmen, ihren Text zu wasserzeichen, indem sie die Mathematik hinter der Wortwahl minimal verändern. Es ist, als würde ein Koch eine winzige, geheime Prise Salz in eine Suppe geben, um beweisen zu können, dass er sie zubereitet hat.

Die Annahme: Forscher gingen davon aus, dass man, wenn man eine Schüssel Suppe sieht, dieses geheime Salz schmecken kann und weiß, welcher Koch sie gemacht hat.
Die Realität: In der realen Welt nutzen Anwender nicht nur eine einzige KI. Sie haben Zugriff auf viele verschiedene KIs (wie GPT, Llama, Qwen usw.) zur gleichen Zeit.

2. Der Angriff: Der „Smoothie“-Effekt

Die Autoren entdeckten, dass man, wenn man die Ausgaben von drei oder fünf verschiedenen KI-Modellen nimmt und diese miteinander vermischt, das geheime „Salz“ verschwindet.

Die Analogie: Stellen Sie sich fünf verschiedene Köche vor. Jeder fügt seiner Suppe eine andere geheime Zutat hinzu, um sie zu kennzeichnen. Koch A fügt eine Prise Salz auf der linken Seite der Schüssel hinzu; Koch B fügt eine Prise Pfeffer auf der rechten Seite hinzu; Koch C fügt einen Tropfen scharfe Sauce in die Mitte.
Das Ergebnis: Wenn Sie alle fünf Schüsseln in einen riesigen Mixer schütten und alles vermischen, heben sich Salz, Pfeffer und scharfe Sauce gegenseitig auf. Zurück bleibt eine glatte, ungewürzte Suppe, die exakt wie das ursprüngliche, unmarkierte Rezept schmeckt. Das „Wasserzeichen“ wird weggewaschen.

Das Paper nennt dies „Lineare Ensembles“. Durch das einfache Mitteln der Vorhersagen mehrerer Modelle wird das einzigartige „Rauschen“ (das Wasserzeichen) herausgefiltert, wodurch das reine, ursprüngliche Signal zurückbleibt.

3. Die Lösung: „WASH“ (Der smarte Mixer)

Die Forscher entwickelten ein Werkzeug namens WASH (Watermark Attenuation via Statistical Hybridisation), um diesen Mischprozess zu automatisieren.

Die Herausforderung: Unterschiedliche KIs sprechen intern unterschiedliche „Sprachen“. Eine könnte das Wort „Gnadenreich“ in zwei Teile zerlegen („Gnaden“-„reich“), während eine andere es als ein ganzes Stück sieht. Ein einfacher Mixer würde hier verwirrt sein und die Suppe verschütten.
Die Lösung: WASH nutzt ein „Fluency-Aware Routing“-System. Denken Sie an einen smarten Verkehrskontrolleur. Wenn der Mix bei einem Wort stockt, das nur ein bestimmtes Modell versteht, wechselt WASH vorübergehend zu genau diesem einen Modell, um das Wort zu vollenden, und wechselt dann zurück zur Gruppe. Dies stellt sicher, dass die Suppe geschmeidig bleibt und die geheimen Zutaten effektiv neutralisiert werden.

4. Die Ergebnisse: Die magischen Zahlen

Das Paper testete dies gegen sechs verschiedene Wasserzeichen-Verfahren unter Verwendung von drei großen KI-Modellen. Die Ergebnisse waren dramatisch:

Vor dem Mischen: Die Wasserzeichen waren deutlich erkennbar (Detektionswerte von 5 bis 300).
Nach dem Mischen (mit nur 3 Modellen): Die Detektionswerte fielen auf unter 2. Dies liegt unter der Schwelle, bei der überhaupt jemand ein Wasserzeichen vermuten würde. Es ist effektiv unsichtbar.
Qualität: Nicht nur verschwanden die Wasserzeichen, sondern der resultierende Text war sogar besser (27,5 % Qualitätsverbesserung) und lief 6 Mal schneller als andere Methoden, die versuchten, Wasserzeichen zu entfernen.

5. Das große Fazit: Ein Aufruf zur Zusammenarbeit

Das Paper kommt zu dem Schluss, dass Wasserzeichen in einem kompetitiven Markt mathematisch zum Scheitern verurteilt sind. Solange verschiedene Unternehmen unterschiedliche geheime Schlüssel verwenden (was sie tun müssen, um zu beweisen, wer den Text erstellt hat), kann ein Nutzer diese einfach zusammenmischen, um den Beweis zu löschen.

Der einzige Weg, dies zu lösen?
Die Autoren schlagen vor, dass Wasserzeichen nur dann zuverlässig funktionieren können, wenn alle KI-Unternehmen einem einzigartigen, gemeinsamen geheimen Schlüssel zustimmen und exakt dasselbe System verwenden. Ohne diese beispiellose Form der Koordination wird der Trick mit dem „leuchtenden Hut“ immer durch einen einfachen Mixer weggewaschen werden.

Kurz gesagt: Man kann kein Geheimnis in einer Menge verstecken, wenn jeder in dieser Menge ein anderes, widersprüchliches Geheimnis trägt. Wenn man sie alle zusammenmischt, verschwinden die Geheimnisse.

Technisches Resümee: Lineare Ensembles waschen Wasserzeichen weg

Problemstellung

Das Paper adressiert eine fundamentale Schwachstelle aktueller Wasserzeichenverfahren für Large Language Models (LLMs). Während Wasserzeichen statistische Signaturen in den generierten Text einbetten, um Detektion und Attribution zu ermöglichen, stützt sich die bisherige Forschung auf die vereinfachende Annahme, dass ein Angreifer lediglich Zugriff auf ein einzelnes wassermarkiertes Modell hat. In der Realität können Nutzer jedoch gleichzeitig auf mehrere heterogene LLMs zugreifen (z. B. über Plattformen wie Huger Face). Die Autoren postulieren, dass in einem kompetitiven Markt, in dem Anbieter unabhängige geheime Schlüssel und architektonische Designs verwenden, die durch das Wasserzeichen eingeführten Perturbationen über verschiedene Modelle hinweg unabhängig sind. Diese Unabhängigkeit schafft eine strukturelle Schwäche: Durch die Aggregation von Ausgaben mehrerer Modelle können sich diese unabhängigen Perturbationen gegenseitig aufheben, wodurch die ursprüngliche, unveränderte Verteilung wiederhergestellt wird und das Wasserzeichen unentdeckbar wird.

Methodik

Theoretische Grundlage

Die Autoren formalisieren das Wasserzeichen als eine stochastische Perturbation $\delta_i$ , die auf eine gemeinsame zugrunde liegende Konsensverteilung $p^*$ angewendet wird. Sie nehmen für $N$ unabhängige Anbieter an:

Unabhängigkeit: Die Perturbationen $\delta_i$ sind über die Anbieter hinweg unabhängig.
Nullmittelwert: Die Perturbationen sind im Log-Raum um die Konsensverteilung zentriert ( $E[\delta_i] = 0$ ).
Begrenzte Größenordnung: Die Perturbationen sind begrenzt, um die Textqualität aufrechtzuerhalten.

Unter diesen Annahmen beweisen die Autoren, dass der lineare Ensemble-Mittelwert von $N$ Modellen, $\bar{p}_N = \frac{1}{N}\sum p_i$ , gegen die Konsensverteilung $p^*$ mit einem Fehlerterm von $O(1/\sqrt{N})$ konvergiert. Die Wasserzeichensignale, die als unkorrelierte Rauschsignale wirken, werden asymptotisch herausgewaschen, sodass nur noch ein Term zweiter Ordnung verbleibt.

Der WASH-Algorithmus

Um diese theoretische Erkenntnis in die Praxis zu übertragen, führen die Autoren WASH (Watermark Attenuation via Statistical Hybridisation) ein. WASH adressiert zwei kritische praktische Herausforderungen in heterogenen Ensembles: Vokabular-Fehlausrichtung und Tokenisierungsunterschiede.

Union-basierter Ensemble-Ansatz: Anstatt das Sampling auf den Schnittpunkt aller Modellvokabulare zu beschränken (was die Ausdrucksstärke einschränkt), konstruiert WASH eine Ensemble-Verteilung über die Vereinigung aller Vokabulare. Für Tokens, die nicht in einem spezifischen Modell-Vokabular vorhanden sind, wird die Wahrscheinlichkeit dieses Modells auf Null gesetzt.
Fluenz-bewusste Routierung (Fluency-Aware Routing): Wenn ein Token ausgewählt wird, das nur in einer Teilmenge von Modellen existiert (ein „Spezialisten“-Token), routet WASH die nachfolgenden Generationsschritte dynamisch nur an jene Modelle, die diesen Token unterstützen. Dies verhindert das Unterbrechen der autoregressiven Kette. Entscheidend ist, dass die Modellauswahl innerhalb der Spezialistengruppe randomisiert wird, um keine neuen systematischen Biases einzuführen, die von Detektoren ausgenutzt werden könnten.
Kontext-Resynchronisation: Um die Kohärenz über Modelle mit unterschiedlichen Tokenizern hinweg aufrechtzuerhalten, verwendet WASH einen Dekodierungs-Kodierungs-Zyklus. Nachdem ein Token generiert wurde, wird der String dekodiert und durch den spezifischen Tokenizer jedes Modells neu tokenisiert, um sicherzustellen, dass alle Modelle für den nächsten Schritt semantisch äquivalente Kontexte wahrnehmen.
Effizienz: Die Methode nutzt parallele Inferenz mit Response-Caching und erreicht eine Komplexität von konstanter Zeit pro Token, unabhängig von der Ensemblegröße, wodurch das iterative Probing oder die Kontext-Rekodierung erforderlich wird, die bei früheren Angriffen nötig waren.

Zentrale Beiträge

Theoretischer Beweis der Verwundbarkeit: Das Paper liefert einen rigorosen Beweis dafür, dass lineares Ensembling asymptotisch die unveränderte Verteilung mit einer Konvergenzrate von $O(1/\sqrt{N})$ wiederherstellt, was eine fundamentale Grenze für unvoreingenommene Wasserzeichen in Multi-Anbieter-Umgebungen etabliert.
WASH-Algorithmus: Ein neuartiges Framework, das Vokabular-Mismatch in heterogenen Ensembles durch fluenz-bewusste Routierung und Kontext-Resynchronisation überwindet und so eine effektive Aggregation von Wahrscheinlichkeiten ermöglicht, ohne die semantische Integrität zu opfern.
Systematische Evaluierung: Umfassende Experimente über sechs repräsentative Wasserzeichen-Schemata (AAR, DIPMark, ITSEdit, KGW, Exp-Edit, Water-Bag) und drei LLMs (Qwen, Llama, Ministral) sowohl unter Generationszeit- als auch unter Final-Text-Detektionsbedingungen.

Experimentelle Ergebnisse

Detektionswirksamkeit

Generationszeit-Detektion: WASH unterdrückt die Detektions- $z$ -Scores von starken Baselines (von 5 bis 300) erfolgreich auf unter 2 (nahe dem Zufall) mit nur 3 Modellen. Dies liegt unter dem Standard-Detektionsschwellenwert von 4.
Final-Text-Detektion: Für native Sequenz-Detektoren reduziert WASH die True Positive Rate bei einer False Positive Rate von 5 % (TPR@5%FPR) über alle getesteten Schemata hinweg auf unter 50 % und macht die Wasserzeichen somit statistisch unentdeckbar.
Kontroll-Experiment: Wenn Modelle ein koordiniertes Wasserzeichen teilen (gleiches Signal über die Vokabulare hinweg), scheitert der Ensemble-Angriff, was bestätigt, dass die Effektivität der Entfernung auf der Unabhängigkeit der Perturbationen beruht.

Qualität und Effizienz

Qualität: WASH verbessert die Generationsqualität im Vergleich zur besten Baseline (De-mark) bei Aufgaben zur Generierung langer Sequenzen um 27,5 % und übertrifft damit sowohl die wassermarkierte Baseline als auch andere Entfernungsmethoden (ToBlend, RandomWalk) in Benchmarks wie GSM8K, MMLU und SQuAD.
Effizienz: WASH läuft etwa 6-mal schneller als die beste Baseline (De-mark) bei langen Sequenzen. Während De-mark aufgrund von iterativem Probing Overheads von 30×–38× verursacht, operiert WASH bei etwa 1,0×–2,4× den Kosten der Baseline durch deterministisches Sampling und synchronisiertes KV-Caching.

Bedeutung und Behauptungen

Das Paper behauptet, eine „fundamentale Verwundbarkeit“ im aktuellen Paradigma des KI-Text-Wasserzeichens aufzuzeigen. Die Autoren argumentieren, dass eine robuste Detektion in einem kompetitiven Multi-Anbieter-Markt mathematisch nicht erreichbar ist, ohne eine beispiellose Koordination zwischen den Modellanbietern. Insbesondere kommen sie zu dem Schluss:

Unvoreingenommene Wasserzeichen-Schemata sind gegen lineares Ensembling inhärent fragil, da Marktkräfte unabhängige Schlüssel und begrenzte Perturbationen erzwingen.
Wahre Robustheit erfordert entweder die Akzeptanz dieser Verwundbarkeit oder die Implementierung koordinierter Wasserzeichen-Strategien, bei denen ein gemeinsames Signal über alle Modelle hinweg geteilt wird.
Die Ergebnisse dienen als Warnsignal für Modellanbieter und Forscher und legen nahe, dass isolierte Modell-Ebene-Verteidigungsmechanismen gegenüber Cross-Model-Bedrohungen unzureichend sind und eine branchenweite Standardisierung für eine effektive Herkunftsnachweis-Verifizierung notwendig ist.

Die Arbeit schlägt keine neuen Wasserzeichen-Schemata vor, sondern charakterisiert vielmehr die Grenzen bestehender Verfahren und betont, dass die „Achillesferse“ des Wasserzeichens die kompetitive Marktstruktur selbst ist.