💬 NLP

TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection

TextSeal ist ein hochmoderner, verzerrungsfreier LLM-Wasserzeichnungsansatz, der durch die Generierung dualer Schlüssel und die Lokalisierung in mehreren Regionen eine robuste Provenienzdetektion und Schutz vor Distillation gewährleistet, und zwar unter Wahrung der Ausgabequalität und Unterstützung von Serving-Optimierungen ohne Inferenz-Overhead.

Ursprüngliche Autoren: Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre Fernandez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Bäcker, der täglich Tausende von köstlichen Brotlaiben backt. Sie möchten wissen, ob ein Laib in einem Lebensmittelgeschäft von Ihnen gebacken wurde oder ob jemand anderes Ihr Rezept kopiert und selbst gebacken hat. Doch hier liegt der Haken: Sie können nicht einfach „Von Bäcker Tom hergestellt" auf das Brot stempeln, denn das würde den Geschmack und die Textur verderben. Sie benötigen eine geheime Zutat, die für die menschliche Zunge unsichtbar ist, aber einen einzigartigen, nachweisbaren Fingerabdruck für Ihren speziellen Scanner hinterlässt.

Genau dieses Problem löst TextSeal für Large Language Models (KI). Es ist ein neuer, hochtechnischer „unsichtbarer Wasserzeichen", der beweist, wer einen Text verfasst hat, ohne dass sich der Klang oder das Aussehen des Textes verändern.

So funktioniert TextSeal, aufgeschlüsselt in einfache Konzepte:

1. Die geheime Zutat (Dual-Key-Generierung)

Ältere Wasserzeichen waren wie ein Stempel, der immer das gleiche Zeichen an derselben Stelle setzte. Wenn Sie die KI zweimal dieselbe Frage stellten, würde sie Ihnen beide Male exakt dieselbe Antwort geben. Das ist für Nutzer langweilig und kann sogar dazu führen, dass die KI in repetitiven Schleifen stecken bleibt (wie ein Lied im Wiederholungsmodus).

TextSeals Lösung: Es verwendet zwei geheime Schlüssel statt eines. Jedes Mal, wenn die KI ein Wort wählt, wirft sie eine Münze, um zu entscheiden, welchen Schlüssel sie verwendet.

Die Analogie: Stellen Sie sich vor, Sie haben zwei verschiedene geheime Gewürze. Manchmal streuen Sie Gewürz A, manchmal Gewürz B. Für den Essenden schmeckt das Brot exakt gleich (keine Verzerrung), aber für Ihren Scanner erzeugt das Muster der Gewürze einen einzigartigen, variierenden Fingerabdruck, der beweist, dass es von Ihnen stammt. Dies hält die Antworten der KI frisch und vielfältig, bleibt aber dennoch zurückverfolgbar.

2. Der intelligente Scanner (Entropie-gewichtete Erkennung)

Die Erkennung eines Wasserzeichens ist schwierig, da die KI manchmal sehr vorhersehbare Dinge schreibt (niedrige „Entropie") und manchmal sehr kreative, unvorhersehbare Dinge (hohe Entropie).

Das Problem: Wenn die KI zu 99 % sicher ist, dass das nächste Wort „der" ist, ist das Hinzufügen eines Wasserzeichens dort wie der Versuch, ein Flüstern in einem Hurrikan zu verstecken. Es ist schwer zu hören. Wenn die KI jedoch zwischen vielen Wörtern raten muss, ist das Wasserzeichen-Signal viel stärker.
TextSeals Lösung: Es verwendet einen „intelligenten Scanner", der weiß, dass er besonders auf die Teile des Textes achten muss, bei denen die KI unsicher war (hohe Entropie). Er ignoriert die langweiligen, vorhersehbaren Teile und konzentriert sich auf die kreativen Teile, in denen das Wasserzeichen-Signal am stärksten ist. Dies macht die Erkennung auch in langen Dokumenten viel genauer.

3. Die Nadel im Heuhaufen finden (Lokalisierte Erkennung)

Stellen Sie sich vor, jemand nimmt einen Absatz, den Sie geschrieben haben, mischt ihn in einen 50-seitigen Aufsatz, der von einem Menschen verfasst wurde, und behauptet, das Ganze sei seins. Ältere Wasserzeichen würden den gesamten Aufsatz betrachten, durch all das menschliche Schreiben verwirrt werden und sagen: „Ich kann das Wasserzeichen nicht finden."

TextSeals Lösung: Es betrachtet nicht nur das gesamte Dokument; es scannt nach spezifischen Bereichen.

Die Analogie: Anstatt zu versuchen, ein einzelnes Sandkorn an einem Strand zu finden, sucht TextSeal nach kleinen, spezifischen Sandflecken mit einer einzigartigen Farbe. Selbst wenn der KI-Text nur 5 % eines riesigen Dokuments ausmacht, kann TextSeal diese 5 % isolieren, den Rest ignorieren und sagen: „Aha! Dieser spezifische Absatz wurde definitiv von einer KI generiert." Das funktioniert sogar dann, wenn der KI-Text zerschnitten und über das gesamte Dokument verstreut ist.

4. Der „radioaktive" Effekt (Distillations-Schutz)

Dies ist vielleicht das mächtigste Merkmal. Wenn ein Konkurrent versucht, das „Gehirn" Ihrer KI zu stehlen, indem er sein eigenes Modell auf Ihren wasserzeichenversehenen Ausgaben trainiert, bleibt das Wasserzeichen nicht nur im Text – es wird gelernt.

Die Analogie: Stellen Sie sich vor, Ihr geheimes Gewürz ist so potent, dass, wenn ein Konkurrent versucht, Brot zu backen, indem er Ihre alten Laibe als Referenz verwendet, sein neues Brot immer noch eine schwache Spur Ihres Gewürzes trägt, selbst wenn er Ihr geheimes Rezept nie gesehen hat.
Die Behauptung: Die Studie zeigt, dass, wenn ein Schülermodell auf mit TextSeal wasserzeichenversehenen Daten trainiert wird, dieses Schülermodell „radioaktiv" wird. Sie können das Schülermodell testen, und es wird immer noch das Wasserzeichen-Signal zeigen, was beweist, dass es auf Ihren Daten trainiert wurde. Dies verhindert, dass Konkurrenten das Wissen Ihres Modells heimlich kopieren.

Warum ist das eine große Sache?

Es ist unsichtbar: Die Studie testete dies mit Menschen, die Tausende von Beispielen lasen. Sie konnten keinen Unterschied zwischen wasserzeichenversehenem und nicht wasserzeichenversehenem Text feststellen. Es ließ die KI nicht roboterhaft klingen oder Fehler machen.
Es ist schnell: Es fügt dem Denkprozess der KI fast keine Zeit hinzu, sodass es in Echtzeit-Anwendungen eingesetzt werden kann.
Es ist stark: Es schlägt frühere Methoden (wie Googles SynthID) bei der Erkennung von Wasserzeichen, selbst wenn der Text stark verdünnt oder mit menschlichen Texten gemischt ist.

Kurz gesagt, TextSeal ist eine Möglichkeit, die Arbeit Ihrer KI mit einer unsichtbaren, unzerstörbaren Tinte zu signieren, die beim Kopieren, Mischen und sogar beim „Lernen" durch andere Modelle überlebt, alles ohne die Qualität des Textes zu beeinträchtigen.

Technische Zusammenfassung: TextSeal

Problemstellung

Der schnelle Einsatz von Large Language Models (LLMs) in Produktionssystemen erfordert zuverlässige Mechanismen für die Inhaltsprovenienz. Wasserzeichen zielen darauf ab, ein für das menschliche Auge nicht wahrnehmbares, algorithmisch detektierbares Signal in generierten Text einzubetten, um KI-Ursprünge zu identifizieren, aufkommenden Vorschriften (z. B. dem EU-KI-Gesetz) zu entsprechen und unbefugte Nutzungen wie Modell-Distillation oder Selbsttraining auf synthetischen Daten zu verhindern.

Bestehende State-of-the-Art-Methoden stehen vor einem kritischen Zielkonflikt zwischen Detektierbarkeit und Vielfalt. Während verzerrungsfreie Methoden wie Gumbel-max-Sampling die ursprüngliche Ausgabeverteilung des Modells bewahren (was sicherstellt, dass keine Qualitätsverschlechterung eintritt), sind sie vollständig deterministisch: Ein fester Prompt und ein geheimer Schlüssel liefern immer dieselbe Ausgabe. Dies eliminiert die Generierungsvielfalt, führt zu repetitiven Schleifen und einer schlechten Benutzererfahrung. Umgekehrt kompromittieren Methoden, die Zufälligkeit einführen, um die Vielfalt wiederherzustellen, oft die statistische Stärke des Wasserzeichens oder führen zu Verzerrungen (Verzerrung der Ausgabeverteilung). Darüber hinaus haben bestehende Detektoren Schwierigkeiten mit Verdünnung und scheitern daran, wasserzeichenversehene Inhalte zu identifizieren, wenn diese mit großen Mengen menschlich geschriebenen Textes gemischt oder über ein Dokument hinweg fragmentiert sind.

Methodik: TextSeal

TextSeal ist ein verzerrungsfreies, nicht-deterministisches Wasserzeichen-Schema, das auf dem Gumbel-max-Framework aufbaut. Es führt drei technische Kerninnovationen ein, um die Einschränkungen des bisherigen Standes der Technik zu adressieren:

1. Dual-Key-Generierung für Vielfalt

Um die Determiniertheit des Standard-Gumbel-max zu überwinden, setzt TextSeal Dual-Key-Routing ein.

Mechanismus: In jedem Generierungsschritt wählt das System zufällig einen von zwei geheimen Schlüsseln, $k^{(1)}$ oder $k^{(2)}$ , mit den Wahrscheinlichkeiten $1-\alpha$ bzw. $\alpha$ . Das Token wird mittels des Gumbel-max-Tricks unter Verwendung des PRF-Werts (Pseudo-Random Function) ausgewählt, der aus dem gewählten Schlüssel abgeleitet wird.
Auswirkung: Dies stellt die Ausgabevielfalt wieder her (bricht deterministische Schleifen) und bewahrt gleichzeitig die Eigenschaft der Verzerrungsfreiheit.
Optimierung: Die Routing-Wahrscheinlichkeit $\alpha$ kann dynamisch an die Akzeptanzraten des spekulativen Decodierens angepasst werden (z. B. in Multi-Token-Prediction-Szenarien), was die Kompatibilität mit Serving-Optimierungen ohne zusätzliche Inferenz-Latenz sicherstellt.

2. Entropie-gewichtete Detektion

Standard-Detektionsscores behandeln alle Token gleich, doch das Wasserzeichen-Signal ist in Regionen niedriger Entropie inhärent schwächer (wo das Modell hochzuversichtlich ist und das Top-Token unabhängig vom PRF dominiert).

Mechanismus: TextSeal gewichtet den Detektionsscore jedes Tokens mit seiner lokalen Entropie, die über ein leichtgewichtiges Proxy-Modell geschätzt wird. Positionen mit hoher Entropie, in denen das Wasserzeichen mehr Einfluss hat, tragen stärker zur endgültigen Statistik bei.
Statistische Kalibrierung: Die gewichtete Summe der Scores folgt einer Hypoexponentialverteilung. Um kalibrierte p-Werte effizient zu berechnen, verwendet TextSeal eine momentangepasste Gamma-Näherung, die die Heterogenität der Gewichte und die Varianz des Dual-Key-Routings handhabt.

3. Lokalisierte Multi-Region-Detektion

Globale Detektoren versagen, wenn wasserzeichenversehener Text nur einen kleinen Bruchteil eines langen Dokuments ausmacht (Verdünnung) oder über nicht-kontinuierliche Segmente verstreut ist (Fragmentierung).

Mechanismus: TextSeal employs eine geometrische Cover-Suche, um wasserzeichenversehene Segmente zu identifizieren. Anstatt alle möglichen Intervalle zu testen ( $O(n^2)$ ), sucht es in einem dyadischen Gitter von Fensterlängen ( $L, 2L, 4L, \dots$ ).
Extraktion: Ein gieriger Algorithmus extrahiert disjunkte Intervalle mit den niedrigsten p-Werten, fasst diese zusammen und wendet rigorose Bonferroni-Korrekturen an, um die Fehlerrate auf Familienebene zu kontrollieren.
Adaptives Ensemble: Das System wählt adaptiv das signifikanteste Ergebnis aus drei Strategien aus: einem globalen Volltext-Test, einem einzelnen besten Fenster oder einer Multi-Region-Aggregation. Dies gewährleistet Robustheit, unabhängig davon, ob der Text rein wasserzeichenversehen oder stark gemischt ist.

Hauptbeiträge

State-of-the-Art-Zielkonflikt: TextSeal dominiert die Pareto-Grenze zwischen Vielfalt und Detektierbarkeit strikt und übertrifft SynthID-text sowie Standard-Gumbel-max. Es erreicht eine hohe Detektierbarkeit bei gleichzeitiger Wiederherstellung einer Vielfalt, die mit der nicht-wasserzeichenversehenen Generierung vergleichbar ist.
Robustheit gegenüber Verdünnung: Durch lokalisierte Detektion behält TextSeal eine sichere Detektion bei, selbst wenn wasserzeichenversehener Inhalt um den Faktor 10 verdünnt oder in mehrere kleine Regionen innerhalb langer Dokumente fragmentiert ist, wo globale Baselines versagen.
Kein Inferenz-Overhead: Das Schema fügt einen vernachlässigbaren Sampling-Overhead hinzu ( $\le 0,3\%$ ) und ist vollständig kompatibel mit spekulativem Decodieren und Multi-Token-Prediction (MTP), ohne Änderungen an Modellparametern oder KV-Cache zu erfordern.
Radioaktivität durch Distillation: TextSeal zeigt, dass sein Wasserzeichen-Signal „radioaktiv" ist. Wenn ein Schülermodell aus wasserzeichenversehenen Lehrer-Ausgaben distilliert wird, erbt das Schülermodell einen detektierbaren Token-Bias, was die Erkennung unbefugter Distillation auch ohne Zugriff auf den ursprünglichen Generierungskontext ermöglicht.
Erhaltung der Fähigkeiten: Umfassende Evaluierungen über 12 Benchmarks (Mathematik, Code, Schlussfolgern, Wissen) und mehrsprachige menschliche Evaluierungen bestätigen, dass TextSeal die Leistung downstreamer Modelle erhält und keine wahrnehmbare Qualitätsverschlechterung einführt.

Experimentelle Ergebnisse

Detektierbarkeit vs. Vielfalt: Bei Evaluierungen auf dem ELI5-Datensatz erreicht TextSeal (mit $\alpha=0,1$ ) signifikant niedrigere p-Werte (höhere Detektierbarkeit) als SynthID und Gumbel-max bei äquivalenten Self-BLEU-Vielfaltsscores.
Verdünnungsresistenz: Das adaptive Ensemble von TextSeal behält eine starke Detektion ( $-\log_{10} p > 4$ ) bei, selbst wenn 400 Token wasserzeichenversehenen Textes in 12.000 Token nicht-wasserzeichenversehenen Textes eingebettet sind (3,3 % wasserzeichenversehener Anteil). Globale Baselines fallen bereits bei deutlich geringeren Verdünnungsniveaus unter die Signifikanzschwellen.
Leistungserhaltung: Auf Benchmarks einschließlich AIME, MATH, GSM8K und HumanEval zeigt TextSeal im Vergleich zur Vanilla-Generierung keinen statistisch signifikanten Leistungsabfall. Geringe Schwankungen, die in Code-Benchmarks beobachtet wurden, wurden auf Formatierungsrauschen statt auf eine Verschlechterung des Schlussfolgerns zurückgeführt.
Menschliche Wahrnehmung: Eine mehrsprachige menschliche Evaluation (6.000 A/B-Vergleiche über 5 Sprachen hinweg) ergab keinen wahrnehmbaren Qualitätsunterschied. Äquivalenztests (TOST) bestätigten, dass der Präferenzunterschied zwischen wasserzeichenversehenen und nicht-wasserzeichenversehenen Ausgaben innerhalb von $\pm 5\%$ begrenzt ist.
Distillations-Transfer: In Distillationsexperimenten (DeepSeek-R1 zu Qwen2.5-3B) übertrugen wasserzeichenversehene Spuren das Signal erfolgreich auf das Schülermodell. TextSeal erzielte im ursprünglichen Setup das stärkste Detektionssignal aufgrund einer höheren Datenerhaltung, während Gumbel-max unter kontrolliertem Datenvolumen ein stärkeres Signal pro Token zeigte.

Bedeutung und Behauptungen

Die Arbeit positioniert TextSeal als praktische, einsatzbereite Lösung für LLM-Wasserzeichen. Ihre primäre Bedeutung liegt in der Auflösung der langjährigen Spannung zwischen Vielfalt und Detektierbarkeit, ohne Verzerrungsfreiheit zu opfern.

Die Autoren behaupten, dass TextSeal einen „radioaktiven" Schutz gegen unbefugte Modell-Distillation bietet, ein kritisches Anliegen, da Open-Weight-Modelle zunehmend auf synthetischen Daten trainiert werden. Durch die Ermöglichung der Detektion wasserzeichenversehener Spuren in Schülermodellen bietet TextSeal einen Mechanismus zur Überwachung der Modellnutzung und zum Schutz des geistigen Eigentums.

Die Arbeit bleibt hinsichtlich der Einschränkungen bescheiden: Sie erkennt an, dass das Wasserzeichen zwar für einzelne Generierungen verzerrungsfrei ist, die Reduktion der Vielfalt (durch den Dual-Key-Mechanismus) jedoch Workflows beeinträchtigen kann, die auf vielfältige Ausgaben angewiesen sind (z. B. Best-of-N-Reranking). Sie weist jedoch darauf hin, dass moderne Schlussfolgerungsmodelle oft eine natürliche Entropie-Kollaps aufweisen, was diesen marginalen Verlust möglicherweise mildert. Die Arbeit etabliert eine neue Benchmark für Wasserzeichen, die theoretisch fundiert, empirisch robust und mit moderner Inferenz-Infrastruktur kompatibel ist.