💬 NLP

QuantileMark: A Message-Symmetric Multi-bit Watermark for LLMs

Die Arbeit stellt QuantileMark vor, einen weißen-Kasten-Multi-Bit-Wasserzeichen-Algorithmus für große Sprachmodelle, der durch die Einbettung von Nachrichten in gleich große Wahrscheinlichkeitsintervalle eine nachrichtenunabhängige Textqualität und robuste Detektion gewährleistet.

Ursprüngliche Autoren: Junlin Zhu, Baizhou Huang, Xiaojun Wan

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junlin Zhu, Baizhou Huang, Xiaojun Wan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein Autor, der mit Hilfe eines sehr klugen Roboters (einem KI-Sprachmodell) Geschichten schreibt. Da KI-Texte immer besser und häufiger werden, stellt sich eine wichtige Frage: Wer hat das eigentlich geschrieben? War es ein Mensch oder die KI? Und falls es die KI war: Welches Unternehmen hat sie programmiert und für welchen Benutzer?

Um das herauszufinden, brauchen wir eine unsichtbare Signatur, einen sogenannten Wasserzeichen. Aber nicht irgendeines, sondern eines, das viele Informationen tragen kann (z. B. eine Benutzer-ID, ein Zeitstempel), ohne dass der Text dadurch schlechter klingt.

Das Papier stellt eine neue Methode namens QuantileMark vor. Hier ist die Erklärung, wie das funktioniert, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Die "Ungerechte" Verteilung

Stell dir vor, die KI muss ein Wort auswählen. Sie hat eine Liste von Wörtern, die sie sagen könnte, und jedes Wort hat eine "Wahrscheinlichkeit" (eine Art Glücksrad).

Das Wort "der" hat eine riesige Chance (z. B. 80 %).
Das Wort "Zebra" hat eine winzige Chance (z. B. 0,01 %).

Bisherige Wasserzeichen-Methoden haben versucht, Informationen zu verstecken, indem sie die Wörter in Gruppen einteilten (z. B. Gruppe A, B, C, D).

Das Problem: Wenn die KI gerade das Wort "der" (80 %) auswählen will, aber dein geheimes Geheimnis sagt "Ich gehöre zur Gruppe B", und "der" zufällig in Gruppe A gelandet ist, dann muss die KI gezwungen werden, ein sehr unwahrscheinliches Wort wie "Zebra" zu sagen.
Die Folge: Der Text klingt plötzlich komisch (schlechte Qualität), und wenn das Geheimnis "A" war, ist es super leicht zu erkennen. Wenn es "B" war, ist es schwer. Das ist ungerecht (asymmetrisch). Manche Nachrichten kosten mehr "Qualität" als andere.

2. Die Lösung: QuantileMark – Der "Gerechte Kuchen"

QuantileMark macht das anders. Statt die Wörter selbst zu sortieren, schaut es sich den gesamten Wahrscheinlichkeits-Kuchen an.

Stell dir vor, du hast einen Kuchen, der genau 100 % groß ist (die Summe aller Wahrscheinlichkeiten).

Der Trick: QuantileMark schneidet diesen Kuchen in M gleich große Stücke (z. B. 4 Stücke zu je 25 %).
Es ist egal, welche Wörter in welchem Stück liegen. Wichtig ist nur, dass jedes Stück genau die gleiche Menge "Kuchen" (Wahrscheinlichkeit) hat.

Wie wird das Geheimnis versteckt?
Wenn die KI ein Wort auswählen soll, sagt ihr das Geheimnis: "Du musst aus dem 2. Stück des Kuchens wählen."

Die KI sucht sich dann ein Wort aus, das in diesem 2. Stück liegt.
Das Geniale: Da jedes Stück genau gleich groß ist (25 %), hat jedes Geheimnis genau die gleiche Chance, gewählt zu werden.
Das Ergebnis: Es spielt keine Rolle, welches Geheimnis du versteckst. Der Text klingt immer natürlich, und die KI muss nie gezwungen werden, ein "Zebra" zu sagen, nur weil das Geheimnis "B" ist. Die Qualität bleibt immer gleich hoch.

3. Wie liest man das wieder? (Der Detektiv)

Der Empfänger (der Detektor) kennt den Kuchen und weiß, wie er geschnitten wurde.

Wenn er den Text sieht, schaut er: "Welches Stück des Kuchens hat das gewählte Wort belegt?"
Da die Stücke gleich groß sind, kann er sehr genau berechnen, welches Geheimnis wahrscheinlich war.
Er sammelt diese winzigen Hinweise über den ganzen Text hinweg (wie viele Puzzleteile) und setzt sie zusammen, bis das Geheimnis klar ist.

4. Warum ist das besser als die alten Methoden?

Fairness: Bei alten Methoden hing die Textqualität davon ab, welches Geheimnis man versteckte. Bei QuantileMark ist es für alle Geheimnisse gleich gut.
Robustheit: Selbst wenn jemand versucht, den Text zu ändern (Synonyme austauschen, Wörter löschen), bleibt das Muster der "Kuchenstücke" oft noch erkennbar, weil es auf der mathematischen Struktur der KI basiert und nicht auf einzelnen Wörtern.
Kein Qualitätsverlust: Da die KI nicht gezwungen wird, unwahrscheinliche Wörter zu sagen, bleibt der Text flüssig und natürlich.

Zusammenfassung in einem Satz

QuantileMark ist wie ein fauler Kellner, der jedem Gast (jeder Nachricht) genau die gleiche Portion Essen (Wahrscheinlichkeit) serviert, egal was der Gast bestellt, damit niemand merkt, dass es ein geheimes Menü gibt, und das Essen trotzdem immer schmeckt.

Warum ist das wichtig?
Es hilft Unternehmen, ihre KI-Inhalte sicher zu kennzeichnen, ohne dass die Nutzer schlechtere Texte erhalten oder dass manche Benutzer "bessere" Texte bekommen als andere. Es ist ein Schritt hin zu einer fairen und sicheren Nutzung von KI.

1. Problemstellung und Motivation

Mit der zunehmenden Verbreitung von Large Language Models (LLMs) für die Inhaltserstellung wird die Nachverfolgbarkeit (Provenance) von Texten zu einer kritischen Anforderung. Während frühe Wasserzeichen-Methoden oft nur ein binäres Signal („vorhanden/nicht vorhanden", Zero-Bit) lieferten, benötigen reale Anwendungen Multi-Bit-Wasserzeichen, um Metadaten wie Benutzer-IDs, Modellversionen oder Zeitstempel zu kodieren.

Das zentrale Problem, das dieses Paper adressiert, ist die Nachrichtensymmetrie (Message Symmetry) in Multi-Bit-Szenarien, insbesondere bei Low-Entropy-Verteilungen (d.h. wenn das Modell sehr selbstbewusste Vorhersagen trifft).

Das Problem der Asymmetrie: Herkömmliche Methoden basieren oft auf einer Partitionierung des Vokabulars (Vocabulary Partitioning). Dabei werden dem Vokabular $M$ $M$ disjunkte Mengen zugeordnet, um $M$ $M$ verschiedene Symbole zu kodieren.
- In Low-Entropy-Situationen (z. B. wenn ein Token eine Wahrscheinlichkeit von 0,8 hat) führt dies zu einer massiven Asymmetrie: Ein Symbol, das zufällig das hochwahrscheinliche Token erhält, kann „kostenlos" eingebettet werden (hohe Qualität, starke Signatur).
- Andere Symbole werden jedoch gezwungen, auf unwahrscheinliche „Tail-Tokens" auszuweichen. Dies verschlechtert die Textqualität drastisch und liefert dem Detektor nur schwache statistische Beweise.
Folge: Die Qualität der Generierung und die Zuverlässigkeit der Erkennung hängen systematisch von der eingebetteten Nachricht ab. Dies verletzt das Prinzip der Fairness und erschwert die robuste Erkennung.

2. Methodik: QuantileMark

Die Autoren schlagen QuantileMark vor, ein White-Box-Multi-Bit-Wasserzeichen-Verfahren, das die Einbettung nicht im diskreten Vokabularraum, sondern im kontinuierlichen Raum der kumulativen Wahrscheinlichkeitsverteilung (CDF) durchführt.

Kernkonzept: Gleichgewichtige Quantil-Partitionierung

Anstatt das Vokabular zu teilen, teilt QuantileMark das Intervall $[0, 1)$ der kumulativen Wahrscheinlichkeit in $M$ gleich große Bins (Klassen) auf, wobei jeder Bin exakt die gleiche Wahrscheinlichkeitsmasse $1/M$ hat.

Einbettung (Embedding):
- Für ein Ziel-Symbol $s_t$ wird mittels eines geheimen Schlüssels $K$ und eines Permutationsmechanismus $\phi_t$ ein Ziel-Bin $B_{r^*}$ bestimmt.
- Statt global zu sampeln, zieht das Modell einen Zufallswert $u$ strikt innerhalb dieses Ziel-Bins ( $u \sim U(B_{r^*})$ ).
- Das Ausgabe-Token ist dasjenige, dessen Intervall in der CDF diesen Wert $u$ enthält.
- Ergebnis: Jedes Symbol erhält unabhängig vom Kontext und der Entropie exakt das gleiche Wahrscheinlichkeitsbudget ( $1/M$ ). Dies erzwingt strukturell die Nachrichtensymmetrie.
Detektion (Detection):
- Der Detektor (White-Box) rekonstruiert die ursprüngliche CDF-Geometrie des Modells für den gegebenen Kontext.
- Er berechnet die Posterior-Wahrscheinlichkeit, dass das beobachtete Token aus einem bestimmten Bin stammt, basierend auf der Überlappungsmasse (Overlap Mass) zwischen dem Token-Intervall und den Bins.
- Die Beweiskraft wird als Log Posterior Odds (LPO) aggregiert, um die wahrscheinlichste Nachricht zu decodieren.

Theoretische Fundierung: Nachrichteneinseitigkeit (Message-Unbiasedness)

Das Paper definiert und beweist die Eigenschaft der Message-Unbiasedness: Wenn über alle möglichen Nachrichten gemittelt wird, entspricht die resultierende Verteilung der ursprünglichen Basisverteilung des Modells ( $p_0$ ).

Dies garantiert, dass das Wasserzeichen im Durchschnitt keine Verzerrung der Textqualität verursacht, auch wenn einzelne Nachrichten (in Low-Entropy-Fällen) zu Abweichungen führen können.
Die gleichmäßige Massenverteilung sorgt zudem dafür, dass die Beweiskraft für die Erkennung über alle Nachrichten hinweg konsistent ist.

3. Wichtige Beiträge

QuantileMark Framework: Einführung eines White-Box-Multi-Bit-Wasserzeichens, das auf der kontinuierlichen Quantil-Partitionierung basiert und damit die strukturelle Asymmetrie der Vokabular-Partitionierung eliminiert.
Theoretische Garantie: Formale Definition und Beweis der Message-Unbiasedness, die sicherstellt, dass die Basisverteilung im Mittel erhalten bleibt.
Robuste Detektion: Entwicklung eines Detektors, der die rekonstruierte Quantil-Geometrie nutzt, um weiche Beweise (Posteriors) zu aggregieren, was eine höhere Stabilität bei der Nachrichtenwiederherstellung ermöglicht.
Empirische Validierung: Umfassende Experimente, die zeigen, dass QuantileMark sowohl die Wiederherstellungsrate als auch die Detektionsrobustheit gegenüber bestehenden Baselines (MPAC, StealthInk) verbessert, ohne die Generierungsqualität zu beeinträchtigen.

4. Ergebnisse

Die Evaluation erfolgte auf zwei Datensätzen: C4 (offene Textvervollständigung) und LFQA (lange Fragenbeantwortung), unter Verwendung von Llama-2-7B und Llama-3.1-8B-Instruct.

Nachrichtenwiederherstellung (Bit Accuracy): QuantileMark erreicht eine Bit-Accuracy von 98,93 % auf C4 und 95,00 % auf LFQA (bei 24-Bit-Nachrichten). Dies ist signifikant höher als bei MPAC (97,02 %) und StealthInk (90,03 %).
Detektionsleistung (AUC & TPR): Das System zeigt eine nahezu perfekte Trennschärfe (AUC > 0,999) und eine hohe True-Positive-Rate bei 1 % False-Positive-Rate (TPR@1%FPR $\approx$ 1,0).
Generierungsqualität (Perplexity): Im Gegensatz zu MPAC, das durch Verzerrungen zu einer höheren Perplexität (schlechtere Qualität) führt, bleibt die Perplexität von QuantileMark nahe am unmarkierten Basiswert (z. B. 7,404 vs. 7,684 auf C4). Dies bestätigt die theoretische Unverzerrtheit.
Robustheit: QuantileMark ist robust gegen Copy-Paste-Mischungen und Synonym-Ersetzungen. Wie bei anderen Multi-Bit-Verfahren leiden die Ergebnisse jedoch unter starken Paraphrasierungen und Löschungen, da diese die Synchronisation der Positionen und die Kontextrekonstruktion stören.
Skalierbarkeit: Das Verfahren skaliert gut auf längere Nachrichten, wobei die Bit-Accuracy bei sehr langen Nachrichten (mehr Symbole) leicht abnimmt, die Detektions-AUC jedoch stabil bleibt.

5. Bedeutung und Fazit

QuantileMark stellt einen Paradigmenwechsel in der Wasserzeichen-Technologie für LLMs dar.

Lösung des Symmetrie-Problems: Es löst das fundamentale Problem der Nachrichtenabhängigkeit bei Multi-Bit-Wasserzeichen, indem es die Einbettung auf die kontinuierliche Wahrscheinlichkeitsverteilung verlagert. Dies ist besonders wichtig für den Einsatz in Providern, wo eine konsistente Dienstqualität für alle Nutzer (unabhängig von deren ID) gewährleistet sein muss.
White-Box-Vorteil: Das Verfahren nutzt den White-Box-Zugriff (Verfügbarkeit der Logits) im Detektor optimal aus, um eine stärkere und stabilere Signatur zu erzeugen, ohne auf Black-Box-Stealth (Verdecktheit) angewiesen zu sein, was in internen Bereitstellungen oft unnötig ist.
Praktische Anwendbarkeit: Da die Methode die Textqualität kaum beeinträchtigt und eine sehr hohe Zuverlässigkeit bei der Identifizierung von Inhalten bietet, ist sie ein vielversprechender Kandidat für die Implementierung von Provenance-Systemen in kommerziellen LLM-Plattformen, um Urheberrechte zu schützen, Missbrauch zu bekämpfen und die Transparenz von KI-generierten Inhalten zu erhöhen.

Zusammenfassend bietet QuantileMark eine theoretisch fundierte und empirisch überlegene Lösung für die Herausforderung, Multi-Bit-Metadaten in LLM-Ausgaben einzubetten, ohne die Qualität oder Fairness der Generierung zu opfern.