💬 NLP

Majority Bit-Aware Watermarking For Large Language Models

Dieser Beitrag stellt „Majority Bit-Aware Watermarking" vor, ein neuartiges Kodierungsparadigma mit zwei Ausprägungen (MajorMark und MajorMark $^{+}$ ), das den Trade-off zwischen Textqualität und Decodiergenauigkeit beim LLM-Watermarking auflöst, indem es auch bei großen grünen Listen starke Watermark-Signale erhält.

Ursprüngliche Autoren: Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Large Language Models (LLMs) als unglaublich talentierte Köche vor, die fast jedes Gericht (Text) zubereiten können, das Sie von ihnen verlangen. Das Problem ist, dass manchmal böswillige Akteure diese Köche nutzen, um „vergiftete" Mahlzeiten zu kochen – Fake News, Betrug oder schädliche Inhalte. Um sie zu fangen, benötigen wir eine Möglichkeit, das Essen zu kennzeichnen, damit wir genau wissen, welcher Koch es zubereitet hat. Diese Kennzeichnung wird als Wasserzeichen bezeichnet.

Allerdings gibt es einen Haken. In der Vergangenheit war das Anbringen eines Wasserzeichens auf einem Text wie das Aufdrücken eines schweren, sperrigen Stempels auf ein zartes Stück Papier. Je sichtbarer der Stempel war (um ihn später leicht zu finden), desto mehr zerstörte er die Textur des Papiers (die Qualität des Schreibens). War der Stempel zu klein, um das Papier zu ruinieren, war er zu undeutlich, um gefunden zu werden.

Dieser Artikel stellt eine neue Methode zur Wasserzeichen-Erstellung für Texte vor, die MajorMark und MajorMark+ genannt wird. Sie löst das Problem „Qualität versus Nachweisbarkeit" mit einem klugen Trick, der Mehrheitsregeln und Shards (Abschnitte) verwendet.

Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

1. Der alte Weg: Das Problem der „kleinen grünen Liste"

Stellen Sie sich den Wortschatz der KI (alle Wörter, die sie verwenden kann) als eine riesige Tüte mit Murmeln vor.

Die alte Methode: Um eine geheime Nachricht zu verstecken, wurde die KI gezwungen, ihr nächstes Wort nur aus einer sehr kleinen Handvoll „grüner" Murmeln (vielleicht 25 % der Tüte) auszuwählen. Sie ignorierte den Rest.
Der Kompromiss: War die grüne Liste zu klein, wurde die KI gezwungen, seltsame, unnatürliche Wörter zu wählen, nur um die Regel einzuhalten, wodurch die Geschichte roboterhaft klang. War die grüne Liste groß (um die Geschichte natürlich klingen zu lassen), wurde die geheime Nachricht so undeutlich, dass sie später unmöglich zu finden war.

2. Die neue Idee: Die „Majority Bit"-Strategie

Die Autoren erkannten, dass sie die KI nicht auf eine winzige Liste einschränken mussten. Stattdessen nutzten sie ein Abstimmungssystem.

Stellen Sie sich vor, die geheime Nachricht ist eine lange Kette aus Nullen und Einsen (wie 110111).

Der Trick: Das System betrachtet die Nachricht und fragt: „Welche Zahl kommt häufiger vor?" In 110111 ist die Zahl 1 das „Majority Bit" (Mehrheitsbit).
Die grüne Liste: Anstatt eine winzige Liste auszuwählen, darf die KI aus jedem Wort wählen, das einer „1" in der Nachricht entspricht. Da die „1" die Mehrheit ist, ist diese grüne Liste riesig (mindestens 50 % aller Wörter!).
Das Ergebnis: Da die KI so viele natürlich klingende Wörter zur Auswahl hat, klingt der Text perfekt. Aber da die KI immer noch leicht zu den „1"-Wörtern hingelenkt wird, ist die geheime Nachricht immer noch vorhanden, nur in dem statistischen Muster versteckt, welche Wörter gewählt wurden.

3. MajorMark: Der „Cluster-Detektiv"

MajorMark nutzt diese Mehrheitsstrategie.

Kodierung: Die KI schreibt den Text und lenkt ihn leicht zu Wörtern hin, die dem Mehrheitsbit der geheimen Nachricht entsprechen.
Dekodierung: Um die Nachricht zurückzulesen, betrachtet ein Detektiv (der Decoder) den Text und zählt, wie oft Wörter aus verschiedenen „Gruppen" (Shards) erschienen sind.
Die Analogie: Stellen Sie sich vor, die Wörter sind in zwei Behälter sortiert. Wenn die geheime Nachricht eine „1" war, enthält der Behälter für „1" leicht mehr Murmeln als der Behälter für „0". Der Decoder verwendet ein einfaches Clustering-Tool (wie das Sortieren von Murmeln nach Farbe), um zu sehen, welcher Behälter schwerer ist. Wenn ein Behälter eindeutig schwerer ist, weiß er, dass die geheime Nachricht eine „1" war.

4. MajorMark+: Das „Block-für-Block"-Upgrade

Was ist, wenn die geheime Nachricht super lang ist? Das „Majority Bit" ist vielleicht nicht mehr so offensichtlich, was das Signal schwächt.

Die Lösung: MajorMark+ schneidet die lange Nachricht in kleinere Blöcke (wie das Schneiden eines langen Seils in kürzere Segmente).
Funktionsweise: Es wendet die „Majority Bit"-Regel auf jeden einzelnen kleinen Block unabhängig an.
Der Vorteil: Dies hält die „grüne Liste" für jeden einzelnen Block groß und stellt sicher, dass der Text auch bei sehr langen Nachrichten eine hohe Qualität behält. Es verwendet zudem eine präzisere „Zähl"-Methode, um die Nachricht zu finden, was es schwieriger macht, sie zu übersehen.

Warum dies wichtig ist (laut dem Artikel)

Die Autoren testeten dies an führenden KI-Modellen und stellten fest:

Bessere Qualität: Der wasserzeichenversehene Text klingt viel natürlicher (niedrigere „Perplexität") als bei früheren Methoden, da die KI nicht gezwungen wird, aus einer winzigen, einschränkenden Liste zu wählen.
Bessere Erkennung: Obwohl der Text natürlich klingt, ist die geheime Nachricht tatsächlich einfacher zu finden und genauer zu decodieren als mit älteren Methoden.
Robustheit: Selbst wenn jemand versucht, den Text zu bearbeiten (wie das Ausschneiden und Einfügen von Teilen oder das Umformulieren von Sätzen), überlebt das Wasserzeichen in der Regel, da die statistische „Schwere" der Mehrheitsbits weiterhin nachweisbar bleibt.

Zusammenfassend: Der Artikel schlägt eine neue Methode vor, um KI-Texte zu kennzeichnen, die verhindert, dass die KI zwischen dem menschlichen Klingen und der Rückverfolgbarkeit wählen muss. Indem sie ein „Mehrheitsabstimmungssystem" verwenden, um zu bestimmen, welche Wörter eine kleine Aufwertung erhalten, ermöglichen sie der KI, natürlich zu schreiben, während gleichzeitig eine starke, wiederherstellbare geheime Nachricht eingebettet wird.

Technische Zusammenfassung: Mehrheits-bitbewusste Wasserzeichen für Large Language Models

Problemstellung

Die weit verbreitete Bereitstellung von Large Language Models (LLMs) hat erhebliche Sicherheits- und ethische Herausforderungen mit sich gebracht, darunter die Erzeugung schädlicher oder täuschender Inhalte. Obwohl Wasserzeichentechniken vorgeschlagen wurden, um die Herkunft generierter Texte nachzuverfolgen, stehen bestehende Mehrbit-Wasserzeichenverfahren vor einem fundamentalen Zielkonflikt zwischen Textqualität und Decodiergenauigkeit.

Aktuelle auf Perturbation basierende Methoden (z. B. MPAC, RSBH) verlassen sich zum Decodieren eingebetteter Nachrichten auf die Zählung der Häufigkeit von Tokens, die in eine „grüne Liste" (eine Teilmenge des Vokabulars) fallen. Um ein starkes Wasserzeichensignal für eine genaue Decodierung zu gewährleisten, beschränken diese Methoden typischerweise die Größe der grünen Liste (Verhältnis der grünen Liste $\gamma$ ). Ein kleineres $\gamma$ zwingt das Modell jedoch, aus einer engeren Auswahl kontextuell geeigneter Tokens zu wählen, was die Flüssigkeit und Qualität des generierten Textes verschlechtert. Umgekehrt schwächt eine Erhöhung von $\gamma$ zum Erhalt der Textqualität das Wasserzeichensignal und verringert die Decodiergenauigkeit. Das Papier identifiziert diesen empirischen Zielkonflikt als kritischen Engpass im aktuellen Mehrbit-Wasserzeichenbereich.

Methodik

Die Autoren schlagen ein neues Kodierungsparadigma namens Mehrheits-bitbewusste Kodierung vor, das die Stärke des Wasserzeichensignals von den strengen Beschränkungen der Größe der grünen Liste entkoppelt.

Kernkonzept: Mehrheits-bitbewusste Kodierung

Anstatt spezifische Nachrichtebits auf spezifische Token-Teilmengen abzubilden, nutzt die Methode die statistische Eigenschaft des Mehrheitsbits ( $\lambda$ ) der Nachricht.

Vokabular-Partitionierung: Das Vokabular $V$ wird in $b$ disjunkte Scherben (Shards) partitioniert, wobei jede Scherbe einer bestimmten Bitposition in der $b$ -Bit-Nachricht entspricht.
Aufbau der grünen Liste: Die grüne Liste $G$ wird als Vereinigung aller Scherben konstruiert, die dem Mehrheitsbit der Nachricht entsprechen. Ist das Mehrheitsbit 1, enthält $G$ alle Scherben für Bits, bei denen $m_i=1$ gilt; ist es 0, enthält sie alle Scherben, bei denen $m_i=0$ gilt.
Erhaltung des Signals: Da das Mehrheitsbit mindestens $\lceil b/2 \rceil$ Mal vorkommt, garantiert diese Strategie ein Verhältnis der grünen Liste von $\gamma \ge 0.5$ . Dies ermöglicht eine große grüne Liste (Erhalt der Textqualität), während gleichzeitig ein starkes, detektierbares Signal aufrechterhalten wird, da sich das Decodierziel von der Zählung der Tokenhäufigkeiten auf die Inferenz verschiebt, welche spezifischen Scherben verstärkt wurden.

Vorgeschlagene Methoden

Die Autoren setzen dieses Paradigma in zwei Methoden um:

MajorMark:
- Kodierung: Wendet mehrheits-bitbewusste Kodierung direkt auf die gesamte $b$ -Bit-Nachricht an. Theoretische Analysen zeigen, dass das erwartete Verhältnis der grünen Liste $E_m[\gamma] \approx 0.5 + 1/\sqrt{2\pi b}$ beträgt.
- Decodierung: Verwendet einen clusteringbasierten Decoder. Er rekonstruiert die Token-zu-Scherbe-Zuordnung für jedes Token und aggregiert scherbenspezifische Tokenzählungen. Ein Clustering-Algorithmus (z. B. K-Means) partitioniert die Scherben basierend auf ihrer Auftretenshäufigkeit in zwei Gruppen. Die Gruppe mit der höheren durchschnittlichen Zählung entspricht dem Mehrheitsbit und ermöglicht die Wiederherstellung der gesamten Nachricht.
- Hash-Funktion: Um wiederholte grüne Listen durch häufige Wörter zu verhindern, integriert der Hash-Samen die beiden vorherigen Tokens ( $x_{t-1}, x_{t-2}$ ) und das Mehrheitsbit $\lambda$ .
MajorMark+:
- Optimierung: Entwickelt, um die Leistung bei längeren Nachrichten zu verbessern, bei denen der Gewinn an $\gamma$ durch MajorMark mit $b \to \infty$ abnimmt.
- Blockweise Kodierung: Die Nachricht wird in $r$ Blöcke unterteilt. Mehrheits-bitbewusste Kodierung wird unabhängig auf jeden Block angewendet. Dies ergibt ein größeres erwartetes Verhältnis der grünen Liste: $E_m[\gamma] \approx 0.5 + 1/\sqrt{2\pi(b/r)}$ .
- Deterministische Decodierung: Ersetzt den Clustering-Ansatz durch eine deterministische Decodierung. Anstatt sich auf unüberwachtes Clustering zu verlassen, enumeriert der Decoder exhaustiv mögliche Kombinationen des Mehrheitsbits und seiner Auftretenshäufigkeit für jeden Block. Er wählt die Konfiguration aus, die die stärkste Scherbenspezifische Tokenverteilung erzeugt. Dies eliminiert die Empfindlichkeit gegenüber Clustering-Grenzen und verbessert die Genauigkeit, insbesondere bei schwachen Wasserzeichen-Verzerrungen.

Hauptbeiträge

Neue Kodierungsstrategie: Das Papier führt die mehrheits-bitbewusste Kodierung ein, die die Abhängigkeit der Wasserzeichen-Detektierbarkeit von einer kleinen Größe der grünen Liste lockert und den Zielkonflikt zwischen Qualität und Genauigkeit effektiv durchbricht.
Zwei neue Methoden: Die Autoren präsentieren MajorMark und MajorMark+, die beide die neue Kodierungsstrategie nutzen. MajorMark+ adressiert spezifisch die Skalierbarkeit der Methode für lange Nachrichten durch blockweise Verarbeitung und deterministische Decodierung.
Theoretische Garantien: Das Papier liefert theoretische Beweise, die zeigen, dass beide Methoden ein Verhältnis der grünen Liste von $\gamma \ge 0.5$ garantieren, wobei die erwarteten Verhältnisse für endliche Nachrichtenlängen strikt größer als 0,5 sind.
Umfassende Evaluation: Zahlreiche Experimente mit state-of-the-art LLMs (z. B. LLaMA-2, Qwen, Gemma) über verschiedene Aufgaben (Textvollendung, Story-Generierung, Zusammenfassung) und Datensätze (C4, Essays, OpenGen) validieren den Ansatz.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methoden gegen state-of-the-art Baselines (DepthW, CycleShift, MPAC, RSBH) unter Verwendung von Metriken für Bit-Genauigkeit (BA), Perplexität (PPL) (als Proxy für Textqualität) und Top-5-Trefferquote.

Überlegener Zielkonflikt: MajorMark und MajorMark+ erreichten konsistent eine höhere Decodiergenauigkeit und eine niedrigere Perplexität (bessere Textqualität) als bestehende Methoden. Beispielsweise erzielte MajorMark+ bei einer Nachrichtenlänge $b=64$ eine BA von 94,82 % und eine PPL von 6,29 und übertraf damit RSBH (BA 89,74 %, PPL 6,85).
Robustheit: Die Methoden zeigten Robustheit gegen Nachbearbeitungsangriffe, einschließlich Copy-Paste- und Paraphrase-Angriffe. Während alle Methoden unter Paraphrase-Angriffen litten, behielten MajorMark und MajorMark+ im Vergleich zu den Baselines eine wettbewerbsfähige Leistung bei.
Effizienz: Die Decodierkomplexität von MajorMark+ ist linear in der Anzahl der Blöcke ( $b/r - 1$ ), was sie deutlich effizienter macht als Enumerationsmethoden mit exponentieller Laufzeit (wie CycleShift) und schneller als RSBH.
Generalisierung: Die Methoden zeigten eine starke Generalisierung über verschiedene Modellarchitekturen (LLaMA, Qwen, Gemma) und nachgelagerte Aufgaben hinweg.

Bedeutung und Behauptungen

Das Papier behauptet, dass das vorgeschlagene Paradigma der Mehrheits-bitbewussten Kodierung die Umsetzbarkeit von Mehrbit-Wasserzeichen für LLMs grundlegend verbessert. Durch die Verschiebung des Decodierziels von der Zählung der Tokenhäufigkeiten zur Inferenz der Scherbenauswahl ermöglicht die Methode die Verwendung großer grüner Listen ohne Einbußen bei der Decodiergenauigkeit.

Die Autoren betonen, dass ihre Methoden es Dienstleistern ermöglichen, komplexe Metadaten (wie Benutzerkennungen oder Modellversionen) in generierte Texte einzubetten, während eine hohe Textnutzbarkeit erhalten bleibt. Dies schließt eine kritische Lücke in der aktuellen Wasserzeichenforschung, bei der die Erzeugung hochwertiger Texte oft durch die Notwendigkeit starker Wasserzeichensignale beeinträchtigt wurde. Die Arbeit legt nahe, dass MajorMark und MajorMark+ praktische Kandidaten für den realen Einsatz in Szenarien „LLM-as-a-Service" sind und eine ausgewogene Lösung für die Nachverfolgung der Herkunft und die Untersuchung von Missbrauch bieten.