🤖 AI

ArcMark: Distortion-Free Multi-Byte LLM Watermark via Optimal Transport

Dieser Beitrag stellt ArcMark vor, ein neuartiges verzerrungsfreies Mehrbyte-Wasserzeichen-Framework für große Sprachmodelle, das Prinzipien des optimalen Transports und informationstheoretischer Kanalcodierung nutzt, um zuverlässig erhebliche Informationen in Text einzubetten, ohne die Ausgabeverteilung oder -qualität des Modells zu verändern.

Ursprüngliche Autoren: Atefeh Gilani, Sajani Vithana, Carol Xuan Long, Oliver Kosut, Lalitha Sankar, Flavio P. Calmon

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Atefeh Gilani, Sajani Vithana, Carol Xuan Long, Oliver Kosut, Lalitha Sankar, Flavio P. Calmon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, kreativen Schriftsteller (ein Large Language Model oder LLM), der Geschichten, Code oder E-Mails schreiben kann. Sie möchten wissen, ob ein bestimmter Text von dieser KI stammt, und falls ja, möchten Sie exakt wissen, wer ihn angefordert hat, welche Version der KI ihn geschrieben hat oder sogar, was der ursprüngliche Prompt war.

Hier kommt ArcMark ins Spiel. Es ist eine neue „unsichtbare Tinte" für KI-Texte.

Hier ist die einfache Aufschlüsselung dessen, was die Studie behauptet, unter Verwendung alltäglicher Analogien:

1. Das Problem: Die „Ein-Bit"-Taschenlampe

Frühere Methoden zum Wasserzeichen von KI-Texten waren wie die Verwendung einer Taschenlampe, die nur einmal blinken konnte (ein „Zero-Bit"- oder „One-Bit"-Signal).

Was sie tat: Sie konnte Ihnen sagen: „Ja, das wurde von einer KI geschrieben" oder „Nein, das war es nicht."
Die Einschränkung: Sie konnte Ihnen nicht sagen, wer es geschrieben hat oder worüber sie geschrieben haben. Es war wie ein Lichtblitz in der Dunkelheit zu sehen, ohne zu wissen, wer es eingeschaltet hat.
Der alte Weg: Um mehr Informationen zu senden, versuchten alte Methoden, den Text leicht zu verändern, indem sie hier und da ein Wort änderten. Dies ließ die Schrift manchmal etwas roboterhaft oder unnatürlich klingen (Verzerrung).

2. Die Lösung: Die „Unsichtbare Postkarte" (ArcMark)

Die Forscher haben ArcMark entwickelt, was wie eine unsichtbare Postkarte ist, die im Text versteckt ist.

Die Magie: Es kann mehrere Bytes an Informationen (wie eine ganze ID-Nummer oder eine kurze Nachricht) in nur wenigen hundert Wörtern Text verstecken.
Das „Keine Verzerrung"-Versprechen: Die wichtigste Behauptung ist, dass diese unsichtbare Tinte die Qualität des Schreibens nicht verändert. Wenn Sie den Text lesen, klingt er genau so natürlich, als hätte die KI ihn ohne versteckte Nachricht geschrieben. Die Studie behauptet, der Text sei „verzerrungsfrei", was bedeutet, dass der natürliche Fluss der KI nicht unterbrochen wird.

3. Wie es funktioniert: Das „Kreis-Spiel"

Die Studie verwendet einige schwere Mathematik, aber hier ist die einfache Version ihres Tricks:

Der Kreis: Stellen Sie sich die Liste der möglichen Wörter der KI (ihr Vokabular) in einem riesigen Kreis angeordnet vor.
Das Ziel: Das System wählt eine bestimmte Stelle auf diesem Kreis aus, um einen Teil der geheimen Nachricht darzustellen.
Das Mischen: Die KI und der Decoder (die Person, die auf die Nachricht prüft) teilen sich einen geheimen „Misch"-Schlüssel. Dieser Schlüssel dreht den Kreis so, dass nur sie wissen, wo sich der geheime Punkt befindet.
Die Auswahl: Die KI wird gebeten, ein Wort zu wählen. Anstatt das absolut beste Wort zu wählen, wählt sie ein Wort, das nahe am geheimen Punkt auf dem Kreis liegt.
- Analogie: Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie eine Frucht aus einem Korb auswählen müssen. Die Regel lautet: „Wählen Sie eine Frucht, die nahe am roten Punkt auf dem Tisch liegt, aber stellen Sie sicher, dass der Korb immer noch wie ein normaler Fruchtkorb aussieht." Die KI wählt eine Frucht, die beide Regeln erfüllt.
Die Mathematik: Die Studie verwendet ein Konzept namens „Optimaler Transport", um dies zu lösen. Stellen Sie es sich wie einen super-effizienten Lieferfahrer vor, der die „besten" Früchte zum „roten Punkt" bewegt, ohne den Korb leer oder unordentlich aussehen zu lassen.

4. Warum es besser ist: Das „Teamwork" vs. „Solo-Akt"

Alte Methoden: Versuchten, ein winziges Bit Information in jedes einzelne Wort zu verstecken. Wenn Sie ein Wort vermasselten, verloren Sie dieses Bit. Es war wie der Versuch, eine Nachricht zu senden, indem man einen Buchstaben nach dem anderen flüsterte; wenn der Wind wehte, verloren Sie den Buchstaben.
ArcMark: Behandelt den gesamten Absatz als ein einziges Puzzle. Es verwendet einen „linearen Code" (eine ausgefallene Art, ein Teamwork zu sagen). Selbst wenn ein Angreifer einige Wörter ändert (wie das Umformulieren eines Satzes), kann der Decoder die gesamte Nachricht immer noch herausfinden, da er das Muster der gesamten Sequenz betrachtet und nicht nur einzelne Wörter.

5. Die Ergebnisse: Was die Studie fand

Die Autoren testeten ArcMark auf beliebten KI-Modellen (wie Llama3, Mistral und Qwen) und stellten fest:

Genauigkeit: Es kann erfolgreich 1, 2, 3 oder sogar 4 Bytes Daten (was für Text viel ist) mit sehr hoher Genauigkeit verstecken und wiederherstellen.
Tarnung: Der Text klingt genauso gut wie normaler KI-Text. Tests, die die „Perplexität" messen (ein Score dafür, wie verwirrend oder unnatürlich ein Text klingt), zeigten keinen Unterschied zwischen wasserzeichenversehenem und nicht wasserzeichenversehenem Text.
Robustheit: Selbst wenn jemand versucht, den Text zu „paraphrasieren" (ins Französische zu übersetzen und zurück ins Englische oder Sätze umzuschreiben), übersteht ArcMark dies viel besser als frühere Methoden.
Kapazität: Die Studie beweist mathematisch, dass ArcMark sehr nahe an der theoretischen Obergrenze liegt, wie viel Information man in KI-Text verstecken kann, ohne ihn zu ruinieren.

Zusammenfassung

ArcMark ist eine neue, hocheffiziente Methode, um KI-Texte mit einer versteckten, mehrbyteigen ID-Karte zu stempeln. Dies geschieht, ohne dass der Text seltsam klingt, und es ist intelligent genug, um Versuche zu überstehen, den Text umzuschreiben oder zu bearbeiten. Es verwandelt das Problem des „Versteckens einer Nachricht in KI" von einem Ratespiel in eine präzise, mathematische Wissenschaft.

Technische Zusammenfassung: ArcMark

Problemstellung

Der Artikel behandelt die Herausforderung des Multi-Bit-Watermarkings für Large Language Models (LLMs). Während bestehende Methoden in der Lage sind, ein einzelnes Bit einzubetten (Zero-Bit-Watermarking), um KI-generierte Texte zu erkennen, oder mehrere Bits durch Erweiterung von Zero-Bit-Prinzipien einzubetten (z. B. ein Bit pro Token), sind diese Ansätze in ihrer Kapazität begrenzt. Aktuelle Methoden haben Schwierigkeiten, zuverlässig mehr als ein paar Bits in Sequenzen von hunderten Token einzubetten.

Die Autoren identifizieren eine kritische Lücke: Praktische Anwendungen (wie das Einbetten von Benutzer-IDs, Modellversionen oder dem Prompt selbst) erfordern die Fähigkeit, mehrere Bytes an Informationen einzubetten. Darüber hinaus ist ein „Goldstandard" für LLM-Watermarking eine verzerrungsfreie Einbettung, bei der der Watermarking-Prozess die durchschnittlichen Next-Token-Vorhersagen des LLM nicht verändert, wodurch Textqualität und Perplexität erhalten bleiben. Der Artikel stellt zwei zentrale Fragen:

Was ist das theoretische Limit (Kapazität) an Informationen, die in LLM-Ausgaben eingebettet werden können, ohne Next-Token-Vorhersagen zu verzerren?
Kann ein praktisches Schema dieses Limit annähern, um eine zuverlässige Multi-Byte-Einbettung zu erreichen?

Methodik: ArcMark

Die Autoren stellen ArcMark vor, eine Watermarking-Konstruktion, die auf Kodierungstheorie und optimaler Transporttheorie basiert. Die zentrale Erkenntnis besteht darin, Multi-Bit-Watermarking nicht als Folge unabhängiger Token-Entscheidungen neu zu definieren, sondern als Kanalcodierungsproblem mit Seiteninformationen, die sowohl am Encoder (Watermarker) als auch am Decoder verfügbar sind.

1. Informationstheoretische Formulierung

Die Autoren modellieren das LLM als einen rauschbehafteten Kanal, wobei das „Rauschen" die inhärente Zufälligkeit der Next-Token-Verteilung ( $Q_{X_t}$ ) ist. Sie leiten die Shannon-Kapazität für verzerrungsfreies Multi-Bit-Watermarking ab.

Verzerrungsfreie Einschränkung: Die Randverteilung der gewasserten Token muss im Erwartungswert über die geteilten Seiteninformationen der ursprünglichen LLM-Verteilung entsprechen: $E_{S_t}[Q_{X_t|S_t, M=m}] = Q_{X_t}$ .
Kapazitätsableitung: Unter der Annahme, dass Next-Token-Verteilungen unabhängige und identisch verteilte (i.i.d.) Zufallsvariablen sind, wird die Kapazität als die maximale gegenseitige Information $I(W; X)$ zwischen der kodierten Nachricht $W$ und der Ausgabe $X$ definiert, unterliegt der verzerrungsfreien Einschränkung.
Theoretisches Limit: Für eine spezifische Klasse binärer Token-Verteilungen wird die Kapazität auf ungefähr 0,2787 Bits/Token abgeleitet, wenn die Vokabulargröße gegen unendlich strebt.

2. Die ArcMark-Konstruktion

ArcMark erreicht eine zuverlässige Einbettung, indem es das Problem auf einen geometrischen Raum abbildet und ein Optimierungsproblem löst:

Geometrische Darstellung: Das Token-Vokabular, die Symbole der Nachrichtencodewörter und die geteilten Zufallsschlüssel werden alle auf Punkte auf einem Einheitskreis (Winkel) abgebildet.
- Token werden auf $2\pi i / N$ abgebildet.
- Nachrichtensymbole werden auf $2\pi c / p$ abgebildet.
- Seiteninformationen (zufällige Verschiebung) werden auf $2\pi v / r$ abgebildet.
Kodierung (Lineare Kodierung): Die $k$ -Bit-Nachricht wird unter Verwendung eines zufälligen linearen Codes über ganzen Zahlen modulo $p$ auf ein Codewortsymbol $C_m(t)$ abgebildet. Dieses Symbol wird mit einer geteilten zufälligen Verschiebung $V_t$ kombiniert, um einen Zielwinkel $z_t$ auf dem Kreis zu erzeugen.
Einbettung (Optimaler Transport): Um die Nachricht ohne Verzerrung der LLM-Ausgabeverteilung einzubetten, muss der Watermarker ein Token $X_t$ $X_{t}$ auswählen, das dem Zielwinkel $z_t$ $z_{t}$ „nahe" ist, während die verzerrungsfreie Einschränkung erfüllt wird. Dies wird als Optimaler Transport (OT)-Problem formuliert.
- Der Watermarker löst nach einer bedingten Verteilung $Q^*_{X_t|Z_t}$ , die den erwarteten Winkelabstand zwischen dem ausgewählten Token und dem Zielwinkel minimiert, unter der Einschränkung, dass die Randverteilung der ursprünglichen LLM-Verteilung entspricht.
- Dies wird effizient unter Verwendung des Sinkhorn-Algorithmus gelöst.
Decodierung: Der Decoder beobachtet die Token-Sequenz und die geteilten Seiteninformationen. Er schätzt die übertragenen Winkel, entfernt die gemeinsame Zufälligkeit, um Codewortsymbole wiederherzustellen, und führt eine Decodierung mit minimalem Abstand über alle möglichen Nachrichten durch, um die vollständige Nachricht wiederherzustellen.

Hauptbeiträge

ArcMark-Algorithmus: Ein neues verzerrungsfreies Multi-Bit-Watermarking-Schema, das in der Lage ist, mehrere Bytes an Informationen in ein paar hundert Token einzubetten.
Charakterisierung der Kapazität: Eine formale Ableitung der Shannon-Kapazität für verzerrungsfreies Multi-Bit-LLM-Watermarking, wobei das Problem als Kanalcodierung mit Seiteninformationen neu gefasst wird.
Theoretische Optimalität: Ein Beweis, dass ArcMark unter spezifischen vereinfachenden Annahmen (binäre Token-Verteilungen) die abgeleitete Shannon-Kapazität erreicht.
Empirische Validierung: Umfassende Evaluierung, die zeigt, dass ArcMark bestehende Multi-Bit-Methoden (insbesondere BiMark und MPAC) in Bezug auf Nachrichtenakkuratesse und Robustheit übertrifft, während verzerrungsfreie Eigenschaften erhalten bleiben.

Experimentelle Ergebnisse

Die Autoren evaluierten ArcMark an drei Open-Weight-Modellen (Llama3-8B, Mistral-7B, Qwen3-8B) unter Verwendung des C4-RealNewslike-Datensatzes.

Nachrichtenakkuratesse: ArcMark übertrifft BiMark signifikant bei der Wiederherstellung der gesamten Nachricht (Nachrichtenakkuratesse), insbesondere für größere Nutzlasten (2, 3 und 4 Bytes). Während Bit-Akkuratesse wichtig ist, betont der Artikel die Nachrichtenakkuratesse als operative Metrik und stellt fest, dass ein einziger Bitfehler die gesamte Nachricht (z. B. eine Benutzer-ID) falsch macht.
Robustheit: ArcMark zeigt eine überlegene Robustheit gegen Paraphrasierungsangriffe (insbesondere französische Rückübersetzung). Selbst bei hohen Angriffsquoten (30 % der Sätze paraphrasiert) behält ArcMark eine höhere Nachrichtenakkuratesse bei als unangegriffenes BiMark.
Verzerrungsfreie Eigenschaften:
- Perplexität: Die Perplexität von ArcMark ist nahezu identisch mit der nicht gewasserten Baseline und näher als bei BiMark, was die Erhaltung der LLM-Ausgabeverteilung bestätigt.
- Downstream-Nützlichkeit: Bei extraktiver Beantwortung von Fragen (SQuAD), Code-Vervollständigung in langem Kontext (LCC) und funktionaler Code-Korrektheit (HumanEval) zeigt ArcMark im Vergleich zur ungewasserten Baseline keine nennenswerte Verschlechterung.
Zero-Bit-Erkennung: ArcMark unterstützt die Zero-Bit-Erkennung (Bestimmung, ob Text gewassert ist) mit hoher Genauigkeit und erreicht ab 150 Token nahezu perfekte Erkennungsraten.

Bedeutung und Behauptungen

Der Artikel behauptet, Multi-Bit-Watermarking von einem heuristischen Problem zu einem Kanalcodierungsproblem mit Seiteninformationen neu zu definieren, einer Formulierung, die auf Claude Shannon zurückgeht. Durch den Perspektivenwechsel auf Kapazität und Code-Design argumentieren die Autoren, dass die Informationstheorie sowohl eine mathematische Grundlage zum Verständnis der Grenzen von LLM-Watermarks als auch einen konstruktiven Weg zu deren Design bietet.

Die Bedeutung von ArcMark liegt in seiner Fähigkeit, Bytes (nicht nur Bits) an Informationen zuverlässig und ohne Verzerrung der Textqualität einzubetten. Dies ermöglicht praktische Anwendungen wie die Verfolgung von Benutzer-Prompts, Modellversionen und spezifischen Modellinstanzen, die für Rechenschaftspflicht und regulatorische Compliance entscheidend sind. Die Autoren weisen darauf hin, dass durch die Optimierung auf Nachrichten-Ebene-Akkuratesse statt auf Bit-Ebene-Akkuratesse das Risiko falscher Zuordnungen reduziert wird.

Der Artikel schließt damit, dass ihre Kapazitätsanalyse zwar auf spezifischen Verteilungsannahmen beruht, das Framework jedoch den Weg für breitere theoretische Charakterisierungen und die Entwicklung von Watermarks mit höheren Wiederherstellungsraten und stärkeren Robustheitsgarantien ebnet.