🤖 machine learning

Watermark Forensics for Generative Models: An Information-Theoretic Perspective

Diese Arbeit etabliert einen fundamentalen informationstheoretischen Rahmen für Wasserzeichen generativer Modelle und beweist, dass eine statistisch verzerrungsfreie Multi-User-Attribution sowie Payload-Extraktion Stichprobenlängen erfordern, die proportional zur Entropie des Geheimnisses dividiert durch die Entropierate der Quelle sind, während sie gleichzeitig inhärente Trade-offs zwischen Detektion, Attribution und Lokalisierung aufzeigt.

Ursprüngliche Autoren: Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen magischen Brunnen, der Geschichten, Bilder oder Lieder ausspuckt. Stellen Sie sich nun vor, der Besitzer des Brunnens möchte wissen: „Hat ein Mensch das geschrieben oder eine Maschine?“ Noch besser: Er möchte wissen: „Welcher spezifische Mensch hat die Maschine dazu gebracht, dies zu schreiben?“ Und noch besser: „Können wir die geheime Botschaft finden, die der Mensch darin versteckt hat?“

Dieses Paper behandelt diese Fragen wie eine forensische Leiter. Man kann die Leiter Stufe für Stufe hinaufsteigen, aber hier ist der Clou: Jeder Schritt nach oben kostet mehr „Token“ (die kleinen Bausteine von Text oder Bildern). Je höher man klettern möchte, desto länger muss die Geschichte sein.

Das Magische Kontobuch: Das „Informationsprofil“

Die Autoren haben entdeckt, dass all diese forensischen Fragen eigentlich nur unterschiedliche Arten sind, eine einzige, unsichtbare Karte zu lesen, die das Informationsprofil genannt wird.

Denken Sie an das Geheimnis (wie etwa den Namen eines Benutzers oder eine versteckte Nachricht) wie einen schweren Rucksack. Das „Informationsprofil“ ist eine Karte, die genau zeigt, wo dieser Rucksack innerhalb der Geschichte platziert wurde.

Die Masse: Wie viel des Rucksacks ist vorhanden? (Dies bezahlt für Attribution und Extraktion).
Die Form: Wo sitzt der Rucksack? Ist er über die gesamte Geschichte verteilt oder in nur wenigen Stellen versteckt? (Dies bezahlt für Lokalisierung).

Das Paper argumentiert, dass man die Mathematik nicht austricksen kann. Die Menge an Information, die die Maschine im Moment der Erstellung tatsächlich in die Geschichte steckt, ist die einzige Währung, die man besitzt. Man kann nicht mehr ausgeben, als man eingezahlt hat.

Die Leiter der Fragen

Stufe 0: Detektion (Ist es KI?)

Die Frage: „Ist diese Geschichte maschinengemacht?“
Die Kosten: Dies ist die günstigste Stufe. Es kostet nur ein winziges bisschen „Verzerrung“ (die Geschichte etwas anders zu machen als ein natürliches Werk).
Der Haken: Nur weil man detektieren kann, dass es KI ist, bedeutet das nicht, dass man auch weiß, wer sie erstellt hat. Das Paper beweist, dass es ein „blinden Fleck“-Fenster gibt: Eine Geschichte kann laut genug sein, um zu schreien: „Ich bin KI!“, aber dennoch zu kurz sein, um zu flüstern: „Ich wurde von Nutzer #42 gemacht.“

Stufe 1: Attribution (Wer hat es gemacht?)

Die Frage: „Welcher der $N$ Nutzer hat dies generiert?“
Die Kosten: Dies wird sehr schnell teuer. Um einen Nutzer aus einer Menge von $N$ zu identifizieren, muss die Geschichte etwa $\log N$ Token lang sein.
Die Überraschung: Das Paper fand eine „Falle“ in der Art und Weise, wie Menschen normalerweise zählen. Wenn man nur nach Schlüsseln sucht, die perfekt mit dem Text übereinstimmen, benötigt man eventuell 1,6-mal mehr Token als nötig (speziell das Verhältnis der Entropierate der Quelle $h$ zu ihrer Rényi-2-Rate $r_2$ ). Die Autoren zeigen einen klügeren Weg des Zählens auf, der diesen zusätzlichen 60%-igen Kostenaufwand spart.

Stufe 2: Extraktion (Was ist das Geheimnis?)

Die Frage: „Was ist die versteckte Nachricht?“
Die Kosten: Ähnlich wie bei der Attribution. Wenn man eine Nachricht von $\ell$ Bits verstecken möchte, braucht man eine Geschichte, die lang genug ist, um dieses Gewicht zu tragen.

Stufe 3: Lokalisierung (Wo ist die Markierung?)

Die Frage: „Welcher spezifische Teil der Geschichte hält das Geheimnis?“
Die Kosten: Dies ist der schwierigste Teil. Das Paper beweist eine strikte Regel: Man kann keine winzige, versteckte Markierung haben, die das Zuschneiden (Cropping) übersteht.
Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Geheimnis in einem einzigen Sandkorn an einem Strand zu verstecken. Wenn jemand ein Stück vom Strand herausschneidet (Cropping), nimmt er vielleicht Ihr Sandkorn mit und lässt den Rest zurück. Um jedes Zuschneiden zu überstehen, muss Ihr Geheimnis über den gesamten Strand verteilt sein. Wenn Sie einen Punkt genau lokalisieren wollen, muss die Markierung überall sein. Man kann nicht gleichzeitig einen kleinen Fußabdruck und eine feine Auflösung haben.

Die zwei Arten von Wasserzeichen

Das Paper sortiert Wasserzeichen in zwei Lager ein, die wie zwei verschiedene Arten funktionieren, diesen Rucksack zu tragen:

Das „Biasing“-Wasserzeichen (Die dünne Verteilung):
- Wie es funktioniert: Es flüstert ein winziges Geheimnis in jeden einzelnen Token der Geschichte hinein. Es ist überall dezent präsent.
- Die Kosten: Da das Geheimnis so dünn ist, benötigen Sie eine sehr lange Geschichte, um es klar genug zu hören, um den Nutzer zu identifizieren. Die Kosten sind daran gebunden, wie viel Verzerrung Sie zulassen.
- Echtwelt-Beispiele: Die meisten aktuellen Text-Wasserzeichen (wie die „Green-List“-Methode) sind so aufgebaut. Sie sind überall, brauchen aber lange Texte, um für die Attribution zu funktionieren.
Das „Embedding“-Wasserzeichen (Der laute Stempel):
- Wie es funktioniert: Es schreit das Geheimnis laut heraus, aber nur an ein paar spezifischen Stellen (wie den ersten paar Worten).
- Die Kosten: Das ist günstig! Man kann den Nutzer mit einem sehr kurzen Text identifizieren, weil das Geheimnis laut und deutlich ist.
- Der Haken: Es ist fragil. Wenn jemand den Text bearbeitet oder das Bild zuschneidet, ist das Geheimnis weg.
- Echtwelt-Beispiele: Das Paper fand heraus, dass fast kein echtes Wasserzeichen diesen „kleinen Fußabdruck“-Trick effektiv nutzt. Die meisten „Embedding“-Wasserzeichen (wie die für Bilder) verteilen das Geheimnis tatsächlich über das gesamte Bild, um die Bearbeitung zu überstehen, was sie im Grunde zu „Biasing“-Wasserzeichen macht.

Was das Paper ausschließt

Das „Wundermittel“: Das Paper sagt explizit, dass man nicht gleichzeitig ein Wasserzeichen haben kann, das winzig (kleiner Fußabdruck), unsichtbar (verzerrungsfrei) und editierungsrobust (crop-robust) ist. Die Mathematik verbietet es. Wenn man die Bearbeitung überstehen will, muss die Markierung groß sein.
Das „Gratis-Geschenk“: Man kann Attribution (die Identifizierung des Nutzers) nicht umsonst bekommen. Es kostet immer mehr Token als die einfache Detektion. Es gibt eine garantierte Lücke, in der ein Text zwar als KI detektierbar ist, aber noch nicht einem spezifischen Nutzer zugeordnet werden kann.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich bezüglich der Mathematik. Sie haben die Kosten der „Leiter“ unter Verwendung strenger Informationstheorie bewiesen (ähn-lich wie der Beweis eines Naturgesetzes).

Bewiesen: Die Kosten für Detektion, Attribution und das „Unschärfeprinzip“ zwischen Fußabdruck und Lokalisierung sind mathematisch bewiesen.
Simuliert: Sie haben diese Theorien an realen KI-Modellen (GPT-2, Pythia, Qwen2.5) getestet und fanden, dass die Zahlen perfekt übereinstimmen. Beispielsweise bestätigten sie die „1,6-fache Aufpreis“-Falle in echten Sprachmodellen.
Offene Frage: Sie geben zu, dass sie zwar die Mathematik für „perfekt ausgerichteten“ Text bewiesen haben, aber noch nicht vollständig gelöst haben, wie dies funktioniert, wenn der Text bearbeitet wird (z. B. wenn jemand einen Satz löscht). Dieser Teil ist noch ein Mysterium, an dem sie weiterarbeiten.

Das Fazst

Wasserzeichen sind keine magischen Aufkleber, die man einfach irgendwo hinkleben kann. Sie sind ein Kompromiss.

Wollen Sie wissen, ob es KI ist? Einfach, kurzer Text.
Wollen Sie wissen, wer es gemacht hat? Sie brauchen einen längeren Text.
Wollen Sie wissen, wo die Markierung ist? Dann muss die Markierung überall sein, sonst verschwindet sie, wenn der Text beschnitten wird.

Das Paper liefert uns die exakte Preisliste für diese Geheimnisse und zeigt auf, dass man in der Welt der KI nicht alles haben kann, ohne die „Token-Steuer“ zu zahlen.

Technisches Resümee: Wasserzeichen-Forensik für generative Modelle: Eine informationstheoretische Perspektive

Problemstellung
Die Arbeit adressiert die forensischen Fähigkeiten von Wasserzeichen in generativen Modellen und bewegt sich über die binäre Frage „Ist dieser Inhalt maschinengeneriert?“ (Detektion) hinaus zu einer Hierarchie komplexerer Aufgaben: Attribution (Identifizierung, welcher von $N$ Nutzern den Inhalt generiert hat), Extraktion (Wiederherstellung einer verborgenen Nutzlast) und Lokalisierung (Identifizierung der spezifischen Region im Inhalt, die das Wasserzeichen trägt). Die Autoren argumentieren, dass die bestehende Literatur diese als disparate Probleme mit Ad-hoc-Lösungen behandelt und dabei oft den Mechanismus der Einbettung (z. B. das „Einbetten“ eines Musters vs. das „Verzerren“ einer Verteilung) mit den fundamentalen informationstheoretischen Grenzen dessen verwechselt, was extrahierbar ist. Die zentrale Frage lautet: Welche Stichprobenkomplexität (Länge $n$ ) ist für jede forensische Aufgabe erforderlich, und wie stehen diese Kosten in Beziehung zu den Qualitätsbeschränkungen des Wasserzeichens (Fidelity, Verzerrungsbudget oder Entropie)?

Methodik und Framework
Die Autoren führen ein vereinheitlichtes Framework ein, das um ein einzelnes Objekt organisiert ist: das Informationsprofil $\nu(t)$ .

Definition: $\nu(t) := I(S; X_t | X_{<t})$ , wobei $S$ das Geheimnis (Nutzeridentität oder Nutzlast) ist, $X$ der generierte Träger (Token-Sequenz) und $X_{<t}$ die vorangegangenen Token darstellen. Dies misst die Information über $S$ , die durch das $t$ -te Token unter Berücksichtigung der Vergangenheit preisgegeben wird.
Die forensische Leiter: Das Papier modelliert forensische Aufgaben als eine Leiter statistischer Probleme:
- Level 0 (Detektion): Ist das Markenzeichen vorhanden? (Mechanismus-blinder Basistest).
- Level 1 (Attribution): Welcher von $N$ Nutzern?
- Level 2 (Extraktion): Was ist die $\ell$ -Bit-Nutzlast?
- Level 3 (Lokalisierung): Wo befindet sich das Wasserzeichen? (Robust gegenüber Cropping/Zuschneiden).
Qualitätsmodelle: Das Framework vereinheitlicht zwei in der Literatur vorkommende Qualitätsmodelle als „Norm-Obergrenzen“ auf demselben Profil $\nu$ $ν$ :
1. Begrenzte Verzerrung (Biasing) $B(\Delta)$ : Das Wasserzeichen ist auf jedem Token subtil und erzwingt eine $L_\infty$ -Obergrenze ( $\nu(t) \le \Delta$ ). Beispiele sind Green-list-Wasserzeichen.
2. Footprint (Embedding) $E(m)$ : Das Wasserzeichen ist auf eine kleine Menge von Positionen konzentriert (Footprint $T$ mit $|T| \le m$ ) und erzwingt eine $L_0$ -Obergrenze ( $\nu(t) = 0$ für $t \notin T$ ). Beispiele sind Tree-Ring.
Das Forensic-Recovery-Budget: Durch die Datenverarbeitungsschranke (Data Processing Inequality) ist die gesamte extrahierbare Information durch die Masse des Profils begrenzt: $\Phi(n) = \|\nu\|_1 = I(S; X)$ . Dieses Budget finanziert sowohl Attribution als auch Extraktion.

Wesentliche Beiträge und Ergebnisse

Schließung der Entropie-Spalte (Attribution in verzerrungsfreien Regimen):
- Das Papier etabliert das erste enge Stichprobenkomplexitätsgesetz für Multi-User-Attribution in statistisch verzerrungsfreien Schemata (in denen die schlüsselgemittelte Ausgabe ununterscheidbar von der natürlichen Verteilung ist).
- Ergebnis: Für eine stationär-ergodische Quelle mit Entropierate $h$ kostet die Attribution eines Texten zu einem von $N$ Nutzern $n_{att} = \Theta(\log N / h)$ Token.
- Mechanismus: Die Autoren schlagen einen Surprisal-Threshold-Decoder vor. Im Gegensatz zu naiven „Konsistenz“-Decodern, die passende Schlüssel zählen (welche der „Collision Trap“ erleiden und $n \approx \log N / r_2$ erfordern, wobei $r_2$ die Rényi-2-Rate ist), akzeptiert der Surprisal-Decoder einen Schlüssel nur dann, wenn die realisierte Surprisal $-\log p_{nat}(X)$ einen Schwellenwert $\tau = \log(N/\delta)$ überschreitet. Dies erreicht die Shannon-Rate $h$ mit einer exakten, nicht- asymptotischen pro-unschuldiger Falsch-Positiv-Garantie ( $\delta/N$ ).
- Bedeutung: Dies löst die Lücke zwischen der Converse (Fano-Schranke) und der Erreichbarkeit auf, indem es zeigt, dass die Shannon-Entropierate und nicht die Kollisionsrate die Entscheidungskomplexität bestimmt.
Der forensische Gap (Detektion vs. Attribution):
- Das Papier beweist, dass Detektion und Attribution fundamental unterschiedliche Kosten haben. Detektion ist ein fester Zwei-Punkt-Test, der $\Theta(1/\Delta)$ kostet (oder $\Theta(\lambda/h)$ für verzerrungsfreie Fälle), unabhängig von $N$ . Attribution erfordert die Extraktion von $\log N$ Nats an Identität.
- Ergebnis: Es existiert ein „forensischer Gap“-Fenster, in dem ein Text detektierbar (Fehler $\to 0$ ) aber nicht attribuierbar (Fehler $\to 1$ ) ist. Speziell für Biasing-Schemata erfordert Attribution $n \approx \log N / \Delta$ , während die Detektion viel früher sättigt.
- Implikation: Ein Text kann als maschinengeneriert bewiesen werden, ohne einem spezifischen Nutzer zugeordnet werden zu können.
Entkopplung via Footprint (Die zwei Qualitätsmodelle):
- Das Papier formalisiert die Unterscheidung zwischen „Biasing“- (Full Support) und „Embedding“-Schemata (kleiner Footprint).
- Ergebnis:
  - Biasing ( $B(\Delta)$ ): Die Attribution kostet $\Theta(\log N / \Delta)$ . Die Kosten sind an das Verzerrungsbudget gekoppelt; macht man das Markenzeichen unauffälliger ( $\Delta \to 0$ ), wird die Attribution unendlich teuer.
  - Embedding ( $E(m)$ ): Die Attribution kostet $\Theta(\log N / \log q)$ , unabhängig von einer pro-Token-Verzerrungsobergrenze. Unauffälligkeit wird durch einen verschwindenden Footprint ( $m/n \to 0$ ) erreicht, nicht durch subtile pro-Token-Verzerrung.
- Limitierung: Das Papier stellt fest, dass obwohl die informationstheoretische Entkopplung existiert, der einzige bekannte Zeuge (ein „Digit Stamp“) nicht edit-robust ist. Deploybare Schemata, die lokalisieren (z. B. SEAL, EditGuard), werden als Full-Support (Biasing) identifiziert, erreichen Lokalisierung jedoch über feingliedrige Auslesung, nicht über kleine Footprints.
Lokalisierung und die Unschärferelation:
- Das Papier leitet eine Footprint-Resolution-Unschärferelation für Crop-robuste Lokalisierung ab.
- Ergebnis: Um ein Markenzeichen robust auf ein Fenster der Größe $w$ gegen Cropping zu lokalisieren, muss der Carrier-Footprint die Bedingung $|R| \cdot w = \Omega(n)$ erfüllen.
- Implikation: Ein Small-Footprint-Embedding-Schema ( $m = o(n)$ ) kann nicht crop-robust bei feiner Auflösung sein. Eine Lokalisierung mit feiner Auflösung erzwingt, dass das Markenzeichen einen Full-Support (Biasing) hat, was kleine Footprint-Schemata für robuste Lokalisierungsaufgaben faktisch ausschließt.
Empirische Validierung:
- Die Autoren validieren den „Collision Trap“ auf realen Sprachmodellen (GPT-2, Pythia-410M, Qwen2.5). Sie messen das Verhältnis $h/r_2 \approx 1.6$ über verschiedene Modelle hinweg und bestätigen damit, dass naive Konsistenz-basierte Decoder um diesen Faktor teurer sind als der optimale Surprisal-Threshold-Decoder.
- Experimente mit dem Green-list-Wasserzeichen bestätigen den forensischen Gap: Die Detektion sättigt bei $\approx 28$ Token, während die Attributionsgenauigkeit signifikant hinterherhinkt und linear mit $\log N$ wächst.

Bedeutung und Behauptungen
Das Papier behauptet, die ersten engen, zweiseitigen informationstheoretischen Gesetze für die Stichprobenkomplexität von Attribution und Extraktion in generativen Modellen geliefert zu haben.

Vereinheitlichung: Es vereint disparate forensische Aufgaben (Detektion, Attribution, Extraktion, Lokalisierung) und Qualitätsmodelle (Biasing vs. Embedding) unter einem einzigen Maß: dem Informationsprofil $\nu(t)$ .
Regulatorische Auswirkungen: Die Autoren argumenten, dass aktuelle Regulierungen (z. B. EU AI Act) oft ein „extrahierbares Objekt“ voraussetzen (Embedding-Ontologie). Die Ergebnisse des Papers zeigen, dass solche Mandate für Biasing-Wasserzeichen (die dominante Klasse in der Praxis) mit einem divergierenden Stichprobenkosten-Aufwand ( $\Theta(\log N / \Delta)$ ) einhergehen, wenn das Markenzeichen unauffälliger wird, während Embedding-Schemata einen festen Kostenaufwand bieten, aber derzeit durch Robustheitsbeschränkungen limitiert sind.
Offene Probleme: Das Papier identifiziert das Fehlen eines verzerrungsfreien, edit-robusten Attributionsschemas als das schärfste offene Problem. Während die theoretische Rate $\Theta(\log N / h)$ geschlossen ist, ist der existierende Zeuge (exakte Ausrichtung) nicht edit-robust. Es bleibt offen, ob ein edit-robuster Decoder diese Rate erreichen kann oder ob er gezwungen ist, zurück zum höheren Rényi-2-Kostenaufwand zu fallen.

Zusammenfassend postuliert das Papier, dass die forensische Kraft eines Wasserzeichens nicht durch die Mechanik seiner Einbettung bestimmt wird, sondern durch die Information, die es extrahierbar macht (das Profil $\nu$ ) und die Geometrie seines Footprints. Die „Preise“ für forensische Aufgaben werden strikt durch diese informationstheoretischen Größen geregelt.