💻 computer science

PASA: A Principled Embedding-Space Watermarking Approach for LLM-Generated Text under Semantic-Invariant Attacks

Das Papier stellt PASA vor, einen prinzipienbasierten Wasserzeichenalgorithmus, der Wasserzeichen auf semantischer Ebene innerhalb eines latenten Einbettungsraums einbettet und detektiert, wodurch Robustheit gegenüber semantisch-invarianten Angriffen wie Paraphrasierung erreicht wird, während gleichzeitig eine hohe Textqualität und optimale Kompromisse zwischen Detektionsgenauigkeit, Robustheit und Verzerrung gewahrt bleiben.

Ursprüngliche Autoren: Zhenxin Ai, Haiyun He

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenxin Ai, Haiyun He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten Roboterschreiber (ein Large Language Model, oder LLM), der Geschichten, E-Mails und Artikel verfassen kann, die fast exakt so klingen, als wären sie von einem Menschen geschrieben worden. Das Problem ist: Wie erkennen Sie, ob ein Textstück von diesem Roboter oder von einer echten Person stammt? Und was, wenn jemand versucht, das System zu täuschen, indem er den Text des Roboters nimmt und umschreibt, damit er anders aussieht?

Diese Arbeit stellt eine neue Methode namens PASA vor, um dieses Problem zu lösen. Denken Sie daran wie an ein hochtechnisches, unsichtbares Wasserzeichensystem, das unglaublich schwer zu entfernen ist.

So funktioniert es, unter Verwendung einiger einfacher Analogien:

1. Das Problem: Der „Paraphrasier"-Dieb

Die meisten aktuellen Wasserzeichensysteme sind wie das Aufdrucken eines geheimen Codes direkt auf einzelne Wörter.

Der alte Weg: Stellen Sie sich vor, der Roboter schreibt: „Die Katze saß auf dem Teppich." Das Wasserzeichen ist in den spezifischen Wörtern „Katze", „saß" und „Teppich" versteckt.
Der Angriff: Ein böswilliger Akteur (oder ein cleveres Bearbeitungstool) kommt vorbei und schreibt den Satz um zu: „Das Feline ruhte auf dem Teppich."
Das Versagen: Da sich die spezifischen Wörter geändert haben, geraten die alten Wasserzeichendetektoren in Verwirrung. Sie können das „Katze" oder „saß" nicht mehr finden, also glauben sie, der Text sei von einem Menschen geschrieben. Das Wasserzeichen wurde durch die Änderung des Wortschatzes weggespült.

2. Die Lösung: PASA (Der „Themen"-Tracker)

PASA ändert das Spiel. Anstatt das Geheimnis in den Wörtern zu verstecken, versteckt es das Geheimnis in der Bedeutung (dem „Thema" oder der „Ausstrahlung" des Satzes).

Die semantische Karte: Stellen Sie sich vor, das Gehirn des Roboters hat eine riesige Karte, auf der alle Wörter nach ihrer Bedeutung gruppiert sind, nicht danach, wie sie aussehen.
- Gruppe A: „Katze", „Feline", „Kätzchen", „Mieze".
- Gruppe B: „Sitzen", „Ruhen", „Lümmeln", „Postieren".
- Gruppe C: „Teppich", „Teppichboden", „Teppich", „Boden".
Der geheime Schlüssel: Der Roboter und der Detektor teilen sich einen geheimen Schlüssel (wie ein Passwort). Dieser Schlüssel sagt ihnen, welche „Gruppe" sie für das nächste Wort auswählen sollen.
Der Prozess:
1. Der Roboter schaut auf den geheimen Schlüssel und entscheidet: „Okay, für dieses nächste Wort muss ich etwas aus Gruppe A auswählen."
2. Er wählt „Feline" (was in Gruppe A ist).
3. Der Detektor weiß mit demselben geheimen Schlüssel: „Ah, das nächste Wort sollte aus Gruppe A stammen."
4. Der Detektor sieht „Feline", prüft die Karte und sagt: „Ja! Das passt zu unserem geheimen Plan!"

3. Warum es robust ist (Die „Gestaltwandler"-Verteidigung)

Kommen wir nun zurück zu dem Dieb, der „Die Katze saß auf dem Teppich" in „Das Feline ruhte auf dem Teppich" verwandelt.

Altes System: „Katze" ist weg. „Sitzen" ist weg. „Teppich" ist weg. Das Wasserzeichen ist gebrochen.
PASA-System:
- „Feline" ist immer noch in Gruppe A.
- „Ruhen" ist immer noch in Gruppe B.
- „Teppich" ist immer noch in Gruppe C.
- Obwohl sich die Wörter geändert haben, blieben die Gruppen (die semantischen Cluster) exakt gleich. Der geheime Plan wurde perfekt befolgt. Der Detektor sieht immer noch das Muster und weiß: „Dies wurde vom Roboter geschrieben."

4. Das „verzerrungsfreie" Versprechen

Normalerweise fängt ein Roboter an, seltsame, unnatürliche Sätze zu schreiben, wenn man ihn zwingt, eine geheime Regel zu befolgen (wie ein Roboter, der versucht, wie ein Pirat zu sprechen). Dies wird als „Verzerrung" bezeichnet.

PASA ist besonders, weil es verzerrungsfrei ist.

Die Analogie: Stellen Sie sich einen Koch vor, dem gesagt wird, er dürfe nur Zutaten aus einem bestimmten Korb verwenden. Ein schlechtes System könnte den Koch zwingen, eine seltsame Zutat zu verwenden, nur damit sie in den Korb passt, was den Geschmack ruiniert.
PASA's Trick: Es verwendet eine clevere zweistufige Stichprobenmethode. Es wählt den richtigen Korb (semantische Gruppe) basierend auf dem geheimen Schlüssel, wählt dann aber die Zutat (das spezifische Wort) genau so aus, wie der Koch es normalerweise tun würde.
Das Ergebnis: Der Text klingt zu 100 % natürlich und hochwertig, genau wie die normale Schreibweise des Roboters, aber das geheime Muster ist immer noch da.

5. Die Ergebnisse

Die Arbeit testete dies gegen verschiedene „Angriffe", bei denen Texte umgeschrieben, Synonyme ausgetauscht und Satzstrukturen durcheinandergewürfelt wurden.

Das Ergebnis: PASA blieb stark. Selbst wenn der Text stark umgeschrieben wurde (wie bei der Änderung von „Der Film hat eine interessante Handlung" zu „Der Film bietet eine faszinierende Geschichte"), konnte PASA ihn immer noch erkennen.
Vergleich: Ältere Methoden versagten unter diesen Umschreibungen jämmerlich, aber PASA behielt die Ruhe und bewies, dass es viel sicherer ist, das Wasserzeichen in der Bedeutung zu verstecken als in der Rechtschreibung.

Kurz gesagt: PASA ist eine Möglichkeit, KI-Texte zu wasserzeichen, indem man die Ideen statt der Wörter markiert. Das bedeutet, dass selbst wenn jemand versucht, den Text umzuschreiben, um die Quelle zu verbergen, die geheimen „Ideen-Markierungen" für den Detektor sichtbar bleiben, und das alles, ohne dass der Text roboterhaft oder unnatürlich klingt.

Technische Zusammenfassung: PASA – Ein prinzipieller Ansatz zum Wasserzeichen in Einbettungsräumen unter semantisch-invarianten Angriffen

Problemstellung

Die rasante Entwicklung von Large Language Models (LLMs) hat die Unterscheidung zwischen maschinell generiertem und menschlich verfasstem Text verwischt und erhebliche Bedenken hinsichtlich Fehlinformationen, automatisierter Täuschung und akademischer Integrität aufgeworfen. Obwohl Wasserzeichen eine vielversprechende Lösung zur Erkennung KI-generierter Inhalte bieten, stehen bestehende Methoden vor einer kritischen Schwachstelle: semantisch-invariante Angriffe.

Die meisten aktuellen Wasserzeichenschemata operieren direkt auf dem Token-Vokabular und konstruieren Erkennungsstatistiken auf Basis oberflächlicher Token-Identitäten. Folglich sind sie hochgradig anfällig für bedeutungserhaltende Transformationen wie Synonymersetzung, Umformulierung oder Token-Ersetzung. Diese Angriffe können die vom Modell realisierten spezifischen Token willkürlich verändern, während die zugrunde liegende Semantik erhalten bleibt, wodurch Token-Ebene-Wasserzeichen effektiv entfernt und Erkennungsstatistiken verzerrt werden. Darüber hinaus haben bestehende Ansätze oft Schwierigkeiten, drei konkurrierende Ziele in Einklang zu bringen: (i) Robustheit gegenüber semantikerhaltenden Transformationen, (ii) verzerrungsfreie Generierung (Erhaltung der ursprünglichen Textqualität) und (iii) prinzipielle Kontrolle über Erkennungsfehler, insbesondere bei niedrigen False-Positive-Raten.

Methodik: PASA

Um diese Herausforderungen zu adressieren, schlagen die Autoren PASA (Principled Embedding-Space Watermarking Approach under Semantic-invariant Attacks) vor. Im Gegensatz zu früheren Methoden, die auf Token-Ebene operieren, embeddet und erkennt PASA Wasserzeichen innerhalb des latenten semantischen Einbettungsraums.

Kernmechanismus

PASA funktioniert, indem der latente Token-Einbettungsraum in disjunkte semantische Cluster partitioniert wird. Es wird eine Verteilungsabhängigkeit zwischen Token-Sequenzen und Hilfs-Zufallssequenzen etabliert, die durch einen geheimen Schlüssel und die semantische Historie des Kontexts synchronisiert werden.

Semantisches Cluster-Mapping: Eine surjektive Funktion $f$ bildet Token-Einbettungen auf $K$ verschiedene semantische Cluster ab. Diese Abbildung ist so konzipiert, dass sie gegenüber Token-Ebene-Störungen invariant ist; unterschiedliche Token mit ähnlicher Bedeutung fallen in dasselbe Cluster.
Zweistufige Stichprobenstrategie:
- Stufe 1 (Konstruktion der Hilfsverteilung): Das Modell konstruiert eine Hilfsverteilung über die semantischen Cluster. Um den False-Alarm-Fehler (FA) zu kontrollieren, wird diese Verteilung bei einem Schwellenwert $\alpha$ „abgeschnitten". Ein „Überlaufzustand" ( $\tilde{\zeta}$ ) wird eingeführt, um Wahrscheinlichkeitsmasse, die den Schwellenwert überschreitet, aufzufangen, wodurch sichergestellt wird, dass der FA-Fehler begrenzt bleibt, während der Miss-Detection-Fehler (MD) minimiert wird.
- Stufe 2 (Stichproben innerhalb des Clusters): Der nächste Token wird basierend auf der ausgewählten Hilfsvariablen gesampelt. Wird ein spezifisches Cluster ausgewählt, wird der Token innerhalb dieses Clusters gemäß einer neu normalisierten Verteilung gesampelt. Wird der Überlaufzustand ausgewählt, werden Token über die Cluster hinweg so gesampelt, dass die ursprüngliche Next-Token-Prediction (NTP)-Verteilung im Erwartungswert erhalten bleibt.
Erkennung: Der Detektor, ausgestattet mit dem geheimen Schlüssel und einem Ersatz-Sprachmodell (SLM), rekonstruiert die Hilfsverteilung und die erwartete semantische Historie. Er akkumuliert einen Score basierend auf der Übereinstimmung zwischen dem semantischen Cluster des beobachteten Tokens und der neu gesampelten Hilfsvariablen.

Theoretischer Rahmen

Das Design von PASA basiert auf einem formalen theoretischen Rahmen, der das gemeinsam optimale Embedding-Erkennungs-Paar für ein gegebenes Angriffsmodell charakterisiert. Die Autoren beweisen, dass ihr Ansatz die fundamentalen Trade-offs zwischen Erkennungsgenauigkeit, Robustheit und Verzerrung erreicht. Insbesondere zeigen sie, dass PASA verzerrungsfrei ist (d. h. die erwartete Verteilung des wasserzeichenversehenen Textes ist identisch mit der ursprünglichen, nicht wasserzeichenversehenen Verteilung), während es explizite Garantien für die Robustheit gegenüber semantisch-invarianten Angriffen bietet.

Hauptbeiträge

Prinzipielles semantisches Wasserzeichen: PASA hebt das Wasserzeichen von der Token-Ebene auf die semantische Ebene innerhalb eines formalen theoretischen Rahmens an. Indem es geteilte Zufälligkeit an semantische Cluster und nicht an einzelne Token anknüpft, erreicht es eine überlegene Robustheit gegenüber Umformulierung und Token-Ersetzung, während es eine verzerrungsfreie Generierung beibehält.
Theoretische Garantien: Die Arbeit liefert einen theoretischen Rahmen für das robuste Einbetten und Erkennen von Wasserzeichen unter semantisch-invarianten Angriffen. Sie charakterisiert die fundamentalen Trade-offs zwischen Erkennungsgenauigkeit, Robustheit und Verzerrung, identifiziert das gemeinsam optimale Embedding-Erkennungs-Paar und bietet formale Garantien für die Leistung von PASA.
Empirische Überlegenheit: Umfassende Evaluierungen über mehrere LLMs (Llama-2-13B, Mistral-8×7B) und Datensätze (C4, ELI5) zeigen, dass PASA sowohl unter Token-Ersetzungs- als auch unter starken Umformulierungsangriffen (z. B. DIPPER) konsistent bessere Ergebnisse als Standard-Baselines (einschließlich KGW, Exp-edit, AWTI und DAWA) erzielt.

Experimentelle Ergebnisse

Robustheit: Unter T5-basierten Token-Ersetzungsangriffen behält PASA eine hohe Erkennungsgenauigkeit bei (z. B. TPR@1%FPR von 0,9296 auf Llama-2-13B) und übertrifft Token-Ebene-Baselines, die erheblich nachlassen, deutlich. Unter starken DIPPER-Umformulierungsangriffen (die lexikalische Ersetzung und Umstellung der Wortreihenfolge beinhalten) behält PASA robuste Erkennungsfähigkeiten bei, während Token-Ebene-Methoden starke Leistungseinbußen erleiden.
Textqualität: PASA erhält die Textqualität effektiv. Die Perplexität (PPL) des von PASA generierten wasserzeichenversehenen Textes (11,44) bleibt nahe an der des nicht wasserzeichenversehenen Baseline (12,41) und menschlichen Textes (10,41), was seine Eigenschaft der Verzerrungsfreiheit bestätigt. Dies steht im Gegensatz zu Methoden wie Exp-edit und AWTI, die deutlich höhere PPL-Werte aufweisen.
Effizienz: PASA verursacht vernachlässigbare Rechenkosten. Die Generierungs-Latenz steigt im Vergleich zur Baseline um weniger als 0,5 Sekunden, und die Erkennungs-Latenz (0,27 s) ist wettbewerbsfähig und übertrifft komplexere robuste Baselines wie AWTI (10,52 s).
Ablationsstudien: Die Autoren stellten fest, dass eine moderate Anzahl semantischer Cluster ( $K=4$ ) und ein kleines Synchronisationsfenster ( $w=3$ ) den besten Trade-off zwischen Robustheit und Erkennungsgenauigkeit bieten. Feinere Clusterung ( $K > 500$ ) verschlechtert die Robustheit und führt die Methode wieder zu einem Verhalten auf Token-Ebene zurück.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PASA die Lücke zwischen Praxis und Theorie im Bereich des LLM-Wasserzeichens schließt. Während semantikbewusste Designs nahegelegt haben, dass latente Räume die Robustheit verbessern, und theoretische Arbeiten Trade-offs zwischen Verzerrung und Genauigkeit analysiert haben, hat keine vorherige Arbeit die Robustheit gegenüber semantisch-invarianten Angriffen erfolgreich in einen prinzipiellen, verzerrungsfreien Rahmen integriert.

Die Autoren betonen, dass PASA ein zuverlässiges Instrument für die KI-Governance darstellt, indem es die Erkennung maschinell generierter Texte auch nach aggressiver Umformulierung ermöglicht, ohne die Qualität des generierten Inhalts zu beeinträchtigen. Sie unterstreichen, dass ihr Ansatz explizite theoretische Garantien für die Trade-offs zwischen Robustheit, Verzerrung und Erkennungsgenauigkeit bietet, eine Eigenschaft, die früheren heuristischen Ansätzen fehlt. Die Arbeit legt nahe, dass das Anknüpfen geteilter Zufälligkeit auf semantischer Ebene ein Schlüsselmechanismus zur Verbesserung des Überlebens von Wasserzeichen gegenüber bedeutungserhaltenden Transformationen ist.

Anerkannte Einschränkungen:
Die Autoren weisen darauf hin, dass PASA unter extrem starken Umschreibungsangriffen, die sowohl den semantischen Inhalt als auch die Verteilungsstruktur verändern, nachlassen kann. Die Erkennung bei sehr kurzen Texten bleibt aufgrund begrenzter statistischer Evidenz herausfordernd. Darüber hinaus hängt die Methode von der Kompatibilität der Tokenizer zwischen dem Generierungsmodell und dem Ersatzmodell auf der Detektorseite ab, wobei sie jedoch vorschlagen, mehrere leichte Detektoren einzusetzen, um dies zu mildern.