💬 NLP

SLAM: Structural Linguistic Activation Marking for Language Models

SLAM (Structural Linguistic Activation Marking) ist ein neuartiges White-Box-Wasserzeichenverfahren, das eine nahezu perfekte Detektionsgenauigkeit bei minimalem Qualitätsverlust erreicht, indem es von spärlichen Autoencodern identifizierte strukturelle Richtungen im Residualstrom steuert, wodurch lexikalische Stichproben und Semantik bewahrt werden, während ein Robustheitsprofil geboten wird, das traditionelle Token-Verteilungsmethoden ergänzt.

Ursprüngliche Autoren: Fabrice Harel-Canada, Amit Sahai

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fabrice Harel-Canada, Amit Sahai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma „Qualität versus Wasserzeichen"

Stellen Sie sich vor, Sie sind ein Bäcker (das KI-Modell), der köstliches Brot (Text) backt. Sie möchten auf jeden Laib einen winzigen, unsichtbaren Stempel setzen, damit die Leute wissen, dass er aus Ihrer Bäckerei stammt und nicht von einer Fälschung.

Alte Methoden (Token-Verteilungs-Wasserzeichen): Um das Brot zu stempeln, beginnt der Bäcker, die besten Zutaten auszutauschen. Anstatt frisches, hochwertiges Mehl zu verwenden, sind sie gezwungen, eine bestimmte, leicht alte Marke zu verwenden, nur damit der Stempel sichtbar wird.
- Das Ergebnis: Das Brot sieht immer noch wie Brot aus, schmeckt aber etwas schlechter. Es ist weniger fluffig, weniger aromatisch und manchmal wird die Textur seltsam. Das ist es, was aktuelle KI-Wasserzeichen tun: Sie zwingen die KI, bestimmte Wörter (Tokens) auszuwählen, um einen geheimen Code zu verstecken, was den natürlichen Fluss und die Qualität des Schreibens zerstört.
Das Ziel: Wir wollen ein Wasserzeichen, das für die Geschmacksknospen (Qualität) unsichtbar, aber für den Inspektor (Erkennung) sichtbar ist.

Die neue Lösung: SLAM (Structural Linguistic Activation Marking)

Die Autoren dieses Papiers schlagen einen neuen Weg vor, um das Brot zu stempeln. Anstatt die Zutaten (die Wörter) zu ändern, verändern sie die Form des Teigs (die Satzstruktur).

Die Analogie: Der unsichtbare Architekt
Stellen Sie sich vor, die KI baut ein Haus.

Alte Wasserzeichen: Der Architekt zwingt den Bauarbeiter, für das Fundament nur rote Ziegel zu verwenden, auch wenn blaue Ziegel besser aussehen würden. Das lässt das Haus etwas schief wirken.
SLAM: Der Architekt ändert nicht die Ziegel. Stattdessen flüstert er eine geheime Anweisung in den internen Bauplan des Bauarbeiters: „Bauen Sie den Flur mit einer leichten Kurve statt gerade."
- Die Ziegel (Wörter) werden immer noch natürlich ausgewählt. Das Haus sieht und fühlt sich immer noch perfekt an.
- Aber wenn man den Bauplan (die interne Mathematik der KI) betrachtet, sieht man, dass dieser spezifische gekrümmte Flur gebaut wurde. Diese Kurve ist das Wasserzeichen.

Wie es funktioniert (Die „magischen" Schritte)

Finden der „strukturellen Schalter":
Die Forscher nutzten ein Werkzeug namens Sparse Autoencoder (SAE). Stellen Sie sich dies als ein superkräftiges Röntgengerät vor, das in das Gehirn der KI sehen kann. Sie fanden spezifische „Schalter" oder „Regler" innerhalb der KI, die Grammatik und Struktur steuern – wie einen Regler für „Passiv" vs. „Aktiv" oder einen Regler für „Vergangenheit" vs. „Gegenwart".
- Wichtige Erkenntnis: Diese strukturellen Regler sind universell. Ein Satz über einen Banker oder einen Wissenschaftler verwendet denselben „Passiv"-Regler. Dies macht das Wasserzeichen robust gegenüber Themenwechseln.
Lenken, nicht Abtasten:
Wenn die KI einen Satz schreibt, schiebt SLAM diese spezifischen Regler sanft. Es zwingt die KI nicht, das Wort „war" statt „ist" zu wählen. Es schiebt die KI nur dazu, eine Satzstruktur zu bevorzugen, die „war" verwendet.
- Da die KI immer noch frei ist, jedes Wort zu wählen, das sie möchte, klingt der Text natürlich, vielfältig und hochwertig.
Das Markieren erkennen:
Um zu prüfen, ob ein Text ein Wasserzeichen trägt, zählt man nicht, wie oft ein bestimmtes Wort vorkommt. Stattdessen betrachtet man den „Bauplan" erneut. Man prüft, ob der „Passiv"-Regler verschoben wurde. Wenn der Bauplan die geheime Kurve zeigt, ist der Text wassergezeichnet.

Die Ergebnisse: Ein Gewinn für alle (mit einem Haken)

Das Papier testete dies an zwei Versionen des Gemma-KI-Modells (eine kleine 2B-Version und eine größere 9B-Version).

Qualität: Der wassergezeichnete Text war von normalem Text kaum zu unterscheiden.
- Die Punktzahl: Alte Methoden verloren etwa 7 bis 11 „Qualitätspunkte". SLAM verlor nur etwa 1 bis 2 Punkte.
- Die Analogie: Wenn normales Brot eine 10/10 ist, machten alte Wasserzeichen daraus eine 3/10. SLAM hielt es bei einer 9/10.
Erkennung: Es war zu 100 % genau beim Aufspüren des wassergezeichneten Textes.

Der Kompromiss (Der Haken):
Jede Münze hat zwei Seiten.

Alte Wasserzeichen: Wenn jemand den Text umschreibt, um die Wörter zu ändern (Synonyme), oder ein Wort löscht, überlebt das Wasserzeichen normalerweise. Wenn jemand jedoch die Satzstruktur vollständig umschreibt (Paraphrasierung), bricht das Wasserzeichen zusammen.
SLAM: Es ist genau umgekehrt!
- Wortebene-Angriffe: Wenn jemand „glücklich" gegen „freudig" austauscht oder ein Wort löscht, überlebt SLAM perfekt (100 % Erkennung).
- Strukturebene-Angriffe: Wenn jemand ein Werkzeug verwendet, um die Sätze vollständig umzustrukturieren (z. B. „Die Katze jagte den Hund" wird zu „Der Hund wurde von der Katze gejagt"), verschwindet das Wasserzeichen.
- Warum? Weil SLAM in der Struktur lebt. Wenn man die Struktur zertrümmert, ist die Markierung weg. Das Papier stellt fest, dass dies ein kalkuliertes Risiko ist: Sie priorisierten es, dass der Text menschlich klingt, über die Unzerstörbarkeit durch einen menschlichen Redakteur.

Zusammenfassung in einem Satz

SLAM ist eine neue Art, KI-Texte zu wassergeichnen, die den geheimen Code in der Grammatik und Satzform und nicht in den Wörtern versteckt, wodurch die KI schönen, natürlichen Text schreiben kann und dennoch einen erkennbaren Fingerabdruck für Inspektoren hinterlässt.

Technische Zusammenfassung: SLAM (Structural Linguistic Activation Marking)

Problemstellung

Die weit verbreitete Einführung von Large Language Models (LLMs) erfordert eine zuverlässige Urheberschaftszuordnung, um KI-generierte Texte von menschlich verfassten Inhalten zu unterscheiden. Aktuelle Wasserzeichenverfahren stehen vor einem grundlegenden Zielkonflikt zwischen Detektierbarkeit, Textqualität und Robustheit.

Dominante Paradigmen (z. B. KGW, EWD, Unigram) arbeiten durch eine Verzerrung der Next-Token-Verteilung des Modells (z. B. via Auswahl von „Green-List"-Tokens). Obwohl effizient, verursacht dieser Ansatz messbare Qualitätsverluste: Bei Gemma-2-Modellen verlieren diese Methoden 7,5–11,5 Reward-Punkte und weisen kollabierte bedingte Perplexitätsverhältnisse (0,30–0,42) auf, was auf repetitive und unnatürliche Ausgaben hindeutet. Im Gegensatz dazu erreichen neuere, auf Sparse Autoencodern (SAE) basierende Methoden wie SAEMark nahezu verlustfreie Qualität, leiden jedoch unter hohem Rechenaufwand (Sampling von $N=50$ Kandidaten pro Schritt) und sind anfällig für semantische Verschiebungen und einfache Textbearbeitungen.

Methodik: SLAM

SLAM (Structural Linguistic Activation Marking) schlägt ein White-Box-Wasserzeichenverfahren vor, das die Detektion von der Token-Frequenzverzerrung entkoppelt. Anstatt zu verändern, welche Tokens gesampelt werden, schreibt SLAM das Wasserzeichen in die strukturelle Geometrie des Residualstreams des Modells.

Kernmechanismus

Mining struktureller Merkmale:
- Die Autoren konstruieren einen kontrastiven Datensatz aus 46.579 Satzpaaren, der 104 linguistische Phänomene abdeckt (syntaktische Alternationen, Tempus, Morphologie, Diskurs). Diese Paare halten den semantischen Inhalt konstant, während sie die strukturellen Formen variieren (z. B. Aktiv vs. Passiv).
- Mithilfe von auf dem Residualstream trainierten Sparse Autoencodern (SAEs) identifiziert die Methode spezifische, lokalisierte Teilräume, die diese strukturellen Merkmale kodieren.
- Ein zusammengesetzter Bewertungsmechanismus (kontrastive Magnitude $\times$ Reinheit $\times$ konsistenz über Domänen hinweg) isoliert SAE-Richtungen, die robust auf strukturelle Änderungen reagieren und nicht auf semantischen Inhalt.
Richtungskonstruktion (SVD):
- Für Phänomene, bei denen strukturelle Konzepte über mehrere schwach diskriminierende Merkmale verteilt sind (häufig bei größeren Modellen wie Gemma-2 9B), führt SLAM eine Singulärwertzerlegung (SVD) auf der kontrastiven Differenzmatrix durch.
- Dies ergibt $k$ orthogonale strukturelle Modi. Die Methode unterstützt sowohl die Steuerung einzelner Merkmale ( $k=1$ ) als auch die Steuerung zusammengesetzter Teilräume ( $k>1$ ), was eine effektive Skalierung auf größere Modelle ermöglicht.
- Bidirektionales Mining: Das System minet Richtungen sowohl für die Zielstruktur als auch für ihr Inverses, wodurch der Pool steuerbarer Richtungen zur Reduzierung von Kollisionsraten bei der Auswahl verdoppelt wird.
Kausale Steuerung und Injektion:
- Zur Generationszeit greift SLAM an bestimmten Schichten in den Residualstream ein (bestimmt durch die Schicht mit der höchsten Aktivierung des Phänomens).
- Es fügt einen skalierten Vektor ( $\alpha \cdot v_{structure}$ ) zum Residualstream neu generierter Tokens hinzu. Dies verzerrt das Modell in Richtung der Produktion einer spezifischen syntaktischen Variante (z. B. Passiv), ohne die lexikalische Wahl einzelner Tokens einzuschränken.
- Merkmalsauswahl: Eine pro Dokument ausgewählte Teilmenge von Merkmalen wird über HMAC-geschlüsseltes gewichtetes Sampling ausgewählt, um Einzigartigkeit und Sicherheit zu gewährleisten.
- Early-Stop-Generierung: Das System generiert bis zu $N=4$ Kandidaten und gibt den ersten zurück, der einen kalibrierten Detektionsschwellenwert ( $\hat{z} \ge 2.0$ ) überschreitet, was den Overhead im Vergleich zu Kandidaten-Bewertungsmethoden erheblich reduziert.
Detektion:
- Die Detektion erfordert einen einzigen Forward-Pass des Modells. Die Residualstream-Aktivierungen werden auf die vorab berechneten strukturellen Richtungen projiziert, um einen Stouffer- $z$ -Score zu berechnen.
- Zum Zeitpunkt der Detektion ist kein Forward-Pass eines SAE erforderlich, was den Prozess rechnerisch effizient macht.

Hauptbeiträge

Kontrastive Mining-Pipeline: Eine Pipeline, die strukturelle SAE-Richtungen über einen zusammengesetzten Score über 104 Phänomene und 5 semantische Domänen hinweg isoliert und so Domäneninvarianz sicherstellt.
PCA-bidirektionale strukturelle Richtungen: Eine auf SVD basierende Methode zur Konstruktion orthogonaler zusammengesetzter Richtungen ( $k>1$ ), die es SLAM ermöglicht, verteilte strukturelle Darstellungen in größeren Modellen (9B+) zu handhaben und einen einstellbaren Zielkonflikt zwischen Qualität und Detektion zu bieten.
Effizientes White-Box-Verfahren: Ein vollständiges Wasserzeichen-System mit HMAC-geschlüsselter Auswahl und einer Early-Stop-Generierungsschleife. Es erfordert eine Größenordnung weniger LLM-Aufrufe als SAEMark ( $N \le 4$ vs. $N=50$ ) und arbeitet mit einem moderaten Overhead ( $\sim 1,6\times$ Generierungszeit).
Empirische Validierung: Umfassende Evaluierung an Gemma-2 2B und 9B gegen sechs Baselines über vier Familien von Qualitätsmetriken und sieben Robustheitsangriffe.

Experimentelle Ergebnisse

Evaluiert an vortrainierten Gemma-2 2B- und 9B-Modellen:

Detektionsleistung: SLAM erreicht eine True-Positive-Rate (TPR) von 100 % bei einer False-Positive-Rate (FPR) von 2,3 % für beide Modellgrößen.
Qualitätserhaltung:
- Reward-Lücke: SLAM verursacht einen Reward-Nachteil von nur $\Delta$ Reward = -1,3 (2B) und -1,9 (9B). Dies ist signifikant niedriger als bei Baselines auf Token-Verteilungsbasis (KGW, EWD, Unigram), die 7,5–11,5 Punkte verlieren.
- Natürlichkeit: SLAM erhält die Ausgabenverteilungsmetriken (distinct-n, Self-BLEU, MAUVE) und bedingten Perplexitätsverhältnisse (1,24/1,36) viel näher an der wasserzeichenfreien Baseline als andere Methoden. Im Gegensatz zu Token-Verteilungsmethoden führt es nicht zu repetitivem Text (Kollaps des PPL-Verhältnisses).
- Grammatik: Die Grammatikfehlerquoten bleiben nahe dem Baseniveau.
Robustheitsprofil:
- Wortebene-Angriffe: SLAM ist zu 100 % robust gegenüber Synonymersetzung, Wortlöschung, Wortsubstitution und Satzumstellung.
- Paraphrasierungsangriffe: SLAM ist anfällig für syntaktisch umstrukturierende Paraphrasen (z. B. DIPPER), wobei die TPR auf ~10–12 % fällt. Der Artikel stellt jedoch fest, dass solche Angriffe dem Angreifer Qualitätskosten auferlegen (Verschlechterung des Textes), und diese Anfälligkeit ist das Gegenstück zu Token-Verteilungsmethoden (die robust gegenüber Paraphrasen, aber anfällig für Wortebene-Bearbeitungen sind).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SLAM zeigt, dass Qualität und Detektion nicht gegeneinander abgewogen werden müssen, wenn das Wasserzeichen auf der angemessenen Ebene linguistischer Abstraktion kodiert wird (strukturelle Geometrie vs. Token-Frequenzen).

Mechanistische Einsicht: Indem SLAM steuert, welche strukturelle Variante das Modell produziert, anstatt welche Tokens es sampelt, bleiben die lexikalische Oberfläche und die semantische Bedeutung im Wesentlichen unbeschränkt. Dies erklärt seine überlegene Leistung bei Reward-Modellen, Perplexität und Diversitätsmetriken.
Komplementäre Robustheit: Die Arbeit positioniert die Anfälligkeit von SLAM gegenüber syntaktisch umstrukturierenden Paraphrasen als kalkulierte, akzeptable Kosten für die Erzielung einer nahezu verlustfreien Generierungsqualität und kontrastiert dies mit dem „repetitiven Text"-Signaturen von Token-Verzerrungsmethoden.
Skalierbarkeit: Die Verwendung zusammengesetzter Teilräume ( $k>1$ ) wird als entscheidender Enabler für die Skalierung struktureller Wasserzeichen auf größere Modelle identifiziert, in denen Merkmale verteilt sind.

Die Autoren kommen zu dem Schluss, dass SLAM, obwohl es White-Box-Zugriff erfordert und gegenüber schwerwiegender struktureller Umformulierung empfindlich ist, im Vergleich zu bestehenden Token-Verteilungs- und semantischen Bewertungsansätzen ein überlegenes Gleichgewicht zwischen Detektierbarkeit und Qualitätserhaltung für die Urheberschaftszuordnung bietet.