🤖 AI

LLM Self-Recognition: Steering and Retrieving Activation Signatures

Diese Arbeit zeigt, dass große Sprachmodelle während der Generierung so gesteuert werden können, dass sie einen detektierbaren, auf Aktivierungen basierenden Fingerabdruck in ihren Ausgaben einbetten, was eine hochgenaue Zuordnung von KI-generiertem Text zu spezifischen Modellen ermöglicht, ohne die Textqualität zu beeinträchtigen.

Ursprüngliche Autoren: Thibaud Ardoin, Jonas Schäfer, Gerhard Wunder

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thibaud Ardoin, Jonas Schäfer, Gerhard Wunder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr hochentwickelten Roboter, der Geschichten schreibt, Fragen beantwortet und Inhalte erstellt. Im Moment ist es, wenn Sie eine Geschichte lesen, schwer zu sagen, ob ein Mensch sie geschrieben hat oder ob der Roboter sie geschrieben hat. Noch schwieriger ist es zu sagen, welcher spezifische Roboter sie geschrieben hat, besonders wenn Sie viele verschiedene Roboter haben, die fast identisch aussehen und sich fast gleich verhalten.

Dieses Paper stellt eine neue Methode vor, um die Arbeit des Roboters zu kennzeichnen – nicht, indem man die geschriebenen Wörter verändert, sondern indem man sein „Gehirn“ während des Denkprozesses subtil „stimmt“.

Hier ist die Aufschlüsselung, wie das funktioniert, unter Verwendung einfacher Analogien:

1. Das „innere Summen“ des Roboters (Selbsterkennung)

Die Forscher haben entdeckt, dass Large Language Models (LLMs) einen natürlichen „Fingerabdruck“ besitzen. Selbst ohne besondere Hilfe sieht die interne Gehirnaktivität (genannt Aktivierungen) des Roboters anders aus, wenn er seine eigenen Gedanken schreibt, im Vergleich dazu, wenn er einen Text eines Menschen liest.

Die Analogie: Denken Sie an einen Musiker, der eine Violine spielt. Selbst wenn er eine perfekte Note spielt, erzeugen die Art und Weise, wie sich seine Finger bewegen, und die Spannung in den Saiten ein einzigartiges „Summen“ oder eine Vibration, die spezifisch für diesen Musiker ist. Das Paper zeigt, dass wir auf dieses interne „Summen“ hören können, um zu wissen: „Ja, dieser Roboter hat diesen Satz geschrieben.“ Sie fanden heraus, dass dies selbst für sehr kurze Sätze, wie eine schnelle Nachrichtenzusammenfassung, funktioniert.

2. Der „geheime Radiosender“ (Steuerung)

Die wichtigste Innovation ist eine Möglichkeit, einen zweiten, stärkeren Fingerabdruck hinzuzufügen, den der Roboter nutzen kann. Die Forscher haben einen Weg gefunden, das Gehirn des Roboters während des Schreibprozesses sanft zu lenken.

Die Analogie: Stellen Sie sich vor, der Roboter fährt ein Auto auf einer Autobahn (generiert Text). Die Forscher haben einen Weg gefunden, das Lenkrad während der Fahrt ganz leicht nach links oder rechts zu drücken.
- Sie verändern nicht die Straße oder das Ziel (die Bedeutung des Textes bleibt gleich).
- Sie lassen das Auto nicht unkontrolliert fahren (die Qualität des Textes bleibt hoch).
- Aber sie hinterlassen eine spezifische „Spur im Dreck“, die besagt: „Dieses Auto wurde durch Vektor A gelenkt.“
- Wenn sie ein anderes Auto mit Vektor B gelenkt hätten, würde es eine andere Spur hinterlassen.

3. Das Lesen der „Spuren“ (Abruf)

Sobald der Text geschrieben ist, wie weiß man dann, welcher „Nudge“ (Anstoß) verwendet wurde? Man füttert denselben Roboter-Modell mit dem Text zurück und betrachtet erneut dessen Gehirnaktivität.

Die Analogy: Es ist wie das Fotografieren von Reifenspuren im Schlamm. Man kann die Form der Spuren mit einer Bibliothek bekannter „Nudge-Muster“ vergleichen.
- Wenn die Spuren dem Muster von „Vektor A“ entsprechen, wissen Sie, dass diese spezifische Version des Roboters den Text geschrieben hat.
- Das Paper behauptet, dass dies unglaublich genau ist (über 98 % in ihren Tests).
- Selbst wenn jemand die Geschichte umschreibt (paraphrasiert), sind die „Spuren“ im Gehirn des Roboters überraschend widerstandsfähig und immer noch nachweisbar.

4. Warum dies von anderen Methoden abweicht

Die meisten aktuellen Methoden, KI-Texte zu kennzeichnen, sind wie ein Wasserzeichen auf einem Gemälde. Man verändert vielleicht die Farbe der Farbe leicht oder versteckt einen geheimen Code in den Pinselstrichen. Das kann manchmal die Kunst ruinieren oder leicht abwaschbar sein.

Diese neue Methode ist eher so, als würde man dem Maler beibringen, den Pinsel auf eine spezifische, unsichtbare Weise zu halten.

Es verändert das Gemälde nicht (die Textqualität bleibt erhalten).
Es ist keine zusätzliche Tinte oder Chemie erforderlich (kein externes Wasserzeichen).
Es nutzt die natürliche Struktur der Hand des Malers (die interne Mathematik des Modells), um eine Signatur zu hinterlassen.

Was das Paper tatsächlich beweist

Roboter kennen ihre eigene Arbeit: Sie können den Unterschied zwischen ihrem eigenen Schreiben und menschlichem Schreiben erkennen, indem sie einfach auf ihre internen Gehirnsignale schauen.
Wir können ihnen „Ausweise“ geben: Indem wir das Gehirn beim Schreiben mit einem winzigen, zufälligen Anstoß versehen, können wir sie dazu bringen, eine eindeutige, rückverfolgbare Signatur zu hinterlassen.
Es ist schwer zu fälschen: Selbst wenn man versucht, den Text umzuschreiben, um die Signatur zu verbergen, überlebt die Signatur oft, weil sie in der tiefen mathematischen Struktur dessen eingebettet ist, wie der Roboter denkt, und nicht nur in den Worten selbst.
Es funktioniert über verschiedene Größen hinweg: Sie haben dies an kleinen und großen Robotern getestet, und es funktionierte bei allen, wobei größere Roboter etwas besser darin waren.

Wichtiger Hinweis: Das Paper konzentriert sich ausschließlich auf die Mechanik dieser Erkennung und Zuordnung. Es behauptet nicht, dass dies bereits für die kommerzielle Nutzung bereit ist, noch geht es tiefgehend auf rechtliche oder datenschutzrechtliche Auswirkungen ein, außer dass angemerkt wird, dass, falls jemand den „Nudge“-Code stiehlt, er potenziell die Signatur fälschen könnte. Die Kernleistung besteht darin, zu beweisen, dass dieser „unsichtbare Nudge“ ein zuverlässiger Weg ist, um KI-generierte Texte zu identifizieren, ohne den Text zu verschlechtern.

Technisches Resümee: Selbsterkennung von LLMs mittels Steuerung und Abruf von Aktivierungssignaturen

Problemstellung

Da Large Language Models (LLMs) bei der Generierung von Inhalten immer präsenter werden, ist die Unterscheidung zwischen KI-generiertem Text und von Menschen verfasstem Inhalt sowie die Zuschreibung spezifischer Ausgaben zu bestimmten Modellen oder Instanzen entscheidend für die Prüfung und Rechenschaftspflicht geworden. Aktuelle Detektionsmethoden stehen vor erheblichen Einschränkungen:

Watermarking: Traditionelle Ansätze, die Token-Wahrscheinlichkeiten modifizieren oder Tokens auswählen, um verborgene Informationen zu kodieren, verursachen oft einen Rechenaufwand und leiden unter Zielkonflikten zwischen Detektionsrobustheit und Ausgabequalität.
Post-Generation-Klassifikatoren: Methoden, die auf statistischen Eigenschaften von Texten oder auf auf gelabelten Korpora trainierten Klassifikatoren basieren, sind anfällig für Domain Shifts und haben Schwierigkeiten, zwischen verschiedenen LLMs oder spezifischen Modellinstanzen zu unterscheiden.
Selbsterkennungs-Lücke: Während jüngere Interpretierbarkeitsforschung nahelegt, dass LLMs ihre eigenen Ausgaben erkennen können, wurde diese Fähigkeit bisher nicht systematisch für eine zuverlässige Attribution genutzt, noch wurde sie durch kontrollierbare, rückgewinnbare Signaturen ergänzt, ohne die Textqualität zu verschlechtern.

Methodik

Das Paper schlägt ein Framework vor, das die internen Residualstrom-Aktivierungen eines LLM sowohl für die Selbsterkennung als auch für die Attribution nutzt. Der Ansatz operiert unter einem White-Box-Bedrohungsmodell, welches den Zugriff auf die internen Aktivierungen des Zielmodells während der Detektion voraussetzt.

1. Extraktion von Aktivierungen und Selbsterkennung

Die Autoren extrahieren intermediäre Aktivierungen $A_l(x_i)$ an einer festen Schicht $l$ (typischerweise in der Mitte des Netzwerks) für eine Token-Sequenz. Um LLM-generierte von menschlich verfasster Text zu unterscheiden, aggregieren sie diese Token-basierten Aktivierungen über einfache Mittelwertbildung zu einer festdimensionalen Repräsentation. Ein leichtgewichtiger Linear Discriminant Analysis (LDA) Klassifikator wird anschließend auf diesen Repräsentationen trainiert. Dieser Aufbau testet die intrinsische „Selbsterkennungsfähigkeit“ des Modells.

2. Steuerung-basierte Wasserzeichen (Steering-Based Watermarking)

Um eine Multi-Modell-Attribution zu ermöglichen (Unterscheidung zwischen verschiedenen Instanzen desselben Basismodells), führen die Autoren einen Mechanismus zur Steuerung während der Inferenz ein:

Vektor-Injektion: Während der Generierung wird ein zufälliger spärlicher Vektor $v \in \mathbb{R}^d$ durch einen Verstärkungskoeffizienten $\alpha$ skaliert und zu den intermediären Aktivierungen der Schicht $l$ für jedes Token addiert:
$A_l(x_i) \leftarrow A_l(x_i) + \alpha v$
Sparsity (Spärlichkeit): Im Gegensatz zu dichten Interventionen sind die Steuerungsvektoren hochgradig spärlich konstruiert (99,7 % Null-Dimensionen). Diese Designentscheidung zielt darauf ab, die semantischen Inhalte minimal zu stören und gleichzeitig ein detektierbares Signal aufrechtzuerhalten.
Abruf (Retrieval): Zur Detektionszeit wird der generierte Text durch dasselbe Modell (ohne Steuerung) geleitet, um die Aktivierungen zu extrahieren. Der ursprüngliche Steuerungsvektor wird entweder via:
- Überwachtem Lernen: Einem Multi-Layer Perceptron (MLP), das darauf trainiert ist, den Steuerungsindex zu klassifizieren.
- Zero-Shot Geometrischem Abruf: Berechnung der Kosinus-Ähnlichkeit zwischen den extrahierten Aktivierungen und Kandidaten-Steuerungsvektoren, basierend auf der Orthogonalität von Zufallsvektoren zu semantischen Mannigfaltigkeiten.

Zentrale Beiträge

Das Paper leistet drei wesentliche Beiträge:

Empirischer Nachweis der Selbsterkennung: Die Autoren zeigen, dass LLMs ihre eigenen Ausgaben zuverlässig von menschlichem Text unterscheiden können, selbst in Szenarien mit geringer Entropie (z. B. kurze Nachrichten-Zusammenfassungen) und ohne Zugriff auf den ursprünglichen Prompt.
Steuerungs-basierter Attributionsmechanismus: Sie führen eine Methode ein, um distinkte, rückgewinnbare Signaturen in generierten Text zu injizieren, indem interne Aktivierungen gesteuert werden. Dies ermöglicht eine präzise Attribution über mehrere gesteuerte Instanzen desselben Modells hinweg, ohne die Generierungsqualität zu beeinträchtigen.
Analyse der Struktur des Aktivierungsraums: Die Arbeit zeigt, dass interne Aktivierungsräume eine ausnutzbare Struktur für die Kodierung von Zufallssignalen enthalten. Sie demonstriert, dass spärliche Interventionen eine Signalrückgewinnung bei minimaler semantischer Interferenz ermöglichen, was darauf hindeutet, dass Attributionssignale aufgrund der hochdimensionalen Geometrie von LLM-Repräsentationen neben dem semantischen Inhalt existieren können.

Experimentelle Ergebnisse

Experimente wurden auf verschiedenen Modellen (Llama-3.1-8B, Llama-3.2-3B/1B, Ministral-3-8B) durchgeführt, unter Verwendung von Datensätzen wie XL-Sum (Low-Entropy Summarization), ELI5 (Open-Ended QA) und einem kuratierten Fresh News Datensatz.

Selbsterkennungs-Performance: Der aktivierungsbasierte Klassifikator erreichte nahezu perfekte AUROC-Werte (oft >99 %) bei der Unterscheidung von LLM-Text gegenüber menschlichem Text. Entscheidend ist, dass diese Performance in prompt-agnostischen Settings robust blieb, während Perplexitäts-basierte Baselines ohne Prompt-Zugriff oft versagten oder nahe an der Zufallswahrscheinlichkeit lagen.
Attributionsgenauigkeit: Bei Multi-Modell-Attributionsaufgaben (Unterscheidung zwischen zwei oder mehr gesteuerten Varianten) erreichte die Methode hohe F1-Scores (z. B. 99,1 % für Llama-3.1-8B auf ELI5). Die Performance skalierte mit der Modellgröße und blieb signifikant über den Zufallswerten, selbst als die Anzahl der Klassen anstieg.
Robustheit: Das Steuerungs-Signal zeigte eine überlegene Robustheit gegenüber Paraphrasierung (mittels DIPPER-XXL) im Vergleich zu traditionellem KGW-Watermarking. Das Signal blieb selbst nach starker Paraphrasierung bestehen, was wahrscheinlich daran liegt, dass die Attribution auf aggregierten Aktivierungsmustern über viele Token hinweg basiert und nicht auf lokalen Token-Statistiken.
Qualitätserhaltung: Unter Verwendung eines feinabgestimmten DeBERTa-Qualitätsklassifikators und MMLU-Benchmarks fanden die Autoren heraus, dass spärliche Steuerung eine vernachlässigbare Verschlechterung der Textqualität bewirkte. In einigen Fällen zeigten die gesteuerten Modelle leichte Qualitätsverbesserungen oder hielten die Performance innerhalb von 1-2 % der Vanilla-Modelle, was die oft beobachtete Degradation bei dichten Interventionen übertraf.
Direkter Signalabruf: Die Studie bestätigte, dass der Steuerungsvektor via Kosinus-Ähnlichkeit ohne trainierten Klassifikator abgerufen werden kann, wobei eine Text-Attributionsgenauigkeit von 84,6 % (gegenüber 99,1 % für das trainierte MLP) erreicht wurde, was die physische Kodierung des Signals validiert.

Bedeutung und Behauptungen

Das Paper behauptet, eine praktische Alternative zu traditionellem Watermarking zu bieten, indem es die natürliche Repräsentationsstruktur des Modells nutzt, anstatt Signale extern einzubetten. Zu den wesentlichen Implikationen gehören:

Intrinsische Attribution: Die Methode verschiebt das Paradigma von der Detektion von „KI-typischen Merkmalen“ hin zur Identifizierung spezifischer Modellinstanzen oder Steuerungskonfigurationen, was eine feingranulare Rechenschaftspflicht unterstützt.
Effizienz und Qualität: Durch die Arbeit auf internen Aktivierungen mit spärlichen Vektoren vermeidet der Ansatz den Rechenaufwand von Sparse Autoencodern oder komplexen Token-Selektionsstrategien und bewahrt gleichzeitig den Nutzen des Textes.
Architekturspezifität: Die Autoren merken an, dass das Steuerungs-Signal architekturspezifisch ist; die Detektion sinkt auf das Niveau des Zufalls ab, wenn der Text von einer anderen Modellfamilie generiert wurde, was Phänomene widerspiegelt, die beim subliminalen Lernen beobachtet wurden. Dies deutet darauf hin, dass die Signale geometrisch kohärent innerhalb einer Modellfamilie sind, aber nicht über Architekturen hinweg generalisieren.
Zukünftige Richtungen: Die Arbeit deutet das Potenzial für kombinatorische Multi-Bit-Wasserzeichen durch Überlagerung mehrerer spärlicher Vektoren an und betont die Notwendigkeit weiterer Forschung zur Interpretierbarkeit dieser zufälligen Steuerungsrichtungen, um sicherzustellen, dass sie keine Sicherheitsrisiken oder Biases einführen.

Die Autoren kommen zu dem Schluss, dass interne Repräsentationen einen prinzipisierten Mechanismus für die Detektion und Induktion modell-spezifischer Generationssignaturen bieten und somit ein flexibles Framework für die Attribution bereitstellen, das Robustheit, Skalierbarkeit und Textqualität in Einklang bringt.