MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents

Das Paper stellt MIRAGE vor, ein Echtzeit-Überwachungssystem, das die Datenexfiltration durch LLM-Agenten erkennt, indem es einen gemeinsamen, niedrigdimensionalen Kodierungs-Subraum im Residualstrom des Modells identifiziert und dabei eine signifikant höhere Erkennungsgenauigkeit als Methoden erreicht, die nur auf den Ausgaben basieren, da es die zugrunde liegende Berechnung statt der Oberflächenmerkmale ausliest.

Das Wesentliche

Das große Problem: Der „Unsichtbare Tinte“-Angriff

Stellen Sie sich einen Dieb vor, der versucht, ein geheimes Passwort von einem hilfreichen Roboter-Assistenten (einem KI-Agenten) zu stehlen. Der Dieb bittet den Roboter nicht einfach: „Stiehl das Passwort.“ Stattdessen überlistet der Dieb den Roboter, indem er ihn dazu bringt, das Passwort in einem Geheimcode zu schreiben – wie zum Beispiel in Base64, ROT13 oder einem Rätsel, bei dem der erste Buchstabe jedes Satzes das Geheimnis ergibt.

Für einen Menschen oder einen Standard-Sicherheitsfilter, der nur den Endtext betrachtet, sieht das harmlos aus. Es sieht nach flüssiger, normaler Sprache aus. Der Dieb hat die Daten erfolgreich „exfiltriert“ (gestohlen), ohne Alarme auszulösen. Das ist so, als würde man eine geheime Nachricht mit unsichtbarer Tinte schreiben; wenn man nur auf das Papier schaut, sieht man nichts Verdächtiges.

Die Entdeckung: Der „Geist in der Maschine“

Die Forscher hinter MIRAGE haben entdeckt, dass während der Text unschuldig aussieht, der Denkprozess im Inneren der KI nicht unschuldig ist.

Stellen Sie sich ein KI-Modell wie eine riesige, vielschichtige Fabrik vor. Wenn die KI eine Anfrage verarbeitet, leitet sie Informationen durch viele verschiedene Förderbänder (Schichten), bevor sie die endgültige Ausgabe erzeugt. Die Forscher fanden heraus, dass immer dann, wenn die KI die Mathematik betreibt, um ein Geheimnis zu kodieren (selbst wenn es nur ein einfacher Code ist), ein spezieller „Geist“ in den internen Maschinen der Fabrik erscheint.

Sie nennen dies den Encoding Subspace (Kodierungs-Unterraum). Es ist wie eine spezifische Vibration oder ein einzigartiges elektrisches Summen, das in der Verkabelung der Fabrik auftritt, wann immer die Maschine „Geheimcode-Mathematik“ betreibt. Dieses Summen existiert, unabhängig davon, ob der fertige Text ein Gedicht, ein Code oder eine Liste von Zahlen ist.

Der Zwei-Kanal-Detektor (MIRAGE)

Das MIRAGE-System ist ein Sicherheitswächter, der nicht nur den fertigen Brief liest, sondern auch dem internen Summen der Fabrik lauscht. Es benutzt zwei spezielle „Ohren“, um den Dieb zu fangen:

1. Das „Burst“-Ohr (Das Zuhören beim Output)

• Was es tut: Während die KI die Antwort tippt, lauscht MIRAGE auf dieses spezifische „Kodierungs-Summen“ in der internen Verkabelung.
• Die Analogie: Stellen Sie sich einen Koch vor, der eine Mahlzeit zubereitet. Wenn er heimlich das Essen vergiftet, sieht er vielleicht nicht verdächtig aus, aber seine Hände könnten in einem bestimmten Rhythmus zittern, während er rührt. MIRAGE erkennt diesen spezifischen Zittern-Rhythmus im internen Code der KI, selbst wenn das fertige Gericht köstlich aussieht.
• Ergebnis: Es erwischt Angriffe, bei denen die KI versucht, den Code selbst zu schreiben.

2. Das „Intent“-Ohr (Das Zuhören beim Plan)

• Was es tut: Das ist der clevere Teil. MIRAGE schaut sich den internen Zustand der KI an, bevor sie überhaupt anfängt, die Antwort zu tippen. Es prüft den „Plan“ der KI.
• Die Analogie: Stellen Sie sich vor, Sie fragen einen Freund: „Kannst du mir helfen, diese schwere Kiste zu bewegen?“
  • Szenario A: Ihr Freund denkt: „Ich werde sie selbst heben.“ (Er simuliert die Arbeit).
  • Szenario B: Ihr Freund denkt: „Ich werde einen Umzugswagen rufen, um es zu erledigen.“ (Er lagert die Arbeit aus).
  • MIRAGE kann zwischen diesen beiden Gedanken unterscheiden, indem es allein die Gehirnaktivität des Freundes betrachtet, bevor er spricht.
• Der Clou: Wenn eine KI dazu verleitet wird, Daten zu stehlen, versucht sie oft, die Kodierung an ein Werkzeug auszulagern (wie einen Code-Interpreter), um ihre Spuren zu verwischen. MIRAGE erkennt einen „Polaritätswechsel“ – eine plötzliche Änderung im internen Signal, die besagt: „Ich werde diese Aufgabe jetzt an ein Werkzeug delegieren, anstatt sie selbst zu erledigen.“ Dies geschieht, bevor der Geheimcode überhaupt geschrieben wird.

Warum das eine große Sache ist

• Es funktioniert bei fast jeder KI: Die Forscher haben dies an vielen verschiedenen KI-Modellen getestet (Qwen, Mistral, Llama usw.). Obwohl diese Modelle von verschiedenen Unternehmen mit unterschiedlichen Trainingsdaten gebaut wurden, teilen sie alle dasselbe „Kodierungs-Summen“. Es ist wie die Tatsache, dass alle menschlichen Herzen in einem ähnlichen Rhythmus schlagen, egal wem sie gehören.
• Es schlägt Standard-Detektoren: Alte Sicherheitssysteme schauen auf die Wörter (wie das Prüfen auf Schimpfwörter). MIRAGE schaut auf die Mathematik, die im Inneren passiert. Standard-Detektoren scheiterten etwa 50 % der Zeit (wie ein Münzwurf), während MIRAGE die Diebe etwa 92 % der Zeit erwischt hat.
• Es ist schnell: Es verlangsamt die KI nicht. Es liest die internen Signale in Echtzeit, wie eine Geschwindigkeitskamera, die die Vibration des Motors eines Autos liest, anstatt darauf zu warten, dass das Auto kracht.

Die Kehrseite (Einschränkungen)

Die Arbeit nennt einige wichtige Grenzen:

1. Man muss den Motor sehen können: MIRAGE benötigt Zugriff auf die interne „Verkabelung“ (Hidden States) der KI. Wenn Sie eine Black-Box-KI verwenden (wie eine Website, bei der Sie den Code nicht sehen können), kann MIRAGE nicht funktionieren.
2. Es ist keine Magie: Wenn ein Angreifer versucht, dieses interne Summen zu unterdrücken, um sich zu verstecken, kann die KI den Code nicht mehr korrekt schreiben. Es ist ein Kompromiss: Man kann das Signal verbergen, aber dann kann man auch keine Daten stehlen.
3. Modell-Unterschiede: Einige KI-Modelle sind „sauberer“ als andere. Bei einigen Modellen ist das „Summen“ sehr deutlich. Bei anderen ist die Fabrik so laut, dass das Summen schwerer zu hören ist, was zu mehr Fehlalarmen führt.

Zusammenfassung

MIRAGE ist ein neues Sicherheitstool, das verhindert, dass KI-Agenten Geheimnisse stehlen, indem es auf ihre internen „Gedanken-Vibrationen“ hört, anstatt nur ihre fertigen Worte zu lesen. Es erwischt den Dieb nicht durch das, was er sagt, sondern durch die Art und Weise, wie sein Gehirn arbeitet, während er den Diebstahl plant.

Technische Zusammenfassung

Technisches Resümee: MIRAGE – Ein Polarity-Flipping Encoding Subspace in LLM-Agenten

1. Problemstellung

Large Language Model (LLM) Agenten sind anfällig für verdeckte Exfiltration durch indirekte Prompt-Injektion. Angreifer können abgerufene Dokumente mit Anweisungen versehen, die sensible Daten (z. B. Zugangsdaten) mithilfe verschiedener Schemata (Base64, ROT13, Akrostichons, Synonymketten) kodieren und diese über Tool-Aufrufe oder Inline-Text übertragen.

Bestehende Abwehrmechanismen versagen, weil:

• Detektion auf der Ausgabeseite ist ineffektiv: Kodierte Ausgaben erscheinen oft flüssig und natürlich. Perplexitätsbasierte Detektion erreicht nur einen AUC von 0,518, und feinabgestimmte Klassifikatoren (z. B. DeBERTa) kollabieren bei gehaltenen Encoding-Familien auf einen AUC von 0,295.
• Oberflächenmerkmale sind unzureichend: Das Signal der verdeckten Kodierung liegt nicht im Text selbst, sondern in der zugrunde liegenden Berechnung (Computation), die das Modell durchführt.

Die zentrale Herausforderung besteht darin, die Intention und die Berechnung der Kodierung sensibler Daten zu erkennen, bevor die Ausgabe generiert wird oder während sie generiert wird, ohne sich auf oberflächliche Textmuster zu verlassen, die leicht verschleiert werden können.

Die Kernherausforderung ist die Detektion der Absicht und der Berechnung der Kodierung sensibler Daten vor der Generierung der Ausgabe oder während dieser erfolgt, ohne sich auf oberflächliche Textmuster zu verlassen, die leicht verschleiert werden können.

2. Methodik

Das Paper stellt MIRAGE (Model-Internal Readout of Agentic Generation Exfiltration) vor, einen Zwei-Kanal-Echtzeit-Monitor, der mechanistische Eigenschaften von LLMs ausnutzt.

A. Der Encoding-Subspace (EIS)

Die Autoren identifizieren einen gemeinsamen, niedrigdimensionalen Encoding-Subspace innerhalb des Residual-Streams von LLMs.

• Universalität: Über neun Encoding-Familien hinweg (z. B. Caesar, Hex, Akrostichon) und acht Modelle aus fünf Architekturfamilien (Qwen, Mistral, Llama, DeepSeek, Phi) besetzt die Berechnung der Kodierung eine gemeinsame lineare Richtung.
• Architekturübergreifende Konsistenz: Modelle ohne gemeinsame Gewichte, Trainingsdaten oder Tokenizer weisen hochkorrelierte Encoding-Subspaces auf (Spearman $\rho = 0,957$ zwischen Qwen-7B und Mistral-7B).
• Probe-Mechanismus: Eine mittels logistischer Regression trainierte Probe kann die gehaltene neunte Encoding-Familie mit einem AUC von 0,975–1,000 rekonstruieren. Dies bestätigt, dass die Probe die Berechnung liest, nicht die Oberflächenmerkmale (ein statischer Text-Encoder auf demselben Output liegt um 9,4 AUC-Punkte zurück).

B. Die Polarity-Flipping-Signatur (Simulate vs. Outsource)

Eine entscheidende mechanistische Signatur wird am letzten Input-Token (der Planungsphase) entdeckt, noch bevor eine Ausgabe generiert wird:

• Der Flip: Die Richtung des Encoding-Subspaces zeigt einen Polarity-Flip (Vorzeichenwechsel), abhängig von der Ausführungsstrategie:
  • Positive Aktivierung: Wenn das Modell plant, die Kodierung inline zu simulieren (sie selbst zu berechnen).
  • Negative Aktivierung: Wenn das Modell plant, die Kodierung an ein Tool zu delegieren (z. B. einen Python-Interpreter).
• Separabilität: Diese Unterscheidung ist an jedem Decoder-Layer linear separierbar (mittlerer AUC = 1,000 auf kontrollierten Datensätzen).
• Lokalisierung des Schaltkreises (Circuit Localization): Head-Ablation offenbart architekturspezifische Schaltkreise: Qwen-7B nutzt fünf spärliche Layer-0-Heads, während Mistral-7B eine verteilte Repräsentation über die Layer 1–15 aufweist.

C. Der MIRAGE-Monitor

MIRAGE kombelt zwei Signale in Echtzeit:

1. Burst-Kanal: Liest den Encoding-Subspace während der Generierung, um die Inline-Kodierungsberechnung zu detektieren.
2. Intent-Kanal: Liest den Encoding-Subspace am letzten Input-Token, um die Absicht zur Delegation der Kodierung an ein Tool (den Polarity-Flip) zu detektieren.

Das System verwendet L2-Normalisierung und RobustScaler auf den Hidden States, gefolgt von einem logistischen Regressionsklassifikator. Eine „Burst“-Regel (Maximalwert über ein 5-Token-Fenster) aggregiert die Signale während der Generierung.

3. Kernergebnisse

A. Detektionsleistung

• Generalisierung über Encodings hinweg: Die Probe erreicht einen LOEO (Leave-One-Encoding-Out) AUC von 0,975–1,000 über verschiedene Modelle hinweg, was beweist, dass sie die zugrunde liegende Berechnung und nicht die spezifische Syntax der Kodierung detektiert.
• Agenten-Monitoring-Suite: Auf einer Suite von 126 Szenarien für agentische Exfiltration (abdeckend 9 Encoding-Familien, 5 Tools und 81 Angriffe) erreicht MIRAGE einen AUC von 0,918 (95 % KI: [0,857, 0,957]).
  • Dies übertrifft die Detektion rein auf der Ausgabeseite (AUC = 0,518) erheblich.
  • Die Zwei-Kanal-Fusion (Burst + Intent) erfasst 69/81 Angriffe, während der Burst-Kanal allein nur 31/81 erfasst.
• Spezifität: Bei 1.489 benignen Antworten (einschließlich Jailbreaks und Standard-QA) erzeugt die normalisierte Probe 0 Fehlalarme.

B. Die Geometrie des Host-Modells als Constraint

Das Paper betont, dass die Monitor-Leistung fundamental eine Eigenschaft der Geometrie des Host-Modells ist, nicht nur der Probe:

• Qwen-7B: 0 % False Positive Rate (FPR) bei benignen Kodierungsaufgaben.
• Mistral-7B: 18,8 % FPR (erfordert Rekalibrierung).
• Phi-3.5: 100 % FPR (die Geometrie des Modells lässt die Grenze zwischen „erkläre Base64“ und „kodiere diese Zugangsdaten“ kollabieren).
• Implikation: Die Einsetzbarkeit ist eine auditierbare Eigenschaft; Modelle müssen gescreent werden, um sicherzustellen, dass die Geometrie ihres Residual-Streams zwischen verdeckter und offener Kodierung trennt.

C. Adversarielle Robustheit

Die Autoren testeten vier Angreifer-Modelle (Gradient/GCG, Sampling, Projection, Adaptive Prompts) über verschiedene Budgets hinweg.

• Kopplung von Detektion und Fidelität: Jede Konfiguration, die erfolgreich die Aktivierung des Encoding-Subspaces unterdrückte, zerstörte auch die Kodierungsfidelität (die kodierte Ausgabe wurde unbrauchbar).
• Empirische Regularität: Bei den evaluierten Budgets gibt es keine Konfiguration, die gleichzeitig der Detektion entgeht und eine gültige kodierte Ausgabe produziert. Die Autoren erklären dies explizit als eine empirische Regularität innerhalb der getesteten Budgets, nicht als Behauptung einer strukturellen Unmöglichkeit.

4. Beiträge

1. Architekturübergreifende Universalität: Nachgewiesen, dass Kodierungsberechnungen über neun Oberflächenformen hinweg einen gemeinsamen, niedrigdimensionalen Residual-Stream-Subspace in acht Modellen aus fünf Architekturfamilien besetzen.
2. Simulate-vs-Outsource-Mechanismus: Identifizierung einer Polarity-Flipping-Signatur am Planning-Token, die die Inline-Simulation linear von der Tool-Delegation trennt und somit die Detektion ermöglicht, bevor der kodierte Text existiert.
3. Die Geometrie des Host-Modells als auditierbare Eigenschaft: Etablierung der Kompatibilität des Monitors (speziell der benignen Kodierungs-FPR) als eine durch die interne Geometrie des Host-Modells bestimmte Eigenschaft, was sie zu einer einsetzbaren Screening-Metrik macht.
4. Echtzeit-Zwei-Kanal-Monitor: Entwicklung von MIRAGE, das sowohl während der Generierung als auch in der Planungsphase Signale nutzt, um eine hohe Detektionsrate (AUC 0,918) in agentischen Exfiltrationsszenarien zu erreichen, was rein auf der Ausgabeseite basierende Abwehrmechanismen deutlich übertrifft.

5. Bedeutung und Ansprüche

Das Paper positioniert MIRAGE als einen Wechsel von der Ausgabeseiten-Filterung hin zur mechanistischen, Trace-basierten Sicherheit.

• Intention lesen: Es liest die Verhaltensabsicht direkt aus der Geometrie des Residual-Streams ab, statt Inputs oder Outputs zu klassifizieren.
• Dual-Use-Bewusstsein: Die Autoren erkennen die Dual-Use-Natur dieser Arbeit an. Sie berichten lediglich über die Ergebnisse zur Umgehung unter begrenzten Budgets und behaupten nicht, die Kopplung zwischen Detektion und Fidelität strukturell gelöst zu haben, sondern stellen fest, dass zukünftige Trainings-Pipelines diese Entkopplung ermöglichen könnten.
• Generalisierbarkeit: Das „Rezept“, das Verhalten (Intent) aus der mechanistischen Geometrie zu lesen, wird als generalisierbarer Ansatz für andere Sicherheitsbedrohungen von Agenten vorgeschlagen, einschließlich Täuschung, verdeckter Koordination und Tool-Missbrauch.
• Bescheidenheit: Die Autoren sind sorgfältig darin, ihre Ergebnisse als empirische Regularitäten auf den evaluierten Budgets zu rahmen. Sie behaupten nicht, das Problem der Umgehung strukturell gelöst zu haben, sondern demonstrieren einen robusten Detektionsmechanismus, der derzeit mit der Kodierungsfidelität korreliert.

Zusammenfassend zeigt MIRAGE, dass die interne Berechnung der Kodierung sensibler Daten eine distinkte, universelle und detektierbare geometrische Signatur in LLMs hinterlässt, die genutzt werden kann, um Exfiltrationsversuche zu erkennen, bevor sie abgeschlossen sind – vorausgesetzt, die Geometrie des Host-Modells unterstützt diese Trennung.