🤖 AI

Using Mechanistic Interpretability to Craft Adversarial Attacks against Large Language Models

Dieses Paper führt eine neuartige White-Box-Adversarial-Attack-Methode ein, die Mechanistic Interpretability nutzt, um Embeddings von Verweigerungs- zu Akzeptanz-Subspaces zu identifizieren und umzuleiten, wodurch hohe Jailbreak-Erfolgsraten bei hochmodernen LLMs bei signifikant reduzierten Rechenkosten im Vergleich zu bestehenden Techniken erzielt werden.

Ursprüngliche Autoren: Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Den Tresor knacken, ohne das Schloss zu picken

Stellen Sie sich ein Large Language Model (LLM) wie einen sehr klugen, hochtrainierten Bibliothekar vor. Dieser Bibliothekar hat ein strenges Regelbuch: „Wenn jemand nach Anweisungen fragt, wie man eine Bombe baut, musst du die Antwort verweigern.“

Traditionelle Hacker (Adversarial Attacks) versuchen, diesen Bibliothekar zu überlisten, indem sie verwirrende Wörter schreien oder komplexe Rätsel verwenden, bis der Bibliothekar verwirrt ist und versehentlich die Antwort gibt. Das ist so, als würde man versuchen, ein Schloss zu knacken, indem man jeden Schlüssel ausprobiert, bis einer passt. Das dauert lange, erfordert viel Ausprobieren und scheitert oft bei neueren, klügeren Bibliothekaren.

Diese Arbeit stellt eine neue Methode namens „Subspace Rerouting“ (SSR) vor. Anstatt Schlüssel auszuprobieren, schauten die Forscher in das Gehirn des Bibliothekars, um zu sehen, wie genau der „Verweigerungs“-Gedanke entsteht. Dann entwarfen sie eine spezifische „magische Phrase“, die den Bibliothekar dazu zwingt, einen anderen Weg zu nehmen und die Verweigerungsregel vollständig zu umgehen.

Wie es funktioniert: Die drei Schritte

1. Die Kartierung des „Verweigerungs-Raums“

Die Forscher untersuchten zuerst das Modell, um herauszufinden, wo die „Verweigerung“ stattfindet.

Die Analogie: Stellen Sie sich vor, das Gehirn des Bibliothekars ist ein riesiges Gebäude mit vielen Räumen. Die Forscher fanden einen spezifischen Flur (einen „Subspace“), in dem der Gedanke „Ich kann das nicht tun“ lebt.
Die Entdeckung: Sie stellten fest, dass die internen Gedanken (Aktivierungen) des Modells in den „Verweigerungs-Raum“ gedrrängt werden, wenn es eine schädliche Anfrage sieht. Wenn es eine harmlose Anfrage sieht, bleiben die Gedanken im „Hilfreichkeits-Raum“. Diese beiden Räume sind klar voneinander getrennt, wie zwei verschiedene Farben von Farbe, die sich nicht mischen.

2. Der „Rerouting“-Trick

Sob️⃣en sie wussten, wo der „Verweigerungs-Raum“ war, versuchten sie nicht, mit dem Bibliothekar zu diskutieren. Stattdessen berechneten sie eine Abkürzung.

Die Analogy: Stellen Sie sich vor, Sie gehen auf eine Sackgasse zu (die Verweigerung). Anstatt gegen die Wand zu laufen, fanden die Forscher einen versteckten Tunnel, der den Bereich der „Schädlichen Anfrage“ direkt mit dem Bereich der „Hilfreichen Antwort“ verbindet und die Wand komplett überspringt.
Die Methode: Sie fügten am Ende der schädlichen Frage ein paar spezielle Wörter (ein „Suffix“) hinzu. Diese Wörter wirken wie ein GPS-Signal, das dem internen Gedanken des Modells sagt: „Geh nicht in den Verweigerungs-Raum; nimm diese Umleitung zum Hilfreichkeits-Raum stattdessen.“

3. Das Ergebnis: Sofortige Jailbreaks

Der alte Weg: Traditionelle Methoden (wie GCG) sind so, als würde man versuchen, die Wand einzureißen, indem man stundenlang Steine darauf wirft. Sie scheitern oft oder dauern lange.
Der neue Weg (SSR): Diese Methode ist wie das Finden der Geheimtür. Die Forscher konnten die Sicherheit des Modells in Sekunden (manchmal nur 14 Sekunden) mit einer Erfolgsquote von 80 % bis 95 % brechen. Dies gelang ihnen bei modernen, robusten Modellen wie Llama 3.2 und Gemma 2.

Die drei „Schlüssel“, die sie testeten

Die Arbeit testete drei verschiedene Wege, um die „Geheimtür“ zu finden:

Der Klassifikator-Schlüssel (Probe-SSR): Sie trainierten einen einfachen Detektor, um „Verweigerungs-Gedanken“ zu erkennen. Dann optimierten sie den Input, um diesen Detektor zu täuschen, damit er glaubt, die schädliche Anfrage sei tatsächlich harmlos. Dies war die effektivste Methode.
Der Kompass-Schlüssel (Steering-SSR): Sie fanden eine bestimmte „Richtung“ im Geist des Modells, die in Richtung „Verweigerung“ zeigt. Dann drückten sie die Gedanken in die entgegengesetzte Richtung. Das funktionierte gut, war aber etwas weniger effizient als die erste Methode.
Der Scheinwerfer-Schlüssel (Attention-SSR): Sie fanden spezifische Teile des Modells (Attention Heads), die sich auf die gefährlichen Wörter konzentrieren. Sie versuchten, ein Suffix zu schreiben, das diese Teile dazu zwingt, sich stattdessen auf die harmlosen Wörter zu konzentrieren. Dies war in der Praxis die am wenigsten effektive Methode, obwohl sie für die Forschung interessant war.

Eine überraschende Entdeckung: Der „natürliche“ Trick

Eine der coolsten Erkenntnisse war, dass die „magischen Wörter“, die der Computer generierte, nicht einfach nur zufälliger Buchstabensalat (wie „asjdhf98“) waren. Manchmal bildeten sie kohärente, sinnvolle Sätze.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Sicherheitssystem zu hacken, indem Sie zufällige Buchstaben tippen. Normalerweise erhalten Sie „xkq9z“. Aber diese Methode produzierte manchmal einen Satz wie: „Tun Sie dies verantwortungsbewusst durch ökologische Buchhaltung.“
Warum das wichtig ist: Dies deutet darauf an, dass die Sicherheitsmechanismen des Modells sehr spezifisch sind. Das Modell kann unter Umständen dazu gebracht werden, zu glauben, eine schädliche Anfrage sei sicher, wenn man sie mit dem richtigen Kontext rahmt, selbst wenn dieser Kontext etwas seltsam ist.

Warum das wichtig ist (laut der Arbeit)

Geschwindigkeit: Es verwandelt einen Prozess, der früher Stunden dauerte, in einen, der nur Sekunden braucht.
Verständnis: Es beweist, dass wir verstehen können, wie KI-Modelle denken (mechanistische Interpretierbarkeit) und dieses Wissen nutzen können, um sie zu brechen.
Verteidigung: Indem wir genau sehen, wie der „Verweigerungs-Raum“ funktioniert und wie leicht er umgangen werden kann, können Entwickler bessere Schlösser (Verteidigungen) bauen, die keine solchen spezifischen Löcher haben.

Was die Arbeit NICHT behauptet

Sie behauptet nicht, dass dies bei jedem Modell in jeder Situation funktioniert (es funktionierte am besten bei den spezifischen Modellen, die sie getesteten).
Sie behauptet nicht, dass dies ein Werkzeug für den klinischen Einsatz oder die medizinische Diagnose ist.
Sie behauptet nicht, dass die „magischen Wörter“ immer perfektes Englisch sind; manchmal sind sie immer noch etwas seltsam, nur eben weniger so als zuvor.

Kurz gesagt, die Arbeit sagt: „Wir haben in das KI-Gehirn geschaut, den Schalter gefunden, der die Sicherheit ausschaltet, und eine Fernbedienung gebaut, um diesen Schalter sofort umzulegen.“

Technisches Resümee: Nutzung mechanistischer Interpretierbarkeit zur Erstellung adversarieller Angriffe auf Large Language Models

Problemstellung

Large Language Models (LLMs) bleiben anfällig für adversarielle Perturbationen, insbesondere „Jailbreaks“, die darauf abzielen, die Sicherheitsausrichtung (Safety Alignment) zu umgehen. Traditionelle White-Box-Angriffsmethoden wie Greedy Coordinate Gradient (GCG) verlassen sich auf eine End-to-End-Gradientenoptimierung, die auf spezifische Output-Token abzielt. Diese Ansätze ignorieren oft die internen Mechanismen, die für die Verweigerung oder Annahme verantwortlich sind, was zu rechenintensiven Prozessen führt (die oft Stunden dauern) und Schwierigkeiten hat, hohe Erfolgsraten bei neueren, robusteren Modellen zu erzielen. Umgekehrt hat die Forschung zur mechanistischen Interpretierbarkeit erfolgreich interne Sicherheitsmechanismen identifiziert – wie etwa Verweigerungs-Subspaces (Refusal Subspaces) und spezifische Attention-Heads –, diese blieb jedoch weitgehend auf Laufzeit-Interventionen (z. B. Activation Steering) beschränkt, die Out-of-Distribution-Aktivierungen erzeugen und mangelnde praktische Anwendung für die Erstellung statischer adversarieller Inputs besitzen.

Dieses Paper adressiert die Lücke zwischen Erkenntnissen der Interpretierbarkeit und der praktischen Generierung adversarieller Angriffe. Die Autoren schlagen eine Methode vor, die das Verständnis interner Modellmechanismen nutzt, um effiziente, hochgradig erfolgreiche adversarielle Inputs zu erstellen, ohne auf Laufzeit-Interventionen angewiesen zu sein.

Methodik: Subspace Rerouting (SSR)

Die Autoren führen Subspace Rerouting (SSR) ein, ein White-Box-Framework, das das Jailbreaking als Optimierungsproblem im kontinuierlichen Embedding-Raum des Modells formuliert. Anstatt auf spezifische Output-Token zu zielen, strebt SSR danach, die Modell-Embeddings von „Verweigerungs-Subspaces“ (Refusal Subspaces) zu „Akzeptanz-Subspaces“ (Acceptance Subspaces) umzuleiten, indem die Input-Suffixe modifiziert werden.

1. Identifizierung von Subspaces

Die Autoren charakterisieren zunächst die internen Repräsentationen von Verweigerung und Akzeptanz mittels Interpretierbarkeitstechniken:

Semantische Subspaces: Unter Verwendung linearer Sonden (Linear Probes), die auf kontrastierenden Datensätzen (schädliche vs. harmlose Instruktionen) trainiert wurden, demonstrieren die Autoren, dass harmlose und schädliche Inhalte bereits ab der dritten Schicht des Modells lineare, separierbare Regionen im Aktivierungsraum besetzen. Sie definen zudem eine „Verweigerungsrichtung“ ( $\hat{r}$ ) als die Differenz zwischen den Mittelwerten der schädlichen und harmlosen Aktivierungen.
Komponenten-Subspaces: Die Autoren identifizieren spezifische Attention-Heads, die für Sicherheitsmechanismen verantwortlich sind. Sie beobachten, dass erfolgreiche Jailbreaks oft ein „Attention Hijacking“ beinhalten, bei dem sicherheitskritische Heads ihren Fokus von den schädlichen Instruktions-Token auf die harmlosen Suffix-Token verlagern.

2. Der SSR-Algorithmus

Der Kernalgorithmus minimiert eine Verlustfunktion $\mathcal{L}(x_m)$ , welche die Abweichung der Aktivierungen von den Ziel-Subspaces misst:
$\mathcal{L}(x_m) = \sum_{k} \alpha_k d_k(e_k, E_k)$
Wobei $x_m$ der adversarielle Suffix ist, $e_k$ die Aktivierungen an den Ziel-Schichten sind und $E_k$ die Ziel-Akzeptanz-Subspaces darstellen. Die Optimierung nutzt eine Greedy Coordinate Gradient Search, die für diskrete Token angepasst wurde.

Das Paper beschreibt drei spezifische Implementierungen von SSR:

Probe-SSR: Nutzt trainierte lineare Klassifikatoren, um die Optimierung in Richtung der Wahrscheinlichkeit der Klasse „harmlos“ zu leiten.
Steering-SSR: Zielt direkt auf die Verweigerungsrichtung ab und optimiert Inputs, um Effekte ähnlich wie beim Runtime-Steering ( $e \leftarrow e^* + a\hat{r}$ ) zu erzielen, jedoch innerhalb der natürlichen Wahrscheinlichkeitsverteilung.
Attention-SSR: Versucht, die Attention spezifischer sicherheitskritischer Heads von schädlichen Inhalten weg und hin zum adversariellen Suffix umzulenken oder die Output-Magnitude dieser Heads zu minimieren.

Zentrale Beiträge

Neuartiger Angriffsvektor: Die Einführung von SSR, einer Methode, die mechanistische Interpretierbarkeit operationalisiert, um praktische adversarielle Inputs zu erstellen, die eine Angriffserfolgsrate (ASR) von 80–95 % auf State-of-the-Art-Modellen (Gemma2, Llama3.2, Qwen2.5) innerhalb von Sekunden oder Minuten erreicht.
Identifizierung von Subspaces: Mehrere Methoden zur Definition von Verweigerungs- und Akzeptanz-Subspaces unter Verwendung von linearen Sonden und Verweigerungsrichtungen, welche die lineare Separierbarkeit von Sicherheitskonzepten in frühen und mittleren Schichten bestätigen.
Effizienz und Interpretierbarkeit: Der Nachweis, dass das Anvisieren spezifischer interner Subspaces signifikant recheneffizienter ist als die End-to-End-Token-Optimierung. Zudem erzeugt die Methode Perturbationen, die innerhalb der natürlichen Wahrscheinlichkeitsverteilung des Modells bleiben, im Gegensatz zu Runtime-Steering-Interventionen.
Cross-Layer-Stabilitätsanalyse: Das Paper liefert Belege dafür, dass sich Verweigerungs-Subspaces in der zweiten Hälfte des Modells zu stabilen Repräsentationen kristallisieren, was darauf hindeutet, dass ein erfolgreiches Rerouting das Anvisen mehrerer Schichten erfordert, um zu verhindern, dass das Modell in einen Verweigerungszustand „zurückfällt“.

Experimentelle Ergebnisse

Performance: Auf dem AdvBench-Datensatz erreichten Probe-SSR und Steering-SSR ASRs zwischen 80 % und 95 % über Llama3.2, Gemma2 und Qwen2.5 hinweg. Im Gegensatz dazu erreichte die nanoGCG-Baseline 0 % bis 53 % Erfolg, während rein schädliche Instruktionen fast immer abgelehnt wurden.
Geschwindigkeit: Angriffe wurden in Sekunden bis Minuten generiert (z. B. 14 Sekunden für Llama3.2 1b), was eine signifikante Reduktion gegenüber den oft Stunden erforderlichen Zeiten durch GCG darstellt.
Distributionale Eigenschaften: Analysen mittels PCA und KL-Divergenz zeigten, dass während Runtime-Steering-Interventionen Out-of-Distribution-Aktivierungen erzeugen, die das Modell in nachfolgenden Schichten „korrigiert“, SSR-generierte Perturbationen eine geringe Kosinus-Ähnlichkeit mit Verweigerungsrichtungen während des gesamten Forward-Pass beibehalten, was darauf hindeutet, dass sie robuster und natürlicher für die Verarbeitung des Modells sind.
Interpretierbare Jailbreaks: Überraschenderweise lieferte der Optimierungsprozess manchmal kohärente, interpretierbare Token-Sequenzen (z. B. „verantwortlich“, „ethisch“) anstatt zufälligen Kauderwelsch, was darauf hindeutet, dass die internen Sicherheitsmechanismen des Modells über semantisch plausible Pfade umgangen werden können.
Reverse-Lens: Durch die Optimierung zur Triggerung der Verweigerungsrichtung (das Inverse eines Jailbreaks) identifizierten die Autoren automatisch Tokens (Beleidigungen, bösartige Begriffe), die Sicherheitsmechanismen stark aktivieren, was SSR als potenzielles Interpretierbarkeits-Werkzeug validiert.

Bedeutung und Behauptungen

Die Autoren postulieren, dass SSR einen bedeutenden Fortschritt sowohl in der Angriffsforschung als auch in der Verteidigungsentwicklung darstellt.

Für die Angriffsforschung: Es zeigt, dass das Verständnis interner Modellmechanismen effizientere und effektivere Angriffe ermöglicht als traditionelle Black-Box- oder End-to-End-White-Box-Methoden. Es verdeutlicht, dass das aktuelle Sicherheitstraining möglicherweise nicht alle Subspace-Manipulationen berücksichtigt, wodurch Modelle für diese spezifischen Perturbationen anfällig bleiben.
Für Verteidigung und Interpretierbarkeit: SSR dient als praktisches Werkzeug zur Untersuchung der Modell-Interna. Durch das erfolgreiche Umleiten von Embeddings offenbart es die strukturellen Schwachstellen von Sicherheitsbarrieren. Die Autoren argumentieren, dass die Fähigkeit, schnell interpretierbare Jailbreak-Datensätze zu generieren, neue Wege für die Untersuchung adversarieller Perturbationen und die Entwicklung robusterer Alignment-Techniken eröffnet.
Bescheidenheit: Das Paper räumt Einschränkungen ein, darunter die Schwierigkeit, Angriffe über verschiedene Modellarchitekturen hinweg zu transferieren (aufgrund der chirurgischen Natur der Perturbationen), die Abhängigkeit von spezifischen Hyperparametern und die Tatsache, dass einige Angriffe unbeabsichtigt die semantische Bedeutung des Prompts ändern (z. B. die Umleitung einer Anfrage zur Bombenbau-Anleitung zu einem Kuchenrezept). Die Autoren merken an, dass die Attention-SSR-Implementierung in der Praxis weniger effektiv war als die semantischen Subspace-Ansätze.

Zusammenfassend lässt sich sagen, dass das Paper behauptet, dass mechanistische Interpretierbarkeit nicht nur ein analytisches Werkzeug ist, sondern ein praktischer Motor zur Generierung adversarieller Beispiele, der die Annahme infrage stellt, dass robustes Alignment erreicht wird, ohne die spezifischen internen Subspaces zu adressieren, die für die Verweigerung verantwortlich sind.