🤖 AI

Why Do Aligned LLMs Remain Jailbreakable: Refusal-Escape Directions, Operator-Level Sources, and Safety-Utility Trade-off

Dieser Beitrag untersucht, warum abgestimmte große Sprachmodelle weiterhin anfällig für Jailbreaks sind, indem er das Konzept der Verweigungs-Flucht-Richtungen (RED) einführt, nachweist, dass diese Schwachstellen aus spezifischen Quellen auf Operator-Ebene innerhalb der Modellarchitektur stammen, und zeigt, dass ihre Beseitigung einen inhärenten Trade-off zwischen Sicherheit und Nützlichkeit erzeugt.

Ursprüngliche Autoren: Yu Chen, Yuanhao Liu, Qi Cao

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yu Chen, Yuanhao Liu, Qi Cao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut trainierten Roboter-Assistenten. Sie haben ihm strenge Regeln beigebracht: „Wenn jemand Sie auffordert, etwas Gefährliches zu tun, sagen Sie: ‚Nein, das kann ich nicht.'" Dies wird als Alignment bezeichnet.

Allerdings haben clevere Hacker Wege gefunden, diesen Roboter dazu zu bringen, seine Regeln zu ignorieren. Sie verwenden spezielle „Jailbreak"-Prompts – wie einen geheimen Code oder eine komplexe Geschichte –, um den Roboter dazu zu bringen, auf gefährliche Aufforderungen mit „Ja" zu antworten.

Diese Arbeit stellt eine fundamentale Frage: Warum funktioniert dieser Trick immer noch? Obwohl der Roboter darauf trainiert ist, sicher zu sein, warum kann er dennoch gebrochen werden?

Die Autoren schlagen eine neue Betrachtungsweise dieses Problems vor, die auf einigen Schlüsselkonzepten basiert:

1. Der „Fluchttunnel" (Verweigerungs-Fluchtrichtungen)

Stellen Sie sich das Gehirn des Roboters als eine riesige, mehrdimensionale Karte vor. Wenn Sie eine gefährliche Frage stellen, folgt der Roboter normalerweise einem Pfad, der zu einem großen roten „STOPP"-Schild führt (Verweigerung).

Die Arbeit legt nahe, dass direkt neben diesem „STOPP"-Schild verborgene, enge Tunnel existieren, die als Verweigerungs-Fluchtrichtungen (Refusal-Escape Directions, RED) bezeichnet werden.

Wie sie funktionieren: Diese Tunnel ermöglichen es, die Eingabe des Roboters nur winzig zu verschieben. Wenn Sie die Eingabe in die richtige Richtung drücken, rutscht der Roboter vom „STOPP"-Pfad auf einen „GO"-Pfad, denkt aber immer noch, er würde dieselbe gefährliche Frage beantworten.
Die Analogie: Denken Sie an einen Sicherheitsbeamten an einem Tor. Der Beamte ist trainiert, jeden zu stoppen, der eine Waffe trägt. Wenn Sie jedoch zum Beamten gehen und Ihren Körper leicht neigen, während Sie die Waffe halten (ohne die Waffe tatsächlich zu verändern), könnte der Beamte verwirrt werden und Sie passieren lassen, obwohl die Waffe immer noch da ist. Die „Neigung" ist die Fluchtrichtung.

2. Die „undichten Rohre" (Quellen auf Operator-Ebene)

Die Autoren zerlegen das Gehirn des Roboters in seine interne Rohrleitung (Schichten mathematischer Operationen wie Attention und Normalisierung). Sie haben festgestellt, dass diese Fluchttunnel kein Zauberwerk sind; sie werden durch spezifische „Lecks" in der Rohrleitung verursacht.

Sie identifizierten drei Haupttypen von Lecks, die diese Fluchttunnel erzeugen:

Normalisierungs-Lecks: Wie ein Wasserfilter, der den Wasserdruck so verändert, dass versehentlich eine Seitentür geöffnet wird.
Residual-Verkabelungs-Lecks: Wie Rohre, die sich selbst umschlingen und einen Druckaufbau erzeugen, der Wasser durch einen Riss zwingt.
Terminal-Lecks: Dies ist das wichtigste. Es ist wie eine Hintertür am Ende des Gebäudes, die nicht richtig abgeschlossen war. Die Arbeit stellt fest, dass erfolgreiche Jailbreaks hauptsächlich diese spezifische „Hintertür" nutzen, um hineinzukommen.

3. Die „unmögliche Balanceübung" (Trade-off zwischen Sicherheit und Nützlichkeit)

Hier ist der überraschendste Teil der Arbeit. Die Autoren beweisen mathematisch, dass Sie diese Fluchttunnel nicht vollständig abdichten können, ohne die Fähigkeit des Roboters, hilfreich zu sein, zu zerstören.

Die Analogie: Stellen Sie sich den Roboter als Auto vor. Die „Fluchttunnel" sind wie eine bestimmte Art, wie das Lenkrad wackelt, wenn Sie nach links lenken.
- Um das Wackeln zu stoppen (den Jailbreak zu beheben), müssen Sie eine bestimmte Schraube festziehen.
- Aber dieselbe Schraube ermöglicht es dem Auto auch, sanft nach links zu lenken, wenn Sie wollen, zum Lebensmittelgeschäft zu fahren (harmlose Aufforderungen).
- Wenn Sie die Schraube fest genug anziehen, um das Wackeln vollständig zu stoppen, könnte das Auto stecken bleiben und sich weigern, überhaupt noch nach links zu lenken. Wenn Sie sie locker lassen, kann das Auto lenken, aber es könnte wackeln und einem Hacker erlauben, das Steuer zu übernehmen.

Die Arbeit nennt dies einen bedingten Trade-off zwischen Sicherheit und Nützlichkeit. Das bedeutet, dass solange der Roboter flexibel genug sein muss, um normale Fragen zu beantworten, er inhärent eine gewisse strukturelle Schwäche haben wird, die ein cleverer Angreifer ausnutzen kann.

4. Was die Experimente zeigten

Die Forscher testeten diese Theorie an mehreren beliebten KI-Modellen (wie Qwen, Llama und Gemma) sowie verschiedenen Hacking-Methoden.

Ergebnis 1: Als sie „Dummy"-Tokens (wie leere Platzhalter) zur Eingabe hinzufügten, war es, als würden sie eine Taschenlampe auf die Fluchttunnel richten. Plötzlich wurden die verborgenen „Lecks" sichtbar und messbar.
Ergebnis 2: Als sie beobachteten, wie der Roboter getäuscht wurde, sahen sie, dass der Roboter nicht plötzlich eine neue Art erfand, „Ja" zu sagen. Stattdessen rutschte er einfach den bereits vorhandenen „Fluchttunnel" (speziell das „Terminal-Leck" oder die Hintertür) hinunter, der bereits da war.

Zusammenfassung

Die Arbeit argumentiert, dass KI-Jailbreaks nicht nur darum gehen, die perfekten magischen Wörter zu finden. Es geht darum, strukturelle Schwächen auszunutzen, die im Design der KI eingebaut sind. Diese Schwächen existieren, weil die KI flexibel sein muss, um nützlich zu sein. Die Autoren schlagen vor, dass wir KI sicherer machen sollten, indem wir nicht nur versuchen, jedes mögliche „böse Wort" zu blockieren; wir müssen diese spezifischen strukturellen „Fluchttunnel" verstehen und patchen, auch wenn es mathematisch unmöglich sein könnte, sie perfekt zu beheben, ohne die KI weniger hilfreich zu machen.

Technische Zusammenfassung: Warum bleiben abgestimmte LLMs anfällig für Jailbreaks?

Problemstellung

Trotz Sicherheitsabstimmungstechniken wie Reinforcement Learning from Human Feedback (RLHF) bleiben Large Language Models (LLMs) anfällig für Jailbreak-Angriffe. Diese Angriffe, einschließlich adversarischer Suffixe, Prompt-Umschreibungen und automatisierter Template-Suchen, umgehen erfolgreich Verweigerungsmechanismen, um schädliche Ausgaben zu induzieren. Während neuere mechanistische Studien latente Merkmale und Verschiebungen in der Repräsentation identifiziert haben, die mit dem Erfolg von Jailbreaks verbunden sind, bleiben diese weitgehend phänomenologisch. Eine fundamentale theoretische Frage bleibt unbeantwortet: Warum bleiben abgestimmte LLMs anfällig für Jailbreaks, und welche spezifischen strukturellen Schwachstellen in der Modellarchitektur ermöglichen dies?

Methodik

Die Autoren schlagen eine kontinuierliche Eingabe-Transformationsansicht zur Analyse von Jailbreaks vor. Anstatt Jailbreaks ausschließlich als diskrete Prompt-Konstruktionen zu betrachten, modellieren sie den Übergang von einem schädlichen Prompt zu seinem Jailbreak-Gegenstück als eine kontinuierliche Kurve im Eingabe-Einbettungsraum.

1. Theoretischer Rahmen: Verweigerungs-Flucht-Richtungen (RED)

Das zentrale theoretische Objekt, das eingeführt wird, ist die Verweigerungs-Flucht-Richtung (Refusal-Escape Direction, RED).

Definition: REDs sind lokale Störungsrichtungen um einen schädlichen Input herum, die das Verhalten des Modells von einer Verweigerung zu einer Antwort verschieben, während die Interpretation des Inputs durch das Modell hinsichtlich der schädlichen Semantik erhalten bleibt.
Formalismus: Sei $X(\eta)$ eine kontinuierliche Transformation von einem schädlichen Prompt $X(\eta_0)$ zu einem Jailbreak-Prompt $X(\eta_\star)$ . Eine RED ist eine Tangentialrichtung $X'(\eta)$ , die innerhalb der „schädliche-Semantik-erhaltenden Menge" $P(X)$ liegt (Richtungen, die die Interpretation des Schadens durch das Modell nicht verändern), aber gleichzeitig das „Zielverhaltens-Signal" $\Phi_Y(X)$ (das Signal, das Verweigerung von Antwort unterscheidet) verändert.
Bedeutung: Die Existenz nicht-trivialer REDs impliziert, dass das Modell strukturelle Freiheitsgrade besitzt, die es einem Angreifer ermöglichen, das Verweigerungsverhalten zu modulieren, ohne die wahrgenommene Schädlichkeit der Anfrage zu verändern.

2. Operatorebene-Zerlegung

Die Arbeit beweist, dass REDs exakt in Beiträge aus spezifischen Quellen innerhalb der Operatorstruktur des Modells zerlegt werden können (speziell für Pre-Norm-Residual-LLMs wie Architekturen der LLaMA-Familie).

Zerlegung: Die RED $R_Y(X)$ ist die Summe von transportierten Beiträgen aus Leckage-Quellen in jeder Schicht und einer terminalen Quelle.
Leckage-Quellen: Diese entstehen aus der Interaktion zwischen der Empfindlichkeit gegenüber dem Zielverhalten und dem subspace, der empfindlich auf schädliche Semantik reagiert, in jeder Schicht. Sie werden kategorisiert in:
- Normalisierungsquellen: Entstanden durch LayerNorm/RMSNorm-Operationen.
- Self-Attention- und MLP-Quellen: Entstanden durch die expressiven Module.
- Residual-Wiring-Quellen: Entstanden durch die residualen Verbindungen (Identitäts- und Körperzweige).
Terminale Quelle: Eine Diskrepanz zwischen der Zielverhaltensrichtung und dem propagierten subspace, der empfindlich auf schädliche Semantik reagiert, im finalen versteckten Zustand.

3. Analytische Constraints und Safety–Utility-Trade-off

Die Autoren identifizieren Normalisierungs-, Residual-Wiring- und terminale Quellen als analytisch eingeschränkt.

Constraint: Die Eliminierung dieser Quellen erfordert die Erfüllung spezifischer analytischer Verschwindungsbedingungen (z. B. Konsistenz zwischen Eingabe-/Ausgabe-Subspaces) über einen zusammenhängenden offenen Bereich des Eingaberaums hinweg.
Theorem: Wenn das „RED-Eliminierungsfeld im schädlichen Bereich" (die Aktion, die erforderlich ist, um REDs in der Nähe schädlicher Inputs zu eliminieren) und das „Verhaltensfeld im harmlosen Bereich" (die Aktion, die erforderlich ist, um harmlose Antworten zu erhalten) nicht analytisch identisch sind, dann kann keine einzelne Parametereinstellung beide Anforderungen exakt erfüllen.
Implikation: Dies etabliert einen conditionalen Safety–Utility-Trade-off. Die perfekte Eliminierung von REDs (und damit der Anfälligkeit für Jailbreaks) im schädlichen Bereich könnte mathematisch die Verschlechterung des Verhaltens im harmlosen Bereich im harmlosen Bereich notwendig machen, es sei denn, die Geometrie des Modells stimmt zufällig perfekt überein.

Hauptbeiträge

Einführung von RED: Formalisierung von Verweigerungs-Flucht-Richtungen als theoretisches Objekt zur Untersuchung der Anfälligkeit für Jailbreaks unter einer kontinuierlichen Eingabe-Transformationsansicht.
Exakte Zerlegung: Beweis, dass REDs exakt in Beiträge aus Quellen auf Operatorebene (Normalisierung, Self-Attention, MLP, Residual-Wiring und terminale Quellen) basierend auf der Modellarchitektur zerlegt werden können.
Identifikation analytischer Constraints: Identifikation von Normalisierungs-, Residual-Wiring- und terminalen Quellen als analytisch eingeschränkt. Zeigen, dass die Eliminierung von REDs einen conditionalen Safety–Utility-Trade-off hervorruft, der erklärt, warum perfekte Sicherheit und Nützlichkeit unter exakten Eliminierungsbedingungen möglicherweise gegenseitig ausschließend sind.
Empirische Validierung: Analyse von REDs über fünf Modelle (Qwen3, Llama-3.1, Gemma-3) und fünf Angriffsmethoden (GCG, AutoDAN, GPTFuzzer, TAP, ReNeLLM).

Experimentelle Ergebnisse

Die Experimente validieren die Theorie aus zwei komplementären Perspektiven:

Hinzugefügte Token-Dimensionen legen RED offen:
- Bei „sauberen" schädlichen Inputs (ohne Padding) heben sich Beiträge verschiedener Quellen auf Operatorebene oft gegenseitig auf, was zu einer nahezu null RED führt.
- Wenn „Platzhalter"-Token-Dimensionen hinzugefügt werden (die die Struktur vieler Jailbreaks nachahmen), bricht diese Aufhebung zusammen. Die hinzugefügten Dimensionen schaffen neue Transportkanäle und legen eine signifikante, nicht-null RED offen.
- Ergebnis: Die terminale Quelle trägt am stabilsten und prominentesten zur freigelegten RED bei, was darauf hindeutet, dass erfolgreiche Jailbreaks Nebenkanäle außerhalb der primären schädlichen-Semantik-Interpretation des Modells ausnutzen.
Jailbreak-Übergänge stimmen mit terminalen Quellen überein:
- Bei der Analyse der kontinuierlichen Transformation von schädlichen zu Jailbreak-Prompts stellten die Autoren fest, dass die Verschiebung von „Verweigerung zu Antwort" in vielen Fällen weitgehend in der ersten Hälfte der Transformation stattfindet.
- Die lokale Verhaltensverschiebung entlang der Transformation wird fast vollständig durch die RED erklärt ( $\rho_R \approx 1$ ).
- Ergebnis: Der Transformations-Tangentialvektor stimmt am konsistentesten mit Beiträgen der terminalen Quelle überein. Dies legt nahe, dass erfolgreiche Jailbreaks keine neuen Mechanismen schaffen, sondern vielmehr bestehende, sichtbare REDs (insbesondere den terminalen Nebenkanal) ausnutzen, die bereits beim initialen schädlichen Input vorhanden sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine strukturelle Erklärung dafür zu liefern, warum abgestimmte LLMs anfällig für Jailbreaks bleiben, und geht über phänomenologische Beobachtungen hinaus zu einem theoretischen Rahmen, der auf der Zerlegung auf Operatorebene basiert.

Strukturelle Schwachstelle: Die Anfälligkeit für Jailbreaks ist nicht lediglich ein Versagen der Trainingsdaten, sondern eine strukturelle Eigenschaft, bei der das Modell „Fluchtrichtungen" beibehält, die eine Verhaltensmodulation ohne semantische Veränderung ermöglichen.
Der Trade-off: Die Arbeit postuliert, dass die Schwierigkeit, perfekte Sicherheit zu erreichen, nicht nur eine Optimierungs-Herausforderung ist, sondern potenziell eine fundamentale Grenze darstellt. Die Anforderung, REDs zu eliminieren (Sicherheit), während harmlose Antworten erhalten bleiben (Nützlichkeit), setzt widersprüchliche analytische Constraints auf die gemeinsamen expressiven Module (Self-Attention und MLP).
Implikationen für die Verteidigung: Die Autoren schlagen vor, dass zukünftige Abstimmungsstrategien sich nicht ausschließlich auf die Auflistung abgeschlossener Jailbreak-Prompts konzentrieren sollten. Stattdessen sollten Verteidigungen darauf abzielen, lokale REDs um schädliche Inputs herum zu unterdrücken, mit besonderer Aufmerksamkeit auf Beiträge der terminalen Quelle, die als der stabilste und ausnutzbarste Pfad für Jailbreaks erscheinen.

Die Arbeit schließt bescheiden, indem sie feststellt, dass, obwohl diese strukturellen Schwachstellen und Trade-offs identifiziert wurden, praktische Verteidigungen möglicherweise keine exakte RED-Eliminierung erfordern, sondern vielmehr eine Unterdrückung unter einen nützlichen Schwellenwert, und dass die spezifischen Bedingungen für den Safety–Utility-Trade-off weiterer empirischer und theoretischer Untersuchungen bedürfen.