💬 NLP

What Intermediate Layers Know: Detecting Jailbreaks from Entropy Dynamics

Diese Arbeit zeigt auf, dass Jailbreak-Angriffe in Large Language Models durch die Analyse des monotonen Trends der Token-Ebene-basierten prädiktiven Entropie über die Zwischenschichten hinweg detektiert werden können, was offenbart, dass schädliche Absichten in strukturierten Unsicherheitsdynamiken anstatt in statischen aggregierten Statistiken oder Ausgaben der finalen Schicht kodiert sind.

Ursprüngliche Autoren: Sofiia Nikolenko, Michele Papucci, Mina Rezaei, Shireen Kudukkil Manchingal

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sofiia Nikolenko, Michele Papucci, Mina Rezaei, Shireen Kudukkil Manchingal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine sehr ausgeklügelte, mehrstöckige Fabrik vor. Wenn Sie eine Frage (einen Prompt) in diese Fabrik eintippen, wandern die Informationen durch die Etagen (Layer) des Gebäudes nach oben. Im Erdgeschoss wird der rohe Text entgegengenommen. Bis der Text die oberste Etage erreicht, hat die Fabrik den Text verarbeitet und ist bereit, eine Antwort auszudrucken.

Seit Jahren versuchen Sicherheitsexperten, „Jailbreaks“ abzufangen – trickreiche Prompts, die darauf abzielen, die Fabrik dazu zu bringen, gefährliche oder verbotene Ausgaben zu produzieren. Die meisten Abwehrmechanismen schauen auf den Eingang (den Text, den Sie getippt haben) oder den Ausgang (die Antwort, die die Fabrik ausgedruckt hat). Aber diese Arbeit stellt eine andere Frage: Was passiert im Inneren der Fabrik, während die Arbeit verrichtet wird?

Hier ist, was die Forscher herausgefunden haben, einfach erklärt:

1. Der „Verwirrungs-Meter“ (Entropie)

Im Inneren der Fabrik besitzt die Maschine bei jedem einzelnen Schritt einen „Verwirrungs-Meter“. Dieser Meter misst, wie unsicher sich die Maschine über das nächste Wort ist.

Niedrige Verwirrung: Die Maschine ist sich sehr sicher (z. B. „Der Himmel ist... blau“).
Hohe Verwirrung: Die Maschine rät wild herum (z. B. „Der Himmel ist... vielleicht lila? oder ein Toaster?“).

Die Forscher haben nicht nur den durchschnittlichen Verwirrungsgrad des gesamten Prompts betrachtet. Stattdessen haben sie beobachtet, wie sich der Verwirrungs-Meter bewegte, während der Satz aufgebaut wurde, Wort für Wort.

2. Die „Glatte Rutsche“ vs. die „Flache Linie“

Das Team fand ein deutliches Muster darin, wie sich dieser Meter bei schlechten Prompts (Jailbreaks) im Vergleich zu guten Prompts (sicheren Fragen) verhält.

Sichere Prompts: Stellen Sie sich den Verwirrungs-Meter wie einen ruhigen See vor. Er mag zwar ein wenig kräuseln, aber insgesamt bleibt er während des Fortschreitens des Satzes relativ flach und stetig.
Jailbreak-Prompts: Stellen Sie sich den Verwirrungs-Meter wie eine rutschige Rutsche vor. Während sich der schlechte Prompt entfaltet, bewegt sich die Unsicherheit der Maschine nicht einfach nur hoch oder niedrig; sie bewegt sich in einer sehr spezifischen, glatten, gleitenden Richtung (entweder wird sie stetig selbstbewusster oder stetig verwirrter), während sich die Wörter häufen.

Die Forscher erkannten, dass die Art und Weise, wie sich der Meter bewegt (die „Trajektorie“), der wahre Hinweis ist, nicht nur, wie hoch der Meter in einem bestimmten Moment steht.

3. Das Geheimnis der „Mittleren Etage“

Hier ist der überraschendste Teil: Dieses „rutschige Rutsche“-Muster ist nicht in der obersten Etage (dem letzten Layer, in dem die Antwort gedruckt wird) oder in der untersten Etage sichtbar.

Die oberste Etage: Bis die Nachricht die oberste Etage erreicht, hat die Fabrik das Signal „aufgeräumt“. Das gleitende Muster verschwindet oder wird verzerrt.
Die mittleren Etagen: Das „rutschige Rutsche“-Muster ist am lautesten und deutlichsten in der Mitte des Gebäudes (speziell um die 60–70 % Marke der Layer nach oben hin).

Es ist, als hätte die Fabrik eine geheime „Gefahrenzone“ in der Mitte ihrer Verarbeitungslinie, in der die Struktur einer schlechten Anfrage am offensichtlichsten ist, aber bis das Produkt fertig ist, sind diese Beweise geglättet worden.

4. Warum das wichtig ist (Ohne Training)

Die Forscher bauten ein Werkzeug, das wie eine Sicherheitskamera fungiert, die nur auf diese mittleren Etagen gerichtet ist.

Kein neues Training: Sie mussten der Fabrik nichts Neues beibringen. Sie haben lediglich die Bewegungen des bestehenden „Verwirrungs-Meters“ beobachtet.
Es funktioniert überall: Sie testeten dies an drei verschiedenen großen Fabrikdesigns (Llama, Qwen und Gemma). Obwohl die Fabriken unterschiedlich gebaut wurden, tauchte das „rutschige Rutsche“-Muster in allen von ihnen in den mittleren Etagen auf, wenn ein Jailbreak versucht wurde.
Besser als alte Methoden: Den durchschnittlichen Verwirrungsgrad (statische Merkmale) zu betrachten, war so, als würde man versuchen, die Geschwindigkeit eines Autos zu erraten, indem man ein einzelnes Foto seines Tachometers betrachtet. Das Beobachten der Trajektorie (dynamische Merkmale) ist wie das Beobachten eines Autos, das einen Hügel hinunter beschleunigt; es verrät einem viel mehr darüber, was tatsächlich passiert.

Die Kehrseite (Einschränkungen)

Die Arbeit nennt zwei Hauptbeschränkungen:

Man muss das Innere sehen können: Um diese Methode anzuwenden, benötigen Sie Zugriff auf die „mittleren Etagen“ der Fabrik (die internen Daten). Wenn Sie eine Black-Box-KI verwenden, bei der Sie das Innere nicht sehen können, können Sie diesen speziellen Detektor nicht nutzen.
Trügerische Mimikry: Wenn ein „sicherer“ Prompt in einem Stil geschrieben ist, der strukturell wie ein Jailbreak aussieht (auch wenn er nicht schädlich ist), wird der Detektor verwirrt. Er erkennt die Struktur des Prompts, nicht die Absicht. Wenn ein sicherer Prompt das „rutschige Rutsche“-Muster imitiert, könnte der Detektor ihn als gefährlich einstufen.

Zusammenfassung

Kurz gesagt: Die Arbeit enthüllt, dass ein Large Language Model, wenn es durch einen Jailbreak getäuscht wird, dass seine interne „Unsicherheit“ nicht einfach nur stillsteht, sondern in einem vorhersagbaren, glatten Muster gleitet. Dieses Muster ist in der Mitte der Verarbeitungsschichten des Modells am deutlichsten sichtbar und bietet einen neuen, trainingsfreien Weg, um diese Angriffe zu erkennen, indem man beobachtet, wie sich das Vertrauen des Modells entwickelt, anstatt nur darauf zu schauen, was es sagt.

Technisches Resümee: Erkennung von Jailbreaks durch Entropie-Dynamik in intermediären Schichten

1. Problemstellung

Jailbreak-Angriffe nutzen Large Language Models (LLMs) aus, um Sicherheitsvorkehrungen zu umgehen und die Erzeugung regelwidriger Antworten trotz Alignment-Bemühungen zu provozieren. Während bestehende Abwehrmechanismen auf der Prompt-Ebene (Filter), der Output-Ebene (Antwort-Inspektion) oder über überwachte Klassifikatoren operieren, bleibt die interne Kodierung bösartiger Absichten unzureichend verstanden. Insbesondere ist unklar, wie adversarielle Intention innerhalb des latenten Raums des Modells repräsentiert wird, wie sich dieses Signal über Token-Positionen hinweg entwickelt und auf welcher Tiefe innerhalb der Transformer-Architektur diese Information am besten von benignen Eingaben unterscheidbar ist.

Derzeitige Methoden, die auf statischen aggregierten Statistiken (z. B. mittlere Perplexität oder Entropie) beruhen, scheitern oft daran, die nuancierten, lokalisierten Interaktionen zwischen Tokens und dem internen Zustand des Modells zu erfassen, die für Jailbreak-Versuche charakteristisch sind. Dieses Paper postuliert, dass Jailbreak-Verhalten nicht bloß eine Verschiebung allgemeiner Unsicherheitsgrade ist, sondern eine strukturierte Dynamik induziert, wie sich die prädiktive Entropie während des Entfaltens eines Prompts entwickelt.

2. Methodik

Die Autoren schlagen einen trainingsfreien Framework vor, der die Token-level prädiktiven Entropie-Trajektorien innerhalb der intermediären Schichten eines eingefrorenen LLMs analysiert. Der Ansatz stützt sich auf die folgenden Komponenten:

2.1 Extraktion der intermediären Schicht-Entropie (Logit Lens)

Anstatt auf den finalen Output zu warten, projiziert die Methode die intermediären Hidden States ( $h_t^{(\ell)}$ ) spezifischer Schichten $\ell$ direkt in den Vokabularraum unter Verwendung der finalen Unembedding-Matrix ( $W_U$ ) des Modells. Diese „Logit Lens“-Technik generiert eine Wahrscheinlichkeitsverteilung $p^{(\ell)}(\cdot | x_{<t})$ für das nächste Token bei jedem intermediären Schritt.
Die Shannon-Entropie $H_t^{(\ell)}$ wird dann für jede Token-Position $t$ an diesen Probe-Schichten berechnet, wodurch eine Entropie-Trajektorie $H^{(\ell)} = (H_1^{(\ell)}, \dots, H_{T-1}^{(\ell)})$ entsteht.

2.2 Merkmalskonstruktion

Das Framework unterscheidet zwischen zwei Familien von Merkmalen, die aus diesen Trajektorien abgeleitet werden:

Statische (Level) Merkmale: Aggregierte Statistiken, die das Ausmaß der Unsicherheit über den Prompt zusammenfassen, wie Mittelwert, Maximum, Standardabweichung und Minimum.
Dynamische (Trend) Merkmale: Metriken, welche die gerichtete Evolution der Unsicherheit über Token-Positionen hinweg erfassen. Zu den Schlüsselmerkmalen gehören:
- Kendall's $\tau$ : Rangkorrelation zwischen Entropiewerten und Token-Positionen.
- Spearman's $\rho$ : Pearson-Korrelation von rangtransformierter Entropie und Token-Positionen.
- Monotonie: Der Anteil aufeinanderfolgender Token-Paare, bei denen sich die Entropie in eine bestimmte „schädliche“ Richtung ( $d$ ) bewegt, welche empirisch pro Modell bestimmt wird (z. B. abwärts für Llama/Qwen, aufwärts für Gemma).

2.3 Evaluierungsprotokoll

Die Studie evaluiert diese Merkmale an einem eingefrorenen Modell mittels eines einzigen Forward-Passes. Die Detektionsleistung wird über die gerichtete Area Under the ROC Curve (AUROC) gemessen, die im natürlichen schädlichen Bereich des Modells berechnet wird. Die Evaluierung umfasst drei Open-Source-Modelle (Llama-3.1-8B, Qwen3-8B, Gemma-7b) sowie mehrere adversarielle Benchmarks (AdvBench, HarmBench, StrongREJECT) gegenüber benignen Datensätzen (UltraChat, WildJailbreak, JailbreakBench).

3. Zentrale Beiträge

Das Paper leistet drei primäre Beiträge:

Trainingsfreie Analyse: Einführung einer Methode zur Detektion von Jailbreak-Signalen unter Verwendung ausschließlich von intermediären Schicht-Aktivierungen, ohne Klassifikatoren feinabzustimmen oder generierte Outputs zu analysieren.
Dynamisches vs. Statisches Signal: Nachweis, dass die diskriminative Kraft primär in dynamischen Trajektorien-Merkmalen (Monotonie, rangbasierte Trends) liegt und nicht in statischen aggregierten Entropie-Statistiken.
Tiefenabhängige Lokalisierung: Identifikation, dass das Jailbreak-Signal in den intermediären Schichten konzentriert ist (etwa 50–85 % der Netzwerk-Tiefe) und in der finalen Schicht signifikant degradiert, was darauf hindeutet, dass bösartige Intention in den semantischen Repräsentationen der mittleren Netzwerkschichten kodiert wird, bevor sie durch ausgabespezifische Prozesse transformiert wird.

4. Empirische Ergebnisse

4.1 Dynamische Merkmale übertreffen statische Aggregate

Über alle Modelle hinweg trennten dynamische Trend-Merkmale Jailbreak-Prompts konsistent von benignen Prompts, während statische Merkmale (Mittelwert, maximale Entropie) eine hohe Varianz und eine schlechte modellübergreifende Generalisierung zeigten.

Monotonie erreichte die höchste mittlere AUROC bei Llama (0,941) und Qwen (0,941).
Kendall's $\tau$ und Spearman's $\rho$ lieferten eine robuste, architekturbeständige Trennung (mittlere AUROC $\approx$ 0,78–0,80) mit nahezu null Varianz zwischen den Modellen, was darauf hindeutet, dass die Struktur der Entropie-Evolution ein transferierbares Signal ist, unabhängig von der absoluten Skala der Entropie.

4.2 Signal-Konzentration in intermediären Schichten

Das diskriminative Signal ist nicht gleichmäßig über die Tiefe verteilt.

Intermediärer Peak: Merkmale wie Monotonie und Kendall's $\tau$ erreichten ihre Spitzenwerte in den intermediären Schichten (z. B. Schicht 22 von 32 bei Llama, Schicht 25 von 36 bei Qwen).
Degradation in der finalen Schicht: Die Performance sank in der finalen Schicht drastisch ab. Bei Gemma fiel Kendall's $\tau$ von 0,796 in der intermediären Schicht auf 0,458 in der finalen Schicht. Dies deutet darauf hin, dass die finale Schicht die adversarielle Struktur, die in früheren Repräsentationen vorhanden ist, aktiv unterdrückt oder reorganisiert.
Kontrast zu statischen Merkmalen: Statische Merkmale (wie die mittlere Entropie) zeigten den entgegengesetzten Trend und performten oft am besten in der finalen Schicht, was bestätigt, dass sie andere Rechenprozesse erfassen als dynamische Trends.

4.3 Generalisierung und adversarielle Kontrollen

Modellübergreifende Konsistenz: Rangbasierte Merkmale generalisierten gut über Llama, Qwen und Gemma hinweg, trotz unterschiedlicher Trainings-Pipelines und Schichtanzahlen.
Adversarielle Kontrolle (JailbreakBench Benign): Wenn der benigne Satz aus „JailbreakBench benign“-Prompts bestand (die absichtlich so konstruiert wurden, dass sie die Struktur schädlicher Anfragen imitieren, ohne schädliche Absicht zu besitzen), kollabierte die AUROC (Abfall auf ~0,35). Dies zeigt, dass das Signal die strukturelle Prompt-Komposition detektiert und nicht die semantische Schädlichkeit an sich. Wenn benigne Eingaben strukturell einem Jailbreak ähneln, werden die internen Dynamiken ununterscheidbar.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Jailbreak-Verhalten in alignierten LLMs in strukturierten, intermediären Unsicherheits-Dynamiken reflektiert wird. Speziell:

Interpretierbarkeit: Die Ergebnisse klären, wo (intermediäre Schichten) und wie (monotone Entropie-Trends) bösartige Intention kodiert wird, und bieten eine diagnostische Linse in die internen Prozesse des Modells.
Architektur-Konsistenz: Das Signal ist eine emergente Eigenschaft der mittleren Netzwerkrepräsentationen, die über verschiedene Modellfamilien (Laima, Qwen, Gemma) hinweg ohne zusätzliches Training bestehen bleibt.
Limitierungen und Umfang: Die Autoren rahmen dies bescheiden als diagnostische Charakterisierung ein und nicht als fertigen, einsatzbereiten Detektor. Sie räumen ein, dass die Methode White-Box-Zugriff auf intermediäre Aktivierungen erfordert und dass ihre Effektivität von der Verteilung der benignen Prompts abhängt. Wenn benigne Prompts strukturell einem Jailbreak ähneln, degradiert das Signal. Zudem basiert die Methode auf Logit-Lens-Projektionen, die aufgrund von Repräsentations-Fehlausrichtung Verzerrungen einführen können.

Zusammenfassend lässt sich sagen, dass die Untersuchung etabliert, dass die Überwachung der Entwicklung der Token-level prädiktiven Entropie in intermediären Schichten ein robustes, trainingsfreies Signal zur Identifizierung der strukturellen Muster bietet, die mit Jailbreak-Versuchen assoziiert sind – ein Signal, das sich von den statischen Unsicherheitsniveaus unterscheidet, die in der traditionellen Perplexitäts-basierten Detektion verwendet werden.