🤖 machine learning

The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams

Die Studie stellt LatentBiopsy vor, eine trainingsfreie Methode zur Erkennung schädlicher Prompts in LLMs, die auf der Analyse der geometrischen Winkelabweichung in den Residual-Streams basiert und zeigt, dass diese räumlichen Merkmale auch nach dem Entfernen von Verweigerungsmechanismen erhalten bleiben.

Ursprüngliche Autoren: Isaac Llorente-Saguer

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Isaac Llorente-Saguer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Geometrie böser Absichten: Ein neuer Sicherheits-Scanner für KI

Stellen Sie sich vor, Sie haben einen riesigen, hochintelligenten Roboter (eine KI), der Ihnen Texte schreibt. Manchmal versucht jemand, diesen Roboter zu täuschen, damit er etwas Gefährliches oder Illegales sagt – wie einen „Jailbreak" (einen Ausbruch aus den Sicherheitsregeln).

Die Forscher Isaac Llorente-Saguer haben eine neue Methode namens LatentBiopsy entwickelt. Das Besondere daran: Sie braucht keine Beispiele von bösen Prompts, um zu lernen, was gefährlich ist. Sie funktioniert wie ein medizinischer Scan, der die „innere Struktur" der KI prüft, bevor sie überhaupt antwortet.

Hier ist die Idee, ganz einfach erklärt:

1. Der Kompass der KI (Die „Normale" Richtung)

Stellen Sie sich vor, die Gedanken der KI sind wie ein riesiger Raum voller Pfeile. Wenn die KI eine harmlose, normale Frage bekommt (z. B. „Wie ist das Wetter?"), zeigen alle diese inneren Pfeile in eine bestimmte, gemeinsame Richtung. Das ist die „Normale Richtung".

Die Forscher nehmen einfach 200 harmlose Fragen, schauen sich an, wohin die KI-Pfeile zeigen, und berechnen daraus einen perfekten Kompass (den sogenannten Hauptkomponenten-Vektor). Dieser Kompass repräsentiert das „gute, normale Verhalten".

2. Der Winkel-Test (Die Biopsie)

Wenn nun eine neue Frage eingeht, schaut die Methode nicht auf den Text selbst, sondern darauf, in welche Richtung die inneren Pfeile der KI zeigen.

Harmlose Frage: Die Pfeile zeigen fast genau in die gleiche Richtung wie der Kompass. Der Winkel ist klein. Alles gut.
Böse Frage: Hier passiert etwas Seltsames. Die inneren Pfeile der KI drehen sich plötzlich extrem weit weg vom Kompass. Es ist, als würde jemand, der normalerweise ruhig redet, plötzlich in einem ganz anderen, fremden Akzent schreien.

Die Methode misst diesen Winkel (genannt $\theta$ ). Wenn der Winkel zu groß ist, ist es ein Alarmzeichen.

3. Das Geniale: Es funktioniert auch bei „gehirngewaschenen" KIs

Das Coolste an dieser Studie ist ein Experiment mit „Abliteration".
Stellen Sie sich vor, man nimmt einem Sicherheitsroboter den Schalter für „Nein sagen" weg. Man schneidet ihm quasi die Fähigkeit heraus, sich zu weigern. Normalerweise würde man denken: „Oh nein, dieser Roboter ist jetzt unsicher!"

Aber LatentBiopsy zeigt etwas Überraschendes:
Selbst wenn der Roboter nicht mehr „Nein" sagen kann, zeigen seine inneren Pfeile bei bösen Fragen immer noch den gleichen verräterischen Winkel!

Die Erkenntnis: Die Absicht, etwas Böses zu tun, und die Fähigkeit, „Nein" zu sagen, sind zwei völlig verschiedene Dinge im Gehirn der KI. Man kann das „Nein-Sagen" entfernen, aber die Spur der bösen Absicht bleibt im Inneren sichtbar. Ein externer Scanner kann das immer noch sehen, auch wenn die KI selbst blind geworden ist.

4. Der „Ring"-Effekt (Die Überraschung)

Die Forscher haben zwei verschiedene KI-Familien getestet (Qwen3.5 und Qwen2.5).

Bei der einen Familie landen die bösen Fragen auf dem äußeren Ring (sie weichen stark ab).
Bei der anderen Familie landen sie auf dem inneren Ring (sie weichen weniger ab, sind aber trotzdem anders).

Das ist wie bei zwei verschiedenen Autos: In einem Auto sitzt der Fahrer links, im anderen rechts. Wenn man nur auf die linke Seite schaut, denkt man, das Auto fährt falsch. Aber die Methode von LatentBiopsy ist so clever, dass sie egal ist, ob der Ring innen oder außen liegt. Sie schaut nur auf die Abweichung vom Normalen, nicht auf die Richtung. Das macht sie sehr robust.

Warum ist das wichtig?

Kein Training nötig: Man muss der KI nicht tausende böse Beispiele zeigen, um sie zu trainieren. Man braucht nur 200 harmlose Beispiele. Das spart Zeit und Daten.
Schnell: Der Scan dauert weniger als eine Millisekunde. Er bremst die KI nicht aus.
Zukunftssicher: Selbst wenn jemand versucht, die KI zu manipulieren, damit sie keine Warnungen mehr gibt, kann diese Methode die Gefahr trotzdem erkennen. Sie liest die „Gedanken" der KI, bevor sie den Mund aufmacht.

Zusammenfassung in einem Satz

LatentBiopsy ist wie ein Detektiv, der nicht auf das Gesicht des Verdächtigen schaut, sondern auf die Art, wie er steht. Selbst wenn der Verdächtige versucht, sich zu verstellen oder seine Weigerungsfähigkeit verliert, verrät seine Körperhaltung (der Winkel im KI-Gehirn) sofort, ob er etwas Böses plant.

1. Problemstellung

Die sichere Bereitstellung von Large Language Models (LLMs) erfordert die Erkennung schädlicher Prompts (z. B. Jailbreaks, Anleitungen zu Gewalt), bevor eine Antwort generiert wird. Bestehende Ansätze haben jedoch signifikante Nachteile:

Input-Space-Filter: Methoden, die auf Perplexität basieren, scheitern oft bei semantisch flüssigen Jailbreaks.
Überwachte Klassifikatoren: Modelle wie Llama Guard benötigen große, kuratierte Datensätze mit schädlichen und harmlosen Beispielen und müssen bei jedem neuen Zielmodell neu trainiert werden.
Repräsentations-Engineering: Bisherige Methoden zur Extraktion linearer Richtungen für Sicherheitskonzepte benötigen oft explizite Paare aus schädlichen/harmlosen Daten oder gezielte Manipulationen von Sicherheits-Prompts, um eine Referenzgeometrie zu definieren.

Die zentrale Forschungsfrage lautet: Kann die Verteilung sicherer Prompts allein eine Referenzgeometrie definieren, von der sich schädliche Prompts detektierbar unterscheiden, ohne dass schädliche Trainingsdaten benötigt werden?

2. Methodik: LatentBiopsy

Das Paper stellt LatentBiopsy vor, eine trainingsfreie (training-free), Zero-Shot-Methode zur Anomalieerkennung. Sie analysiert die Geometrie der Aktivierungen im Residual-Stream (Residual Stream) von Transformer-Modellen.

Kernschritte des Verfahrens:

Referenzkonstruktion: Es werden ausschließlich 200 sichere, normative Prompts (aus dem Alpaca-Cleaned-Datensatz) verwendet. Für eine Zielschicht $\ell$ wird der Residual-Stream-Aktivierungsvektor des letzten Tokens extrahiert.
Hauptkomponente (PC1): Die führende Hauptkomponente ( $c$ ) dieser 200 Vektoren wird berechnet. Dieser Vektor definiert die Richtung der maximalen Varianz innerhalb der sicheren Verteilung.
Winkelabweichung ( $\theta$ ): Für einen neuen Test-Prompt $x$ wird der Winkel $\theta(x)$ zwischen dessen Aktivierungsvektor und der Referenzrichtung $c$ berechnet:
$\theta(x) = \arccos\left(\frac{f_\ell(x) \cdot c}{\|f_\ell(x)\|}\right)$
Dieser metrische Ansatz isoliert die semantische Orientierung von der Intensität (Norm) der Aktivierung, was in Pre-LayerNorm-Architekturen wichtig ist.
Anomalie-Score: Die Verteilung der Winkel $\theta$ der normativen Referenz wird als univariate Gauß-Verteilung $N(\mu_0, \sigma_0^2)$ angenähert. Der Score für einen Prompt ist der negative Log-Likelihood dieses Winkels unter dieser Verteilung:
$s(x) = -\log p(\theta(x) | \mu_0, \sigma_0^2)$
Wichtig: Der Score ist symmetrisch um den Mittelwert $\mu_0$ . Er erkennt Abweichungen unabhängig davon, ob schädliche Prompts einen größeren oder kleineren Winkel als die Norm haben (d.h. ob sie im „inneren" oder „äußeren" Ring liegen).

3. Experimentelles Setup

Modelle: Zwei Familien von Qwen-Modellen wurden getestet: Qwen3.5-0.8B und Qwen2.5-0.5B.
Varianten: Für jede Familie wurden drei Varianten evaluiert:
1. Base: Das rohe, vortrainierte Modell.
2. Instruction-Tuned (Chat/Instruct): Nach dem Alignment feinabgestimmtes Modell.
3. Abliterated: Das Instruction-Tuned-Modell, bei dem die „Verweigerungs-Richtung" (Refusal Direction) durch Orthogonalisierung aus den Gewichtsmatrizen entfernt wurde. Diese Modelle können keine Verweigerungen mehr generieren.
Daten:
- Referenz: 200 sichere Prompts (Alpaca-Cleaned).
- Schädlich: 520 Prompts (AdvBench).
- Benign-Aggressiv: 250 Prompts (XSTest) zur Unterscheidung von harmlosen, aber aggressiv formulierten Eingaben.

4. Wichtige Ergebnisse und Beiträge

A. Trainingsfreie Detektion mit hoher Genauigkeit

LatentBiopsy erreicht über alle sechs Modellvarianten hinweg eine AUROC $\ge$ 0,937 bei der Unterscheidung von schädlichen vs. normativen Prompts und eine AUROC = 1,000 bei der Unterscheidung von schädlichen vs. benign-aggressiven Prompts. Der Overhead pro Abfrage liegt im Sub-Millisekunden-Bereich (< 0,5 ms).

B. Geometrische Dissociation: Sicherheit überlebt „Abliteration"

Dies ist das zentrale und überraschendste Ergebnis:

Die Modelle, bei denen die Verweigerungsfähigkeit (Refusal Mechanism) mathematisch entfernt wurde (Abliterated), zeigen fast identische Detektionsleistung wie ihre instruction-tuned Pendants.
Schlussfolgerung: Die geometrische Repräsentation schädlicher Absichten im Residual-Stream ist von dem Mechanismus getrennt, der die Textausgabe (die Verweigerung) steuert. Ein Modell, das nicht mehr „Nein" sagen kann, enthält dennoch ein klares, externes Detektorsignal für schädliche Absicht.

C. Entgegengesetzte Ring-Orientierungen (Opposite Ring Orientations)

Die Studie entdeckt eine architekturelle Inversion zwischen den beiden Modellfamilien:

Qwen3.5-0.8B: Schädliche Prompts liegen im äußeren Ring (größerer Winkel $\theta$ zur PC1 als normative Prompts).
Qwen2.5-0.5B: Schädliche Prompts liegen im inneren Ring (kleinerer Winkel $\theta$ zur PC1, also stärker an die PC1 angepasst).
Bedeutung: Da die Richtung der Abweichung nicht vorhersehbar ist, ist der symmetrische Anomalie-Score (basierend auf der Distanz zum Mittelwert) essenziell. Ein fester Richtungs-Schwellenwert wäre fehlerhaft.

D. Nahe-degenerierte Kompaktheit schädlicher Prompts

Schädliche Prompts bilden einen extrem kompakten Winkelcluster ( $\sigma_\theta \approx 0,03 - 0,05$ rad), was eine Größenordnung enger ist als die Verteilung sicherer Prompts ( $\sigma_\theta \approx 0,27$ rad). Diese Kompaktheit bleibt auch nach der Abliteration erhalten, was darauf hindeutet, dass sie durch die syntaktische Struktur der schädlichen Prompts (z. B. AdvBench) bedingt ist und nicht durch das Sicherheits-Training.

E. Sicherheit vor Alignment

Die Basis-Modelle (Base) erreichen eine Detektionsleistung, die der der instruction-tuned Modelle entspricht oder diese sogar leicht übertrifft. Dies unterstützt die Hypothese, dass die Geometrie schädlicher Absichten bereits während des Pretrainings etabliert wird und nicht erst durch das Alignment-Training entsteht.

5. Signifikanz und Implikationen

Sicherheitsarchitektur: Die Ergebnisse zeigen, dass das Entfernen von Sicherheitsmechanismen (Refusal) die latente Geometrie schädlicher Absichten nicht löscht. Externe Detektoren können weiterhin auf diese Signale zugreifen, selbst wenn das Modell selbst keine Sicherheitsvorkehrungen mehr trifft.
Effizienz: Die Methode benötigt keine schädlichen Trainingsdaten, ist rechenintensiv sehr gering und funktioniert Zero-Shot.
Dual-Use-Risiko: Während die Methode die Sicherheit erhöht (durch Detektion), könnte sie theoretisch auch von Angreifern genutzt werden, um zu verstehen, wie Modelle schädliche Absichten kodieren, um diese besser zu verstecken (obwohl das Paper dies als ethische Herausforderung anspricht).
Zukunft: Die Arbeit legt nahe, dass Sicherheitsgeometrie ein inhärenter Teil der Modellarchitektur ist. Die Notwendigkeit, diese Muster über verschiedene Modellfamilien hinweg zu validieren (nicht nur Qwen), wird als nächster wichtiger Schritt identifiziert.

Fazit: LatentBiopsy beweist, dass schädliche Absicht in LLMs eine robuste, geometrische Signatur besitzt, die unabhängig von der Fähigkeit des Modells ist, diese Absicht verbal zu verweigern. Dies eröffnet neue Wege für transparente, modellunabhängige Sicherheitsüberwachung.