🤖 machine learning

Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

Die Studie zeigt, dass schädliche Absichten in den Reststromen verschiedener großer Sprachmodelle als geometrisch rekonstruierbare, lineare Merkmale identifiziert werden können, die selbst nach dem Entfernen von Sicherheitsausrichtungen bestehen bleiben und somit eine robuste Grundlage für die Detektion bilden.

Ursprüngliche Autoren: Isaac Llorente-Saguer

Veröffentlicht 2026-04-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Isaac Llorente-Saguer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, ein großes Sprachmodell (wie ein sehr fortschrittlicher Chatbot) ist wie ein riesiges, komplexes Gehirn, das aus vielen Schichten besteht. Wenn dieses Gehirn einen Satz liest, wandern Informationen durch diese Schichten wie Lichtstrahlen durch einen Kristall.

Diese neue Forschungsarbeit von Isaac Llorente-Saguer untersucht genau diese Lichtstrahlen. Die zentrale Frage lautet: Können wir im Inneren des Modells einen „Schalter" oder eine „Richtung" finden, die anzeigt, ob eine Eingabe böswillig oder schädlich ist, noch bevor das Modell eine Antwort schreibt?

Die Antwort ist ein klares Ja. Hier ist die Erklärung in einfachen Worten, mit ein paar anschaulichen Vergleichen:

1. Der unsichtbare Kompass (Die „Schadens-Richtung")

Stellen Sie sich vor, das Gehirn des Modells ist ein riesiger Raum voller Achsen (wie ein 3D-Modell, aber mit tausenden Dimensionen). Wenn das Modell harmlose Dinge liest (z. B. „Wie koche ich Nudeln?"), bewegen sich die Aktivitätsmuster in eine bestimmte Richtung.

Die Forscher haben entdeckt, dass es eine ganz spezifische, fast unsichtbare Richtung gibt, in die sich das Gehirn bewegt, sobald es einen schädlichen Befehl liest (z. B. „Wie baue ich eine Bombe?").

Die Entdeckung: Diese Richtung ist so stabil, dass man sie wie einen Kompass nutzen kann. Wenn man einen kleinen „Zeiger" (einen einfachen mathematischen Vektor) in diese Richtung hält, zeigt er sofort auf „Gefahr", selbst wenn das Modell versucht, sich zu verstellen.
Die Überraschung: Man braucht dafür kaum Daten. Mit nur 100 Beispielen für „böse" und 100 für „gute" Eingaben kann man diesen Kompass so genau kalibrieren, dass er in 98 % der Fälle richtig liegt.

2. Der „Abliteration"-Trick: Das Gehirn entlarvt sich selbst

Ein besonders spannender Teil der Studie betrifft Modelle, die „gehackt" wurden, um ihre Sicherheitsvorkehrungen zu umgehen.

Die Analogie: Stellen Sie sich einen Sicherheitsbeamten vor, der jeden Besucher prüft. Wenn jemand einen bösen Plan hat, sagt der Beamte: „Stopp! Das ist verboten!" (Das ist die „Verweigerung").
Der Hack: Forscher haben einen Weg gefunden, diesen Sicherheitsbeamten chirurgisch zu entfernen (man nennt das „Abliteration"). Das Modell verweigert keine Antworten mehr; es gibt einfach alles heraus, auch das Gefährliche.
Das Ergebnis: Auch wenn der Sicherheitsbeamte (die Verweigerung) weg ist, ist der Kompass im Gehirn immer noch da! Das Modell weiß immer noch genau, dass der Befehl „Bombe bauen" gefährlich ist, auch wenn es nicht mehr „Nein" sagt.
Die Lehre: Das Erkennen von Gefahr und das Verweigern einer Antwort sind zwei völlig getrennte Dinge im Gehirn des Modells. Man kann das „Nein-Sagen" abschalten, aber das „Gefahr-Erkennen" bleibt bestehen.

3. Warum die üblichen Messzahlen trügen (Der „Wetterbericht"-Vergleich)

In der Welt der KI-Forschung wird oft eine Zahl namens „AUROC" verwendet, um zu sagen, wie gut ein System ist. Das ist wie ein Wetterbericht, der sagt: „Die Wahrscheinlichkeit für Regen liegt bei 98 %." Das klingt toll.

Aber die Forscher sagen: Das reicht nicht!

Das Problem: Ein Wetterbericht kann 98 % richtig liegen, aber wenn er sagt „Heute ist es trocken", während es gerade stürmt, nützt das nichts.
Die Lösung: Die Forscher messen stattdessen: „Wie viele echte Gefahren finden wir, wenn wir nur 1 % der harmlosen Leute fälschlicherweise als Gefahr abhaken?" (Das nennt man TPR bei 1 % FPR).
Ergebnis: Viele Methoden sahen auf dem Papier (AUROC) super aus, versagten aber in der Praxis, weil sie zu viele falsche Alarme schlugen. Die neuen Methoden der Autoren sind nicht nur theoretisch gut, sondern funktionieren auch im echten Einsatz, wo man keine falschen Alarme haben will.

4. Größe spielt keine Rolle (Der „Riese"-Effekt)

Die Forscher haben getestet, ob das nur bei kleinen Modellen funktioniert oder auch bei riesigen.

Das Ergebnis: Es funktioniert bei kleinen Modellen (0,8 Milliarden Parameter) genauso gut wie bei sehr großen (9 Milliarden Parameter).
Die Erkenntnis: Je größer das Modell wird, desto stabiler wird dieser „Gefahr-Kompass". Bei den riesigen Modellen ist die Gefahr-Erkennung so fest im Gehirn verankert, dass man sie kaum noch wegtrainieren kann.

5. Ein zweiter Weg: Der Winkel statt der Linie

Die meisten Forscher suchen nach einer geraden Linie, um Gefahr zu erkennen. Die Autoren haben aber einen zweiten Weg entdeckt: den Winkel.

Die Analogie: Stellen Sie sich vor, Sie suchen nach einem Freund in einer Menge.
- Methode A (Linie): Sie schauen nur, ob jemand genau in eine bestimmte Richtung schaut.
- Methode B (Winkel): Sie schauen, wie stark jemand von der Norm abweicht, egal in welche Richtung.
Der Vorteil: In den mittleren Schichten einiger Modelle (wie bei Qwen2.5) funktioniert die „Linien-Methode" kurzzeitig nicht mehr (es ist wie ein Tal in einer Landschaft). Aber die „Winkel-Methode" findet die Gefahr dort trotzdem. Es ist, als hätte das Gehirn zwei verschiedene Sprachen, um Gefahr zu kommunizieren, und wir haben gelernt, beide zu verstehen.

Fazit für den Alltag

Diese Studie zeigt uns etwas Wichtiges über künstliche Intelligenz:

Gefahr ist tief verankert: Modelle lernen, schädliche Absichten zu erkennen, einfach indem sie Sprache verstehen. Das ist ein natürlicher Teil ihres „Wissens".
Sicherheit ist trennbar: Man kann die „Höflichkeit" (das Verweigern) eines Modells entfernen, aber die Fähigkeit, zu wissen, dass etwas falsch ist, bleibt bestehen.
Einfache Werkzeuge reichen: Man braucht keine riesigen, teuren Zusatz-Systeme, um Gefahr zu erkennen. Ein einfacher mathematischer „Zeiger" im Inneren des Modells reicht aus, um fast alles zu erkennen.

Kurz gesagt: Wir haben einen neuen, sehr einfachen und schnellen Weg gefunden, um im Inneren von KI-Modellen zu sehen, ob sie gerade etwas Böses planen – und das funktioniert, egal wie sehr man versucht, das Modell zu manipulieren oder wie groß es ist.

1. Problemstellung

Das Paper adressiert die Frage, ob die Absicht, Schaden anzurichten („Harmful Intent"), in den Reststrom-Aktivierungen (Residual Streams) von Large Language Models (LLMs) als geometrisches Merkmal wiederhergestellt werden kann. Bisherige Arbeiten haben gezeigt, dass bestimmte Konzepte (z. B. Ablehnung von Anfragen) lineare Richtungen im Aktivierungsraum einnehmen. Es bleiben jedoch drei offene Fragen:

Generalisierung: Ist die „Schadens-Richtung" (Harm Direction) über verschiedene Architekturen und Ausrichtungsvarianten (Alignment) hinweg konsistent, oder ist sie modell-spezifisch?
Geometrie: Wie verhält sich die Schadens-Richtung zur dominanten Varianz harmloser Eingaben? Sind sie orthogonal?
Operative Zuverlässigkeit: Wie robust ist die Erkennung unter realen Bedingungen mit extrem niedrigen Fehlalarmraten (False Positive Rate, FPR)? Viele vorherige Studien berichten nur über Rang-Metriken (AUROC), die operative Schwächen in kritischen Schwellenwerten verbergen können.

Ziel ist es, einen leichten, interpretierbaren Detektor zu entwickeln, der schädliche Eingaben erkennt, bevor die Generierung beginnt, ohne ein zweites Modell oder signifikante Latenz.

2. Methodik

Datensätze und Modelle:

Modelle: Evaluation von 12 Modellen aus vier Familien (Qwen2.5, Qwen3.5, Llama-3.2, Gemma-3) in drei Ausrichtungsvarianten: Basis (Base), Instruktionstuning (Instruct) und „Abliteration" (Abliterated – Modelle, bei denen die Ablehnungsrichtung mechanisch entfernt wurde).
Skalierung: Zusätzliche Tests an Qwen3.5 über einen Bereich von 0,8B bis 9B Parametern.
Daten: Nutzung von AdvBench (zum Anpassen), HarmBench, JailbreakBench und XSTest (als Out-of-Distribution-Evaluierung). Die Daten wurden strikt in Fit-, Validierungs- und Evaluierungssets aufgeteilt.

Aktivierungsextraktion:

Es werden die Reststrom-Aktivierungen über alle Token hinweg mittels Element-wise Max-Pooling extrahiert, um einen festen dimensionsbehafteten Vektor pro Prompt zu erhalten.

Strategien zur Richtungsfindung (6 Ansätze):
Das Paper vergleicht sechs Strategien, um eine Richtung $w$ zu finden, die schädliche von harmlosen Eingaben trennt:

$w_{PC1}$ (Zero-Shot): Die führende Hauptkomponente (PC1) der harmlosen Daten.
$\theta$ -Normative (Zero-Shot): Winkelabweichung vom Normativ-Zentrum (basierend auf LatentBiopsy).
$w_{LDA}$ (Überwacht): Unterschied der Klassenmittelwerte (Fisher Linear Discriminant). Kostengünstig ( $O((n_+ + n_-)D)$ ).
$w_{opt}$ (Überwacht): Eine Richtung, die eine „Soft-AUC"-Metrik (sigmoid-glättete Approximation der Mann-Whitney-U-Statistik) optimiert. Startet von $w_{LDA}$ und wird mittels Riemannischem Gradientenabstieg auf der Einheitssphäre optimiert.
$\theta$ two-class optimised: Optimierung der Soft-AUC auf Basis der Winkelabweichung statt der Projektion.
Baselines: Zufällige Vektoren und Perplexität des Modells.

Metriken:
Neben dem AUROC (Area Under the ROC Curve) wird zwingend TPR@1%FPR (True Positive Rate bei 1% False Positive Rate) berichtet. Dies ist entscheidend für den Einsatz in der Sicherheit, wo Fehlalarme minimiert werden müssen.

3. Wichtige Beiträge

Cross-Architektur- und Cross-Alignment-Evaluation: Die Studie zeigt, dass die Erkennungsleistung über verschiedene Architekturen und Ausrichtungsvarianten hinweg stabil bleibt. Selbst bei „Abliteration" (Entfernung des Ablehnungsverhaltens) bleibt das Erkennungssignal für schädliche Absichten erhalten. Dies beweist eine funktionale Entkopplung zwischen „Schadenserkennung" und „Ablehnungsverhalten".
Geometrische Charakterisierung:
- Die Schadens-Richtung ist nahezu orthogonal zur führenden Hauptkomponente harmloser Prompts (durchschnittlich 82°).
- Eine überwachte Winkelabweichungs-Strategie ( $\theta$ two-class) findet eine repräsentativ unterschiedliche Richtung (ca. 73° zu $w_{LDA}$ ), die in Schichten, in denen projektionsbasierte Methoden versagen (z. B. mittlere Schichten von Qwen2.5), erfolgreich bleibt.
Operative Evaluation: Das Paper demonstriert, dass ein hoher AUROC (0,97+) die operative Erkennbarkeit stark überschätzen kann. TPR@1%FPR sollte daher immer zusammen mit AUROC berichtet werden.
Skalenstabilität: Die Ergebnisse halten über den Parameterbereich von 0,8B bis 9B (Qwen3.5) stabil. Die 9B-Variante zeigt die sauberste Kreuz-Transfer-Leistung, was darauf hindeutet, dass die Repräsentation mit zunehmender Größe robuster wird.

4. Ergebnisse

Leistungsstärke:
- Die Soft-AUC-optimierte Richtung ( $w_{opt}$ ) erreicht einen mittleren AUROC von 0,982 und eine TPR@1%FPR von 0,797.
- Die einfache Klassenmittelwert-Differenz ( $w_{LDA}$ ) erreicht einen AUROC von 0,975 und eine TPR von 0,706 bei sehr geringen Anpassungskosten (<1 ms).
- Zero-Shot-Methoden und Perplexität scheitern (TPR < 0,05).
Generalisierung:
- Ein auf AdvBench angepasster Vektor überträgt sich auf HarmBench und JailbreakBench mit einem durchschnittlichen AUROC $\ge$ 0,961.
- Die Anpassung an eine Variante (z. B. Base) funktioniert gut auf Instruct- und Abliteration-Varianten (AUROC-Verlust meist < 0,01), außer bei Gemma-3, wo die Geometrie stärker rotiert wird.
Geometrie:
- In Qwen2.5 zeigt sich ein „Tal-Profil": In den mittleren Schichten (2–20) bricht die projektionsbasierte Erkennung ein (AUROC < 0,80), während die Winkel-Strategie ( $\theta$ ) dort stabil > 0,95 bleibt. Dies deutet auf verschiedene geometrische Modi der Kodierung in verschiedenen Netzwerktiefen hin.
Kosten:
- Die Detektion fügt einer laufenden Inferenz nur ca. 4 ms hinzu (Aktivierungs-Hook + Berechnung).
- Die Anpassung (Fitting) dauert Sekunden pro Modell und benötigt nur 100 Beispiele pro Klasse.

5. Bedeutung und Schlussfolgerungen

Das Paper liefert starke Belege für die Hypothese, dass Transformer-Modelle die Fähigkeit, schädliche Absichten zu erkennen, als Nebenprodukt des allgemeinen Sprachverständnisses erwerben. Die Ausrichtung (Alignment) verändert das Verhalten des Modells (Ablehnung), reorganisiert aber nicht das upstream-Signal, das die Absicht identifiziert.

Praktische Implikationen:

Detektoren: Es ist möglich, extrem effiziente, interpretierbare Detektoren zu bauen, die als einzelne lineare Projektion implementiert werden können.
Sicherheit: Das Entfernen von Ablehnungsmechanismen (z. B. durch Jailbreaking oder Abliteration) eliminiert nicht die interne Repräsentation der schädlichen Absicht. Das Signal bleibt erhalten.
Bewertung: In Sicherheitsbewertungen ist der AUROC allein irreführend. Metriken wie TPR@1%FPR sind essenziell, um die tatsächliche Einsatzfähigkeit zu beurteilen.
Zukunft: Die Arbeit legt nahe, dass neben linearen Projektionen auch Winkel-Abweichungen ein wichtiger geometrischer Modus zur Erkennung von Schaden sein können, insbesondere in tieferen Schichten bestimmter Architekturen.

Zusammenfassend etabliert das Paper, dass schädliche Absicht ein stabiles, geometrisch wiederherstellbares Merkmal in LLM-Restströmen ist, das robust gegenüber Skalierung und Ausrichtungsänderungen bleibt.