The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams

Titel en Kernconcept

Titel: The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams
Methode: LatentBiopsy
Doel: Het detecteren van schadelijke prompts (harmful prompts) in grote taalmodellen (LLM's) zonder trainingsdata voor schadelijkheid, puur door analyse van de geometrie van de activaties in de residu-stroom (residual stream).

---

1. Het Probleem

Bestaande methoden voor het detecteren van schadelijke prompts hebben twee grote beperkingen:

1. Input-ruimte filters: Methoden gebaseerd op perplexiteit werken goed tegen adversarial suffix-aanvallen, maar falen bij semantisch vloeiende "jailbreaks".
2. Supervised Safety Classifiers: Modellen zoals Llama Guard vereisen grote, handmatig samengestelde datasets van schadelijke en onschadelijke paren en moeten per model opnieuw getraind worden.
3. Representatie-engineering: Bestaande methoden die lineaire richtingen voor veiligheid extraheren, vereisen vaak schadelijke voorbeelden of specifieke manipulaties om de referentiegeometrie te definiëren.

De centrale vraag is: Kan de verdeling van veilige prompts alleen al een referentiegeometrie definiëren waaruit schadelijke prompts detecteerbaar afwijken, zonder enige kennis van schadelijke voorbeelden?

---

2. Methodologie: LatentBiopsy

LatentBiopsy is een training-vrije, zero-shot anomaly detector. Het werkt als volgt:

• Referentieopbouw: Er wordt een set van $N=200$ veilige, normatieve prompts gebruikt. Voor een specifieke laag $\ell$ in het model worden de activatievectoren van het laatste token ($f_\ell(x)$) geëxtraheerd.
• Primaire Richting (PC1): De hoofdcomponent (Principal Component 1) van deze veilige activaties wordt berekend. Deze vector $c$ definieert de richting van maximale variantie binnen de veilige verdeling.
• Hoekafwijking ($\theta$): Voor een nieuwe test-prompt wordt de hoek $\theta$ berekend tussen de activatievector en de referentierichting $c$:
  $$\theta(x) = \arccos\left(\frac{f_\ell(x) \cdot c}{\|f_\ell(x)\|}\right)$$
  Deze hoek isoleert de semantische richting van de intensiteit (norm) van de activatie.
• Anomalie Score: De hoeken van de veilige set worden gefit met een univariate Gaussische verdeling $N(\mu_0, \sigma_0^2)$. De score voor een nieuwe prompt is de negatieve log-likelihood van zijn hoek $\theta(x)$ onder deze verdeling:
  $$s(x) = -\log p(\theta(x) | \mu_0, \sigma_0^2)$$
  Belangrijk: De score is symmetrisch rond het gemiddelde. Dit betekent dat het systeem schadelijke prompts detecteert, ongeacht of ze "binnen" of "buiten" de veilige ring liggen (richtingsonafhankelijk).
• Geen schadelijke data: Er worden geen schadelijke voorbeelden gebruikt voor het trainen of fiten van de detector.

---

3. Experimentele Opzet

De auteurs hebben de methode getest op twee families van Qwen-modellen (Qwen3.5-0.8B en Qwen2.5-0.5B), elk in drie varianten:

1. Base: Het ruwe, voorgeprogrammeerde model.
2. Instruction-tuned (Chat/Instruct): Het model na veiligheidsfinetuning.
3. Abliterated: Het instructie-getrainde model waarbij de "weigerrichting" (refusal direction) wiskundig is verwijderd via orthogonalisatie. Dit model kan geen weigeringen meer genereren.

Datasets:

• Normatief: Alpaca-Cleaned (200 prompts voor fit, 520 voor evaluatie).
• Schadelijk: AdvBench (520 prompts).
• Benign-Aggressive: XSTest (250 prompts, agressief maar niet schadelijk).

---

4. Belangrijkste Resultaten

A. Prestaties

• Harmful vs. Normatief: LatentBiopsy bereikt een AUROC $\ge 0.937$ voor alle zes modelvarianten.
• Harmful vs. Benign-Aggressive: De methode bereikt een perfecte scheiding (AUROC = 1.000) tussen schadelijke prompts en agressieve maar veilige prompts (XSTest).
• Efficiëntie: De overhead per query is sub-millisecond (ongeveer 0.43 ms voor de scoring), wat het zeer geschikt maakt voor real-time toepassing.

B. Geometrie overleeft "Abliteration"

Dit is de meest cruciale bevinding:

• De modellen waarbij de weigermechanisme is verwijderd (Abliterated) presteren bijna identiek aan hun instructie-getrainde tegenhangers (verschil < 0.005 in AUROC).
• Conclusie: De geometrische representatie van "schadelijke intentie" in de residu-stroom is geïsoleerd van het mechanisme dat de tekstuele weigering genereert. Als je een model "ontneemt" om te weigeren, blijft het interne signaal van schadelijkheid intact en detecteerbaar door een externe detector.

C. De "Twee-Ring" Structuur en Richtingsonafhankelijkheid

De auteurs ontdekten een opmerkelijk fenomeen:

• In Qwen3.5-0.8B liggen schadelijke prompts in de buitenste ring (grotere hoekafwijking van PC1 dan veilige prompts).
• In Qwen2.5-0.5B liggen schadelijke prompts in de binnenste ring (kleinere hoekafwijking, dichter bij PC1 dan veilige prompts).
• Omdat de richting van de afwijking per modelarchitectuur omkeert, is een vaste drempel onbetrouwbaar. De symmetrische scoring van LatentBiopsy lost dit op door afwijkingen in beide richtingen als anomalie te flaggen.

D. Compactheid van Schadelijke Intentie

Schadelijke prompts vormen een extreem compact cluster met een zeer kleine standaardafwijking in hoek ($\sigma_{harm} \approx 0.03 - 0.05$ rad), ongeveer een orde van grootte smaller dan de veilige verdeling. Dit suggereert dat schadelijke prompts (zoals die uit AdvBench) een zeer specifieke syntactische of semantische structuur delen die zich consistent manifesteert in de residu-stroom.

---

5. Bijdragen en Betekenis

1. Training-vrije Detectie: Het bewijst dat je geen schadelijke data nodig hebt om een effectieve detector te bouwen; alleen een kleine set veilige prompts volstaat.
2. Geometrische Dissociatie: Het toont aan dat het vermogen van een model om te weigeren (refusal) en de interne representatie van schadelijke intentie twee verschillende mechanismen zijn. Het verwijderen van het eerste (via abliteratie) vernietigt het tweede niet.
3. Robuustheid: De methode werkt consistent over verschillende modelgroottes (0.5B vs 0.8B), verschillende trainingsstadia (Base vs Instruct) en zelfs na manipulatie van de modelgewichten.
4. Praktische Toepasbaarheid: Door de lage rekenkosten en het ontbreken van trainingsdata is dit een praktische oplossing voor het monitoren van LLM's in productie, zelfs voor modellen die mogelijk zijn "gehackt" om veiligheidsfilters te omzeilen.

Conclusie

LatentBiopsy biedt een krachtig bewijs dat de geometrie van schadelijke intentie fundamenteel en robuust is in de residu-stroom van LLM's, onafhankelijk van de veiligheidsafstemming (alignment) of de weigermogelijkheden van het model. Dit opent nieuwe wegen voor externe, transparante veiligheidscontroles die niet afhankelijk zijn van de interne "black box" van het model of de beschikbaarheid van schadelijke trainingsdata.