Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

1. Probleemstelling

De kernvraag van dit onderzoek is of schadelijke intentie (harmful intent) in Large Language Models (LLM's) geometrisch kan worden geïdentificeerd in de residual streams (de activatieruimtes tussen de lagen van een transformer).

• Huidige uitdaging: Bestaande veiligheidsmechanismen zijn vaak traag of vereisen een tweede model. Er is behoefte aan een lichte, interpretabele methode om schadelijke prompts te detecteren voordat generatie begint.
• Aanname: Semantische eigenschappen worden in transformer-modellen vaak gecodeerd als lineaire richtingen in de activatieruimte. De vraag is of dit geldt voor "schadelijke intentie" over verschillende architecturen en alignatie-varianten heen, en of deze detectie robuust is tegen ingrepen zoals het verwijderen van weigergedrag (abliteration).
• Gaten in bestaand onderzoek: Eerdere studies focussen vaak op één modelfamilie, rapporteren alleen rangschikking-metrics (zoals AUROC) in plaats van operationele metrics (zoals TPR bij lage vals-positieve rates), en hebben niet systematisch onderzocht hoe schadelijke intentie en weigering (refusal) geometrisch gerelateerd zijn.

2. Methodologie

De auteur evalueert zes strategieën om een detectierichting te vinden in de residual streams van 12 modellen.

• Modellen: 12 modellen uit vier architecturale families (Qwen2.5, Qwen3.5, Llama-3.2, Gemma-3) en drie alignatie-varianten per familie:
  • Base: Ongetraind.
  • Instruction-tuned: Gestructureerd voor instructies.
  • Abliterated: Modellen waarbij de "weigerrichting" (refusal direction) chirurgisch is verwijderd via projectie, zodat ze niet meer weigeren, maar wel de onderliggende representaties behouden.
• Data: Drie pijlers van data:
  • Harmful: AdvBench (voor fitting), HarmBench en JailbreakBench (voor evaluatie).
  • Benign: Alpaca-Cleaned en XSTest (moeilijke, schijnbaar schadelijke prompts).
  • De data is strikt gesplitst in fitting, validatie en evaluatie sets.
• Activatie-extractie: Activaties worden gemaximaliseerd over de token-positie (max-pooling) per laag om een vaste vector te krijgen.
• Zes Detectiestrategieën:
  1. $w_{PC1}$ (Zero-shot): De eerste hoofdcomponent van de veilige data.
  2. $\theta$-normative (Zero-shot): Hoekafwijking ten opzichte van de normatieve centroid.
  3. $w_{LDA}$ (Supervised): Het verschil tussen de klassenmiddelpunten (Fisher Linear Discriminant). Zeer goedkoop in fitting.
  4. $w_{opt}$ (Supervised): Een richting geoptimaliseerd voor een "soft-AUC" (sigmoid-gesmoothde Mann-Whitney U-statistiek) via Riemanniaanse gradiëntstijging.
  5. $\theta$ two-class (Supervised): Optimalisatie van de hoekafwijking in plaats van projectie.
  6. Baselines: Willekeurige vector en Perplexity.
• Metingen: Naast AUROC wordt TPR@1%FPR (True Positive Rate bij 1% Valse Positieve Rate) gerapporteerd, wat cruciaal is voor praktische inzet waar valse alarmen minimaal moeten zijn.

3. Belangrijkste Bijdragen

1. Cross-architectuur en Cross-alignment evaluatie: Het bewijs dat detectie stabiel blijft over 12 modellen en drie varianten, inclusief modellen waarvan het weigergedrag is verwijderd. Dit toont aan dat schadelijke intentie en weigering functioneel gedissocieerd zijn.
2. Geometrische karakterisering: De richting van schadelijke intentie is bijna orthogonaal (gemiddeld 82°) aan de dominante variatie van veilige prompts. Er is een tweede geometrische mode gevonden (hoek-afwijking) die werkt waar projectiemethoden falen.
3. Operationele evaluatie: Het paper demonstreert dat hoge AUROC-waarden (>0.97) de operationele detectie kunnen overschatten. TPR bij lage FPR is een noodzakelijke aanvullende metric.
4. Schaalstabiliteit: De bevindingen houden stand bij Qwen3.5-modellen van 0.8B tot 9B parameters.

4. Resultaten

• Prestatie van Supervised Methoden:
  • De $w_{opt}$ (soft-AUC geoptimaliseerd) bereikt een gemiddelde AUROC van 0.982 en een TPR@1%FPR van 0.797.
  • De $w_{LDA}$ (klassenmiddelpunt) bereikt AUROC 0.975 en TPR 0.706, met een fit-kost van <1ms.
  • Zero-shot methoden en perplexity-baselines presteren slecht (TPR < 0.05).
• Geometrie en Schaal:
  • De richting van schadelijke intentie is stabiel. In drie van de vier families blijft de richting grotendeels behouden na alignatie. In Gemma-3 roteert de representatie sterk (73° verschil), maar blijft lineair herleidbaar.
  • Abliteration: Het verwijderen van de weigerrichting heeft geen invloed op de detectie van schadelijke intentie. Modellen herkennen nog steeds de intentie, zelfs als ze niet meer weigeren.
  • Schaal: Bij Qwen3.5 (0.8B tot 9B) blijft AUROC ≥ 0.98. De 9B-variant toont de schoonste cross-variant transfer, wat suggereert dat de representatie robuuster wordt met schaal.
• De "Valley" in Qwen2.5:
  • In Qwen2.5-modellen daalt de AUROC van projectiemethoden ($w_{LDA}$, $w_{opt}$) in de middelste lagen (laag 2-20) tot onder 0.80.
  • De $\theta$ two-class strategie (hoek-gebaseerd) behoudt echter een AUROC > 0.95 in deze lagen. Dit toont aan dat schadelijke intentie in sommige lagen via een hoek-gebaseerde geometrie wordt gecodeerd, niet via een lineaire projectie.
• Generalisatie: Een richting gefit op AdvBench generaliseert uitstekend naar held-out datasets (HarmBench, JailbreakBench) met een gemiddelde AUROC ≥ 0.961.

5. Betekenis en Conclusie

Functionele Dissociatie:
Het paper levert sterk bewijs dat schadelijke intentie en weigering twee verschillende representaties zijn. Modellen leren schadelijke intentie te herkennen als onderdeel van algemeen taalbegrip (pre-training). Alignatie (safety training) verandert wat het model doet met deze input (het weigert), maar verwijdert of herschikt de upstream-signaal dat de intentie identificeert niet volledig. Het verwijderen van het weigergedrag (abliteration) beïnvloedt de detectie van de intentie niet.

Praktische Implicaties:

1. Efficiënte Detectie: Een lichte "probe" (met slechts 100 gelabelde voorbeelden per klasse) kan schadelijke prompts detecteren met hoge nauwkeurigheid en minimale latentie (enkele milliseconden).
2. Metrisch Advies: In veiligheidsgerelateerde evaluaties mag AUROC niet de enige metric zijn. Een hoge AUROC kan een lage TPR bij lage FPR verbergen. TPR@1%FPR moet altijd worden gerapporteerd.
3. Robuustheid: De detectie is bestand tegen "jailbreaks" en het verwijderen van veiligheidsfilters, wat suggereert dat deze signalen diep in de modelarchitectuur verankerd zijn.

Toekomstige Richtingen:
De auteurs wijzen op beperkingen, zoals de test op enkelvoudige, Engelstalige prompts. Toekomstig werk moet kijken naar meervoudige interacties, cross-linguale overdracht en de weerstand tegen geavanceerde adversariale aanvalstechnieken.

Kortom, dit paper toont aan dat schadelijke intentie een fundamenteel, lineair (of hoek-gebaseerd) geometrisch kenmerk is van transformer-residual streams, dat onafhankelijk is van het gedrag dat het model uiteindelijk vertoont.