Technische Samenvatting: Perfecte Detectie, Falende Controle

Probleemstelling

Het paper onderzoekt een centraal streven van mechanistische interpreteerbaarheid: het geloof dat als een gedrag binnen de activaties van een model kan worden gedetecteerd, het ook gecontroleerd kan worden door diezelfde activaties te modificeren. Dit paradigma rust op een verborgen geometrische premisse — dat de richting in de residual stream die een gedrag het best detecteert, dezelfde (of nauw verwant) is aan de richting die het gedrag het best controleert (stuurt).

De auteurs dagen deze premisse uit door een precieze geometrische vraag te stellen: wat is de hoek tussen de richting die een gedrag het best discrimineert en de richting die het het beste veroorzaakt? Als detectie controle impliceert, zou de hoek nabij $0^\circ$ moeten liggen (cosinus $\approx 1$). Zo niet, dan kwantificeert de hoek een "detectie-interventiekloof". Het paper test deze hypothese op twee contrasterende gedragingen: outputformaat (een renderingkeuze) en hallucinatie (het fabriceren van feiten over niet-bestaande entiteiten).

Methodologie

De studie maakt gebruik van analyse tijdens de inferentie op Gemma 2-2B-it (26 lagen, 2304-dimensionale residual stream) en repliceert de bevindingen bij drie andere modellen (Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B). Er vindt geen fine-tuning plaats; alle interventies zijn causale manipulaties via activatie-additie.

Kernmetingen

1. Constructie van Richtingen:
   • Detectierichting ($d_{det}$): Op twee manieren opgebouwd:
     • Data-gedreven: Verschil-in-gemiddelden (Difference-in-means, DiM) van de residual activaties tussen "nep" en "echte" entiteit-prompts.
     • Handgekozen: Contrast van rijen in de unembedding matrix ($W_{lm\_head}$) tussen tokens die typerend zijn voor onzekerheid (bijv. "Helaas") en tokens die typerend zijn voor fabricage (bijv. "De", "Parijs").
   • Interventierichting ($d_{ref}$): Handgekozen uit $W_{lm\_head}$ door weigerings-tokens (bijv. "Nee", "kan niet") te contrasteren met compliant (gehoorzame) tokens.
2. Geometrische Metriek: De cosinus-gelijkenis ($\cos$) tussen $d_{det}$ en $d_{ref}$.
3. Causale Validatie: Richtingen worden toegevoegd aan de residual stream op specifieke lagen ($\alpha \cdot d$) om gedragsverandering te meten (bijv. weigeringspercentages).
4. Signaaldecompositie: De residual stream wordt gedecomposeerd in aandacht (attention) en MLP-bijdragen om te lokaliseren waar het detectiesignaal zich bevindt.
5. Cross-Model Replicatie: De geometrische kloof wordt gemeten over vier modellen van verschillende schalen en families om de algemeenheid te testen.

Belangrijkste Resultaten

1. Het Gealigneerde Geval: Outputformaat

Voor de taak van het schakelen tussen markdown-fencing en schone JSON, vallen detectie en controle samen op een enkele as.

• De richting afgeleid van $W_{lm\_head}$ die fencing van schone output scheidt, is identiek aan de richting die, wanneer toegevoegd, fencing elimineert.
• Resultaat: $\cos \approx 1$. Detectie impliceert controle. Dit dient als de "overlay" baseline waar het gedrag een scheidbare renderingkeuze is.

2. Het Divergerende Geval: Hallucinatie

Voor hallucinatie (het fabriceren van feiten over niet-bestaande entiteiten), faalt de premisse volledig.

• Perfecte Detectie: Het model detecteert nep-entiteiten met perfecte lineaire scheidbaarheid ($AUC = 1.000$) vanaf laag 5 met behulp van meerdere methoden (lineaire probes, aandachtskoppen, SAE-features).
• Falende Controle: De richting die hallucinatie het best detecteert, is bijna orthogonaal aan de richting die weigering veroorzaakt.
  • Cosinus: $\cos(d_{det}, d_{ref}) \approx 0.12$ (hoek $\approx 83^\circ$).
  • Cross-Method Gap: Zelfs een detectierichting die puur uit activaties is opgebouwd (DiM, geen handgekozen tokens), levert $\cos \approx -0.06$ op tegenover de interventierichting.
• Gevolg: Het toevoegen van de perfecte detectierichting aan de residual stream induceert geen weigering; in sommige gevallen verhoogt het zelfs de fabricage. Het signaal is aanwezig, maar wordt niet gerouteerd naar de output-actie.

3. Structurele Oorzaken van de Kloof

• Dominantie van Entity-Copy: In de output-mapping wordt het component van de residual stream dat orthogonaal staat op de detectierichting gedomineerd door een "entity-copy" mechanisme (het versterken van de prominente entiteitsnaam). Dit component is ongeveer $12\times$ groter dan het detectiesignaal, waardoor het de epistemische onzekerheidssignaal effectief overstemt.
• MLP vs. Attention: Het detectiesignaal wordt bijna uitsluitend gedragen door MLP-lagen (5.66$\times$ meer dan aandacht) in de late lagen (L18–L25). Aandachtslagen bij L17+ zijn overbodig voor dit signaal; het verwijderen ervan verbetert de eerlijkheid zelfs.
• Instruction Tuning: De geometrische kloof ($\cos \approx 0.12$) is aanwezig in het basismodel en blijft ongewijzigd na instruction tuning. Tuning verschuift de positie van activaties langs de vaste detectierichting (waardoor fakes als meer onzeker worden geprojecteerd), maar verandert de hoek tussen de detectie- en interventierichtingen niet.

4. Partiële Mitigatie via Rotatie

Omdat de richtingen bijna orthogonaal zijn, probeerden de auteurs de kloof te overbruggen door de interventievector te roteren.

• Methode: Een rotatie van $15^\circ$ van de detectierichting naar de interventierichting ($d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$).
• Resultaat: Op een onafhankelijke stress-test verhoogde deze rotatie de weigeringspercentages voor subtiele hallucinaties (Type 2) van 13% naar 60%, met een fout-positief percentage van slechts 1,8%. Dit bevestigt dat de kloof een geometrische structuur heeft die gedeeltelijk overbrugd kan worden, hoewel het geen volledige oplossing is.

5. Cross-Model Generaliteit

De geometrische kloof is robuust over vier modellen (Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B):

• Cosinus Bereik: $\cos \in [0.12, 0.20]$ (hoeken $78^\circ$–$83^\circ$).
• Invariant: De kloof bestaat ongeacht de tokenizer (SentencePiece vs. BPE) of model schaal (1B–9B).
• Gedragsspectrum: Ondanks identieke geometrie variëren de gedragsuitkomsten:
  • Gemma: Detecteert perfect, maar fabriceert.
  • Llama: Detecteert perfect en weigert (de actie vindt plaats via een apart, niet-gemeten pad).
  • Qwen: Gemengd gedrag.
  • Conclusie: De geometrie beschrijft de dissociatie tussen weten en sturen, maar voorspelt niet het standaardgedrag van het model.

Betekenis en Claims

Het paper stelt een functionele dissociatie vast tussen "weten" (detectie) en "sturen" (controle) in taalmodellen.

1. Detectie is geen Controle: Perfecte lineaire scheidbaarheid van een gedrag (bijv. weten dat een entiteit nep is) garandeert niet dat de detectierichting gebruikt kan worden om dat gedrag te controleren. De twee vermogens bezetten bijna orthogonale subruimtes in de residual stream.
2. De Cosinus is een Signatuur, geen Oracle: De cosinus tussen detectie- en interventierichtingen is een robuuste, via gewichten berekenbare signatuur van deze dissociatie. De auteurs verwerpen echter expliciet het idee dat deze cosinus dient als een a priori voorspeller van stuurbaarheid. Een hoge cosinus (zoals bij formaat) is een uitzonderlijk geval waarbij één vector beide rollen vervult; een lage cosinus duidt op een structurele kloof, maar de aanwezigheid van de kloof impliceert niet dat het gedrag onstuurbaar is (zoals aangetoond door het rotatie-experiment).
3. Structurele Oorsprong: De kloof wordt gelegd tijdens de pretraining en is invariant aan instruction tuning. Het ontstaat omdat de output-mapping wordt gedomineerd door mechanismen (zoals entity copying) die orthogonaal staan aan het epistemische signaal.
4. Beperkingen van Lineaire Sturing: De resultaten suggereren dat voor complexe gedragingen zoals hallucinatie, eenvoudige activatie-additie langs een enkele "detectierichting" onvoldoende is. Effectieve sturing vereist mogelijk het navigeren door de hoog-dimensionale subruimte van detectie of het roteren naar de interventierichting, waarbij erkend wordt dat detectie een klasse van richtingen is, en niet een enkele vector.

Het paper concludeert dat hoewel mechanistische interpreteerbaarheid de interne staten perfect kan lezen, het schrijven naar die staten om gedrag te veranderen, een begrip vereist van de specifieke geometrische routering tussen epistemische signalen en output-acties, die vaak structureel ontkoppeld zijn.