Technische Samenvatting: Decodeerbaar maar niet gecorrigeerd door vaste lineaire sturing van het residu-stroom

Probleemstelling

Dit artikel onderzoekt een kritieke kloof in de interpreteerbaarheid en controle van Large Language Models (LLM's): de kloof tussen classificatie en correctie. Hoewel eerdere studies hebben aangetoond dat specifieke gedragsstaten (bijvoorbeeld weigering, sentiment) lineair kunnen worden gedecodeerd uit verborgen staten en gecorrigeerd via actiesturing, blijft het onduidelijk of dit ook geldt voor complexe, meerstaps redeneerfouten. De auteurs richten zich op een specifiek faalregime in medische vraagbeantwoording (MedQA) genaamd Overdenken (OT), waarbij modellen bij resampling vaak het juiste antwoord geven, maar falen bij het genereren van uitgebreide chain-of-thought (CoT)-sporen. De centrale vraag is: Als een faalmodus lineair decodeerbaar is in de verborgen staten, kunnen er dan vaste lineaire stuurvectoren worden gebruikt om deze te corrigeren?

Methodologie

1. Identificatie van gedragsregimes (Overdenken)

De auteurs definiëren Overdenken (OT) als een gedragsconstruct waarbij:

• Het model in $\ge$60% van de bemonsterde sporen correct antwoordt (wat aangeeft dat de kennis aanwezig is).
• Het model in redeneersporen met lange duur (>200 tokens) een incorrect antwoord produceert.
• Dit regime verschilt van Kennisdeficit (KD) (feitelijke fouten) en Redeneerketenbreuk (RCB) (geldige feiten, ongeldige logica).
• OT wordt geïdentificeerd met hoge stabiliteit (Jaccard $\ge$0,81 onder drempelperturbatie, 94% onderlinge overeenstemming tussen annotatoren).

2. Geometrische analyse

Met behulp van Llama-3.1-8B-Instruct en Qwen2.5-7B-Instruct hebben de auteurs verborgen staten geëxtraheerd uit 12.000 sporen (2.000 per faalmodus + 6.000 overeenkomstige correcte sporen).

• Contrastvectoren: Berekend als de genormaliseerde verschil tussen de gemiddelde verborgen staten van correcte sporen en specifieke faalmodi ($v = \bar{h}_{correct} - \bar{h}_{mode}$).
• Classificatie: Lineaire probes werden getraind om OT te onderscheiden van niet-OT sporen.
• Specificiteitsdecompositie: De auteurs berekenden de specificiteitsratio om te bepalen hoeveel van de contrastvector uniek is voor de faalmodus versus gedeeld met algemene "incorrect-vs-correct" richtingen.
• Cross-architectuur en cross-domein: Validatie werd uitgevoerd op Qwen2.5-7B en het MMLU-STEM-domein om generaliseerbaarheid te testen.

3. Experimenten met actiesturing

De auteurs testten vijf families van vaste lineaire sturing interventies op de Llama-3.1-8B testset ($n=1.273$) en Qwen2.5-7B ($n=1.273$):

1. Contraststuring: Toevoegen van $\alpha \cdot v$ op pieklagen.
2. Probe-geleide sturing: Gebruik van probe-gewichtvectoren in plaats van contrastvectoren.
3. Meerlaagse sturing: Toepassen van vectoren op 1, 3 of 5 lagen.
4. Rank-k subruimtesturing: Sturen binnen subruimten opgespannen door de top singuliere vectoren.
5. Einde-promptsturing: Gebruik van vectoren afgeleid van de prompt (voor-generatie) om verontreiniging van het antwoord te voorkomen.

• Conceptwissing: Een complementaire interventie die de faalrichting projecteert om causale verstrengeling te testen.
• Controles: Een weigeringsstuurcontrole verifieerde de infrastructuur; temperatuursweeps en evaluaties bij dezelfde temperatuur sluiten distributieve verschuivingen uit als primaire oorzaak van het falen.

4. Betrouwbaarheid na generatie

De auteurs evalueerden of de decodeerbare structuur selectieve onthouding kon ondersteunen (weigeren om te antwoorden wanneer de probe lage zekerheid voorspelt) als alternatief voor correctie.

Belangrijkste resultaten

1. De kloof tussen classificatie en correctie

• Decodeerbaarheid: OT is lineair decodeerbaar met 71,6% gebalanceerde nauwkeurigheid ($p \approx 10^{-16}$) op Llama-3.1-8B. Dit signaal is robuust voor lengteregressie en drempelperturbaties.
• Stuurfaal: Ondanks hoge decodeerbaarheid leverden alle 29 configuraties van vaste lineaire sturing over vijf methodefamilies $\Delta \approx 0$ op (geen significante verbetering in nauwkeurigheid).
  • Modusspecifieke sturing: $\Delta = -0,2$ pp.
  • Meerlaagse sturing: $\Delta \approx 0$.
  • Einde-promptsturing: $\Delta \approx 0$.
• Consistentie over architecturen: Het nultresultaat gold ook voor Qwen2.5-7B (9 configuraties) en MMLU-STEM (4 configuraties).

2. Bewijs van representatieve verstrengeling

Het falen van sturing wordt toegeschreven aan representatieve verstrengeling tussen het faalsignaal en taakkritische berekening:

• Lage specificiteit: De OT-specifieke specificiteitsratio is slechts 0,119 (Llama) en 0,152 (Qwen). Dit betekent dat ongeveer 88% van het contrastsignaal overeenkomt met de gedeelde "incorrect-vs-correct" richting.
• Causale schade:
  • Gedeelde-richting sturing (toepassen van de gedeelde incorrecte richting) schaarde de nauwkeurigheid ernstig ($\Delta = -12,1$ pp).
  • Conceptwissing: Het verwijderen van de OT-richting via projectie van het gemiddeldeverschil schaarde de nauwkeurigheid ($\Delta = -3,6$ pp, $p=0,01$), terwijl 10 willekeurige richtingen geen schade veroorzaakten ($\Delta = +0,3$ pp). Dit bevestigt dat de OT-richting causaal verstrengeld is met correct redeneren, niet louter correlatief.
• Per-instantie ongecorreleerdheid: De correlatie tussen probe-zekerheid en sturend effect is $r = -0,002$ ($p=0,97$), wat aangeeft dat het weten wanneer een model overdenkt niet voorspelt hoe het gestuurd moet worden.

3. Positieve bevinding: Selectieve onthouding

Hoewel sturing faalde, maakte de decodeerbare structuur schatting van betrouwbaarheid na generatie mogelijk:

• Een correctieprobe behaalde een AUROC van 0,610 op de vastgehouden testset, wat significant beter was dan vijf onzekerheidsbaselines voor één doorloop (beste baseline AUROC = 0,569, $\Delta = 0,041$, $p=0,009$).
• Selectieve onthouding: Door af te zien van antwoorden bij lage zekerheidsvoorspellingen, behaalde het model een +5,5 pp winst in nauwkeurigheid bij 60% dekking.
• Vergelijking met Zelf-consistentie: Hoewel meerderheidsstemming (Zelf-consistentie) 100% van de OT-fouten corrigeert, vereist dit 10x de generatiekosten. De probe biedt een kosteneffectief alternatief met één doorloop voor betrouwbaarheidsschatting.

4. Niet-lineaire interventies

Een voorlopig experiment met een geleerde niet-lineaire MLP (residu-adapter) behaalde een bescheiden maar significante verbetering ($\Delta = +2,8$ pp, $p=0,025$). Dit suggereert dat de kloof niet absoluut is, maar specifiek voor vaste lineaire interventies; niet-lineaire transformaties kunnen de gedeelde subruimte mogelijk gedeeltelijk ontwarren.

Betekenis en claims

Het artikel claimt mechanistisch bewijs te leveren voor waarom actiesturing faalt in meerstaps redeneerregimes, en gaat verder dan louter documentatie van het fenomeen.

1. Geometrische verklaring: De auteurs betogen dat de kloof tussen classificatie en correctie ontstaat omdat faalsignalen in redeneertaken verstrengeld zijn met taakrelevante berekening. In tegenstelling tot weigering (die een specificiteitsratio van 0,999 heeft en stuurbaar is), deelt het OT-signaal ongeveer 88% van zijn richting met het correcte redeneerpad.
2. Asymmetrie tussen observatie en interventie: De studie demonstreert dat decodeerbaarheid niet stuurbaarheid impliceert. Een signaal kan statistisch leesbaar zijn door een probe (observatie) zonder causaal handelbaar te zijn via additieve perturbatie (interventie), omdat de perturbatie onvermijdelijk de gedeelde taakberekening verstoort.
3. Operationele waarde van probing: Zelfs wanneer sturing faalt, heeft de decodeerbare structuur nut voor schatting van betrouwbaarheid (selectieve onthouding), wat een praktisch hulpmiddel biedt voor implementatie waar correctie onmogelijk is.
4. Diagnostisch raamwerk: De auteurs stellen een Lineair Toegankelijkheidsprofiel (LAP) en specificiteitsratio voor als diagnostische middelen voor interventie. Zij suggereren dat als een richting een lage specificiteit heeft (<0,21) en hoge overlap met taakberekening, vaste lineaire sturing onwaarschijnlijk zal slagen.

Het artikel concludeert dat hoewel de "kloof tussen classificatie en correctie" een robuust empirisch fenomeen is in medisch redeneren, deze mogelijk deels kan worden overbrugd door geleerde niet-lineaire interventies die gedeelde richtingen kunnen ontwarren, een richting voor toekomstig werk.