Technische Samenvatting: Introspectieve Koppeling in Taalmodellen

Probleemstelling

Een centrale uitdaging bij het interpreteerbaar maken van taalmodellen (LM's) is het waarborgen dat hun zelfgegenereerde verklaringen getrouw hun huidige besluitvormingsprocessen volgen, in plaats van louter plausibele verklareningspatronen te imiteren. Eerdere studies hebben onderzocht hoe LM's getraind kunnen worden om contrafeitelijke verklaringen te genereren (bijv. "hoe zou uw antwoord veranderen als deze hint zou worden verwijderd?") met behulp van Supervised Fine-Tuning (SFT) op labels die afgeleid zijn van een initiële snapshot van het model. Echter, er bestaat een kritieke beperking: naarmate het model wordt gefinetuned om verklaringen te genereren, kan het onderliggende gedrag op niet-verklareningsinputs gaan driften. Bijgevolg loopt het model het risico het gedrag van het oorspronkelijke checkpoint (het trainingsdoel) te verklaren, in plaats van zijn eigen huidige gedrag. Dit roept de vraag op: kunnen modellen die getraind zijn op statische verklareningsdatasets nog steeds introspectie vertonen op hun evoluerende gedragingen?

Methodologie

De auteurs stellen een raamwerk voor om "Introspectieve Koppeling" te onderzoeken, een fenomeen waarbij de verklaringen van een model gekoppeld blijven aan het huidige gedrag, ondanks dat het getraind is op statische labels van een eerdere versie.

Experimentele Opzet

1. Basemodel & Data: De primaire experimenten gebruiken Qwen3-8B als basemodel ($M_0$). De studie maakt gebruik van drie onderscheidende taken:
   • Hint-MMLU: Het testen van sycophantie (vleierij) waarbij modellen hun antwoord veranderen op basis van geïnjecteerde hints.
   • AITA: Het testen van sycophantie in moreel oordeel op basis van de framing van de systeemprompt (eerste persoon versus derde persoon).
   • Refusal (Weigering): Het testen van weigeringsgedrag op basis van de rol van de gebruiker (bijv. docent versus schrijver).
2. Constructie van Verklaringen: Grondwaarheid-verklaringen ($E(M_0)$) worden deterministisch geconstrueerd vanuit het gedrag van het basemodel. Voor een gegeven input $x$ met een cue $C$ (bijv. een hint) beschrijft de verklaring of het antwoord van het model verandert wanneer $C$ wordt verwijderd ($x \setminus C$).
3. Trainingsdoel: Het model wordt getraind om deze verklaringen te voorspellen. Cruciaal is dat het trainingsdoel een gedragsregularisator (KL-divergentie) bevat om het gedrag van het model dicht bij het basemodel $M_0$ te houden tijdens de verklaringstrainingfase:
   $$\mathcal{L}(M) = \mathbb{E}_{(q,e) \sim E(M_0)} [-\log p_M(e|q)] + \lambda \mathbb{E}_{(x,y) \sim B(M_0)} [\text{KL}(p_{M_0}(y|x) \parallel p_M(y|x))]$$
   Hierbij controleert $\lambda$ de sterkte van de gedragsregularisatie.
4. Evaluatiemetrieken:
   • Explanation Exact Match (EM): Meet hoe goed de voorspelde verklaring van het getrainde model overeenkomt met de grondwaarheid.
   • Self vs. Orig: De kernmetriek vergelijkt de nauwkeurigheid van de verklaring van het model tegenover:
     • Orig: De grondwaarheid-verklaringen van het oorspronkelijke basemodel ($E(M_0)$).
     • Self: De grondwaarheid-verklaringen van het huidige gedrag van het model ($E(M_{reg})$).
   • Introspectieve Koppeling: Gedefinieerd als de conditie waarbij Self > Orig, wat betekent dat het model zijn huidige gedrag beter verklaart dan het gedrag dat het probeerde na te bootsen.

Belangrijkste Bijdragen en Bevindingen

1. Emergentie van Introspectieve Koppeling (Self > Orig)

Het artikel demonstreert dat wanneer modellen worden getraind met gedragsregularisatie, ze vaak verklaringen produceren die getrouwer zijn aan hun huidige gedrag dan aan de statische trainingsdoelen.

• Resultaat: Over de taken Hint-MMLU, AITA en Refusal heen, bereikt het geregulariseerde model ($M_{reg}$) een hogere Explanation EM op zijn eigen huidige gedrag (Self) dan op het gedrag van het oorspronkelijke basemodel (Orig).
• Contrast: Zonder gedragsregularisatie ($\lambda=0$) verdwijnt dit effect; het model presteert daadwerkelijk beter in het verklaren van het oorspronkelijke model (Orig) dan van zichzelf (Self), wat aangeeft dat het de trainingslabels louter heeft gememoriseerd zonder zijn eigen drift te volgen.

2. Mechanisch Bewijs

Met behulp van activation patching levert de auteur mechanisch bewijs dat gedrags- en verklaringscircuits causaal verbonden zijn in modellen die introspectieve koppeling vertonen.

• Correlatie: Interventies die de logits van het gedrag van het model verschuiven, verschuiven ook de verklaringslogits in dezelfde richting (Pearson correlatie $r \approx 0.89$ voor geregulariseerde modellen).
• Baseline: Ongeregulariseerde modellen vertonen een significant lagere correlatie ($r \approx 0.53$), wat suggereert dat de koppeling een specifiek resultaat is van de trainingsdynamiek en geen generiek kenmerk van de architectuur.

3. Condities voor Emergentie

Het artikel onderzoekt wanneer deze koppeling ontstaat:

• Online Label-Self Compatibiliteit: Koppeling hangt af van de gelijkenis tussen de verklaring-supervisielabels en het huidige gedrag van het model tijdens de training. Als het gedrag van het model te ver afwijkt van de labels (lage online overeenkomst), stort de koppeling in.
• Drempelwaarde: Een minimaal niveau van overeenkomst (ongeveer 70% voor Qwen3-8B op Hint-MMLU) tussen de supervisielabels en het huidige gedrag van het model is vereist om Self > Orig te laten emergeren.
• Cross-Model Generalisatie: Koppeling blijft bestaan, zelfs wanneer de verklaring-labels worden gegenereerd door een ander modeltype (bijv. het trainen van Qwen op de verklaringen van Llama). Zolang de gedragsregularisatie het getrainde model gedrag vergelijkbaar houdt met de bron van de labels, leert het model zijn eigen huidige staat te verklaren, in plaats van de staat van het vreemde model.

4. Generalisatie naar Auxiliaire Training

De auteurs testen of introspectieve koppeling generaliseert naar gedragingen die zijn verworven via gelijktijdige post-training op hulpdatasets (bijv. "Jabberwocky" nonsens-data of real-world chatlogs).

• Resultaat: Modellen die getraind zijn op verklaringstaken naast hulp-gedragsdata kunnen de gedragingen die zij alleen via de hulp-training hebben verworven accuraat verklaren, ondanks dat ze nooit specifieke verklaring-supervisie voor die gedragingen hebben ontvangen.
• Implicatie: De verklarende functie generaliseert om verschuivingen in gedrag te volgen die door andere post-training doelstellingen zijn geïnduceerd.

Betekenis en Claims

Het artikel claimt dat introspectieve koppeling een schaalbare weg biedt naar getrouwe zelfverklaring in LM's.

• Schaalbaarheid: De resultaten suggereren dat datasets voor verklaringen niet constant opnieuw gegenereerd hoeven te worden terwijl een model wordt gefinetuned. Een vaste dataset van contrafeitelijke verklaringen afgeleid van een eerder checkpoint kan dienen als een generaliseerbaar signaal voor introspectie, mits gedragsregularisatie voldoende gelijkenis behoudt.
• Monitoring: Dit fenomeen stelt modellen in staat om te fungeren als "altijd aan"-probes voor gedragsdrift. Zelfs wanneer een model andere post-training doelstellingen ondergaat (zoals veiligheidstuning of instructietuning) die het gedrag verschuiven, kunnen de zelfverklaringen van het model deze verschuivingen volgen zonder dat daarvoor geüpdatete supervisie nodig is.
• Privilegieerde Toegang: De bevindingen ondersteunen de visie dat LM's over een vorm van geprivilegieerde toegang beschikken tot hun eigen besluitvormingsprocessen, waardoor ze hun eigen gedrag beter kunnen modelleren dan een extern model (of zelfs het model dat de trainingslabels genereerde) kan.

De auteurs blijven bescheiden en merken op dat het fenomeen voldoende gedragsvariantie in de trainingsdata vereist en dat het mechanische verhaal (de specifieke "introspectie-circuit") nog niet volledig in kaart is gebracht. Zij positioneren dit werk als complementair aan extrope de interpretatie-instrumenten in plaats van als een vervanging daarvan.