Technische Samenvatting: Introspection Fine-Tuning (IFT)

Probleemstelling

Het paper onderzoekt of kleine taalmodellen (SLM's) beschikken over de capaciteit voor introspectie—gedefinieerd als het vermogen om toegang te krijgen tot en accuraat te rapporteren over hun eigen interne computationele toestanden, specifiek de perturbaties van hun residu-stroom activaties. Hoewel recent werk (Lindsey [2026]) aantoonde dat grote modellen (bijv. Claude Opus 4) geïnjecteerde "gedachten" (conceptvectoren) kunnen detecteren, blijft het onduidelijk of deze capaciteit ook aanwezig is in kleinere, open-source modellen, hoe dit schaalt, en of het geïnduceerd kan worden in modellen die het aanvankelijk missen.

Een kritische methodologische uitdaging die wordt geïdentificeerd, is dat standaard binaire detectieparadigma's (een model vragen "Heeft u een geïnjecteerde gedachte gedetecteerd? Ja/Nee") fundamenteel verward zijn in kleine modellen. De auteurs demonstreren dat stuurvectoren (steering vectors) een globale bias induceren naar affirmatieve antwoorden, ongeacht de inhoud van de vraag. In Llama-3.1-8B is de correlatie tussen de respons van het model op introspectievragen en feitelijke "Nee"-controlevragen (bijv. "Is de maan gemaakt van groene kaas?") bijna perfect ($r = 0.999$), wat aangeeft dat affirmatieve outputs worden gedreven door een inhouds-agnostische verschuiving in de logits in plaats van door werkelijke conceptdetectie.

Methodologie

1. Activatie-sturing en Dataconstructie

De auteurs maken gebruik van activatie-sturing (activation steering), waarbij geschaalde, L2-genormaliseerde conceptvectoren ($\hat{v}^{(l)}$) in de residu-stroom van een model worden geïnjecteerd op specifieke lagen ($l$) en sterktes ($\alpha$).

• Conceptvectoren: Afgeleid van twee datasets:
  • Simpele Dataset: 500 concrete zelfstandige naamwoorden (bijv. "Stof") afgezet tegen een baseline van 50 woorden.
  • Complexe Dataset: 500 abstracte concepten (bijv. "deterministisch vs. probabilistisch") gerepresenteerd door 20 positieve en 20 negatieve contrastieve zinnen.
• Sturing: De vector wordt toegevoegd aan de verborgen toestanden van specifieke token-posities, die zich voortplanten door opeenvolgende lagen.

2. Confound-vrije Evaluatiemetrieken

Om de verwarring door de affirmatieve bias te omzeilen, stellen de auteurs twee relatieve oordeelsopdrachten voor waarbij een uniforme logit-verschuiving de uitkomst niet kan beïnvloeden:

• Zinslokalisatie: Het model krijgt $N$ zinnen gepresenteerd ($N=5$ of $10$). Precies één zin heeft een geïnjecteerde conceptvector. Het model moet identificeren welke zin is geperturbeerd. De kansreële nauwkeurigheid is $1/N$.
• Sterktevergelijking: Twee zinnen worden gepresenteerd; één ontvangt een sterkere injectie ($\alpha_1$) dan de andere ($\alpha_2$). Het model moet de zin met de sterkere injectie identificeren. De kansreële nauwkeurigheid is 50%.

3. Introspection Fine-Tuning (IFT)

De auteurs introduceren Introspection Fine-Tuning (IFT), een supervised fine-tuning benadering ontworpen om modellen te trainen om te rapporteren over hun eigen perturbaties.

• Trainingsdata: Geconstrueerd vanuit de eigen forward passes van het model. Een sturingsvector wordt geïnjecteerd in één van de $N$ gesamplede zinnen, en het model wordt getraind via cross-entropy loss om de correcte index van de geperturbeerde zin te voorspellen.
• Variabelen:
  • Laag-modus: Vast (altijd injectie op laag $l=3$) versus Random (injectielaag uniform samplen).
  • Vectortype: Gaussische ruis, Semantisch (conceptvectoren), of Semantisch+Redeneren (Semantisch + identificatie van de conceptnaam).
• Generalisatie: Modellen worden alleen getraind op zinslokalisatie en geëvalueerd via zero-shot op sterktevergelijking.

Belangrijkste Resultaten

1. Schalingswetten van Introspectie

Evaluatie van zes modellen (Llama-3.2 1B–8B; Gemma-4 2B–26B) onthulde:

• Emergentie: Introspectief vermogen verschijnt betrouwbaar bij 2–3 miljard parameters.
• Schaalafhankelijkheid: Prestaties nemen over het algemeen toe met de modelgrootte.
  • Llama-1B: Presteert op of onder het niveau van toeval (Lokalisatie $\le 20\%$).
  • Llama-3B: Bereikt $\approx 65\%$ lokalisatie.
  • Llama-8B: Bereikt $\approx 88\%$ lokalisatie.
  • Gemma-26B: Bereikt $\approx 95\%$ op sterktevergelijking.
• Conclusie: Introspectie is geen vaste eigenschap van schaal alleen; 1B-modellen missen de capaciteit om het te gebruiken zonder interventie, terwijl grotere modellen het van nature vertonen.

2. Effectiviteit van Introspection Fine-Tuning (IFT)

IFT slaagt erin de latente introspectieve capaciteit te ontsluiten in modellen die voorheen op het niveau van toeval presteerden:

• Verbetering Llama-1B: De nauwkeurigheid van zinslokalisatie steeg van 9,6% (baseline) naar 60,6% (Random layer, Semantische vectoren), een 6$\times$ verbetering.
• Zero-Shot Generalisatie: Ondanks dat er alleen op lokalisatie is getraind, verbeterde IFT de nauwkeurigheid van de sterktevergelijking van Llama-1B van 30,2% naar 52,2%, waarmee de 50% kans-baseline werd overtroffen.
• Optimale Trainingscondities:
  • Random Layer Injection: Cruciaal voor generalisatie. Training met een vaste laag leverde significant lagere prestaties op (bijv. 28,2% vs. 60,6% voor Llama-1B).
  • Semantische Vectoren: Presteerden beter dan Gaussische ruisvectoren, wat suggereert dat het model leert om semantische perturbaties te herkennen in plaats van te overfitten op ruisdistributies.
• Behoud van Capaciteiten: IFT veroorzaakte verwaarloosbare degradatie op standaard benchmarks (MMLU, Winogrande), waarbij de scores grotendeels ongewijzigd bleven.

Betekenis en Claims

Het paper claimt dat introspectief vermogen niet enkel wordt bepaald door de modelgrootte, maar direct getraind kan worden. De belangrijkste bijdragen zijn:

1. Diagnose van Confounds: Het aantonen dat binaire "Ja/Nee" detectie ongeldig is voor kleine modellen vanwege de globale affirmatieve bias, wat de noodzaak voor relatieve oordeelsmetrieken onderstreept.
2. Bewijs van Trainbaarheid: Het aantonen dat SLM's (zelfs met 1 miljard parameters) het representatieve substraat voor introspectie bevatten, maar een specifieke trainingssignaal (IFT) nodig hebben om dit te uiten.
3. Mechanisme voor Zelfmonitoring: Het vaststellen dat modellen kunnen leren om interne perturbaties te detecteren en te lokaliseren, wat generaliseert over verschillende injectie-sterktes en taken.

De auteurs suggereren dat deze bevindingen implicaties hebben voor AI-transparantie en alignment, aangezien getrainde introspectie modellen in staat zou kunnen stellen om hun eigen monitoring te vormen voor anomale interne toestanden of misalignede doelstellingen. Ze blijven echter bescheiden over de overdracht van deze capaciteiten naar naturalistische, ongecontroleerde omgevingen, waarbij zij opmerken dat de huidige resultaten gebaseerd zijn op gecontroleerde sturingsvector-experimenten.