Technische Samenvatting: Instruction Tuning Verandert Hoe Upstream-toestanden Late Readout Conditioneren

Probleemstelling

Recent onderzoek naar mechanistische interpreteerbaarheid heeft post-training-gedrag (bijv. weigering, persona, instructie-opvolging) gelokaliseerd tot specifieke richtingen, kenmerken en lagen, vaak in de midden- tot late fasen van de transformer-stack. Er blijft echter een kritieke kloof bestaan in het begrijpen van de samenwerking tussen eerdere berekening en de late stack. Specifiek is het onduidelijk of post-training-verschillen voornamelijk voortkomen uit veranderingen in de late kenmerken zelf, of uit veranderingen in de eerdere residuale toestanden die die kenmerken activeren. De centrale vraag is: Verandert instruction tuning slechts de late readout-laag, of verandert het fundamenteel de upstream-toestand die nodig is om die late kenmerken effectief te maken?

Methodologie: First-Divergence Cross-Patching

Om dit aan te pakken, introduceren de auteurs first-divergence cross-patching, een diagnose die het effect van instruction tuning (IT) ontdekt in upstream-afhankelijke en directe late-stack-componenten.

1. Interventieplaats

Voor een gegeven prompt identificeert de methode de eerste gegenereerde tokenpositie waar een voorgetraind basismodel (PT) en zijn instructie-getuned (IT) tegenhanger het oneens zijn over de top-1 volgende token. Laat deze tokens $t_{PT}$ en $t_{IT}$ zijn.

2. De Vier-Cellen Factoriaal

Op dit divergentiepunt construeren de auteurs vier hybride forward passes door de upstream residuale toestand ($U$) van het ene model te koppelen aan de late stack ($L$) van het andere. De late stack wordt gedefinieerd als de laatste ~40% van de lagen (beginnend ongeveer bij 60% diepte).
De vier configuraties zijn:

1. $Y(U_{PT}, L_{PT})$: Base upstream + Base late stack (Controle)
2. $Y(U_{PT}, L_{IT})$: Base upstream + IT late stack
3. $Y(U_{IT}, L_{PT})$: IT upstream + Base late stack
4. $Y(U_{IT}, L_{IT})$: IT upstream + IT late stack (Controle)

De score $Y$ wordt gedefinieerd als de logit-marge: $\text{logit}(t_{IT}) - \text{logit}(t_{PT})$.

3. Decompositie

De kernmetriek is het interactie-effect, berekend als:
$$\text{Interactie} = [Y(U_{IT}, L_{IT}) - Y(U_{IT}, L_{PT})] - [Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})]$$
Dit meet hoeveel meer de IT late stack helpt wanneer het zijn eigen (IT) upstream-toestand leest in vergelijking met de base (PT) upstream-toestand.

• Direct Late-Stack Effect: De bijdrage van de IT late stack wanneer gekoppeld aan PT upstream ($Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})$).
• Upstream-afhankelijk Effect: De extra winst wanneer de IT late stack de IT upstream-toestand leest.

4. Validatie en Controles

De studie hanteert strenge controles om ervoor te zorgen dat de hybride toestanden geen artefacten zijn:

• Hybride Toestand Integriteit: Interpolatie tussen PT- en IT-toestanden is glad; willekeurige getekende permutaties reproduceren het effect niet.
• Selectiebias: Willekeurige lokale meningsverschillen (niet bij de eerste divergentie) tonen een verminderde maar gelijksoortige interactie, terwijl pre-divergentie-scoren dicht bij nul ligt, wat bevestigt dat de eerste divergentie het effect concentreert.
• Native Geschiedenis: Het effect blijft bestaan bij gebruik van native IT- of PT-generatiegeschiedenissen in plaats van een gedeeld voorvoegsel.

Belangrijkste Resultaten

1. Upstream-Late Koppeling

Over vijf dichte model-families (4B–32B: Llama 3.1, Qwen 3, Mistral 7B, OLMo 2, Qwen2.5 32B) tonen de resultaten een sterke upstream-late koppeling:

• Direct Effect: De IT late stack voegt +0,76 logits toe in de richting van de IT-token wanneer gekoppeld aan PT upstream-toestand.
• Upstream-afhankelijk Effect: De IT late stack voegt +2,44 logits toe wanneer gekoppeld aan IT upstream-toestand.
• Interactie: Het interactieterm is +1,68 logits, positief in alle vijf families.
• Interpretatie: De late stack heeft een reëel direct effect, maar het grootste deel van de gedragsverschuiving die wordt waargenomen in het IT-checkpoint manifesteert zich alleen wanneer de late stack zijn eigen post-getrainde upstream-toestand leest.

2. Splitsing van Trainingsrecepten

De diagnose onderscheidt verschillende post-training-recepten:

• Instructie-volgende Nakomelingen: Tonen sterke upstream-afhankelijkheid (grote interactie). Hun late effecten vereisen hun eigen specifieke upstream-toestand.
• OpenMath2 (Wiskundedomein): Ondanks het delen van de Llama 3.1 base, is het wiskundedomein late effect van OpenMath2 grotendeels portabel. Het toont een groot effect zelfs bij het lezen van de base upstream-toestand (interactie $\approx -0,15$).
• Geregelde Voortzetting Pretraining (CPT): Code- en biomedische CPT-adapters die succesvol domein-NLL verbeteren, reproduceren het instructie-prompt interactiepatroon op de belangrijkste ondersteuning niet (interacties dicht bij nul). Dit suggereert dat de upstream-afhankelijkheid specifiek is voor instructie-volgende afstemming, niet voor generieke domeinadaptatie.

3. Mechanistisch Bewijs

• Sparse Laatste-Lagen Kenmerken: Crosscoders op de laatste MLP-lagen identificeren sparse kenmerken die de interactie gedeeltelijk bemiddelen. Het ableren van de top 200 causale kenmerken vermindert de interactie met 26–48% in kwaliteitsgegateerde families.
• Upstream Drive: Het patchen van IT upstream-berekening in de zwakke hybride redt +1,71 logits, waarbij een deel wordt bemiddeld door deze laatste-lagen kenmerken. Dit ondersteunt een "overdracht"-mechanisme waarbij eerdere toestand de activatie van laatste-lagen kenmerken drijft.
• Gestructureerde Toestand: PCA-projecties van de nakomeling-min-base grens-toestand verschuivingen sluiten een significant deel van de ontbrekende marge, wat aangeeft dat de ontbrekende upstream-toestand een gestructureerde, laag-rang vorm heeft.

4. Downstream Gevolgen

• Forced-Token Scoring: Het forceren van de IT-preferente divergente token verbetert het exacte antwoordsucces voor suffix alleen op content-resonantie prompts met +0,157.
• Geregelde Voortzetting: De interactie blijft bestaan over korte horizonten (tot $N=8$ tokens), waarbij coherente native staarten meer interactie dragen dan gewisselde staarten.

Betekenis en Claims

Het artikel claimt een lokale, causale decompositie te bieden van hoe instruction tuning modelgedrag verandert, verder gaand dan eenvoudige lokalisatie van kenmerken naar het begrijpen van hun conditionele activatie.

1. Weerspreking van Zelfbevattende Late Stacks: De resultaten spreken het idee tegen dat late lagen zelfbevattend zijn. Een groot late effect gemeten in een IT-checkpoint impliceert niet dat de berekening onafhankelijk is; het hangt vaak af van de specifieke upstream-toestand gegenereerd door het IT-trainingrecept.
2. Recept-specifieke Mechanismen: Het "upstream-afhankelijkheid"-signatuur is een specifiek kenmerk van instructie-volgende afstemming, wat het onderscheidt van domein-specifieke fine-tuning (zoals OpenMath2) of generieke voortzetting pretraining.
3. Operationele Diagnose: De auteurs stellen voor dat elk onderzoek dat verschillen lokaliseert tot late lagen moet testen of die effecten overleven onder de upstream-toestand van het andere checkpoint. Als het effect verdwijnt of significant krimpt, is de late stack niet zelfbevattend.
4. Scope Beperkingen: De auteurs stellen expliciet dat dit lokale next-token readout-tests zijn bij de eerste divergentie. Zij claimen niet om gemiddeld deploy-gedrag te schatten of een volledige circuit-reconstructie van instructie-opvolging te bieden. De bevindingen zijn beperkt tot dichte transformer-families en specifieke prompt-ondersteuningen.

Kortom, het artikel betoogt dat instruction tuning de samenwerking tussen upstream-berekening en late readout herschikt, waarbij het vermogen van de late stack om instructie-volgende outputs te produceren zwaar afhankelijk is van de specifieke residuale toestanden geproduceerd door de eerdere lagen van het getuned model.