Testing History Dependence Between In-Context and In-Weights Learning

Technische Samenvatting: Onderzoek naar de Historische Afhankelijkheid tussen In-Context en In-Weights Learning

Probleemstelling

In-context learning (ICL) en in-weights learning (IWL) stellen transformers in staat om voorspellingsopdrachten op te lossen via ofwel prompt-gebaseerde associaties, ofwel stabiele geparametriseerde associaties. Hoewel eerder werk heeft vastgesteld dat ICL kan ontstaan en vervolgens kan afnemen ten gunste van IWL tijdens de training, blijft het onduidelijk of de huidige datadistributie de mechaniek van het model uniek bepaalt. Specifiek is het onbekend of de staat van een model bij een vaste mix van ICL en IWL uniek is, of dat het model een "geheugen" behoudt van de trainingsloop (historische afhankelijkheid) dat zijn gedrag en causale circuitorganisatie beïnvloedt. Deze studie onderzoekt of een model dat bij een identieke ICL/IWL-mix arriveert vanuit tegenovergestelde richtingen (toenemende versus afnemende mengschema's) verschillend gedrag of causale sensitiviteit vertoont, een fenomeen dat analoog is aan hysteresis in dynamische systemen.

Methodologie

De auteur heeft een gecontroleerde, gebalanceerde causale studie ontworpen met behulp van een kleine decoder-only transformer (2 lagen, 4 koppen, 72k parameters) op een ambigue associatieve-herinneringstaak.

1. Taakontwerp: De taak behelst het voorspellen van een waarde voor een query-key. Er bestaan twee concurrerende regels: een contextuele regel (gebaseerd op de huidige prompt key-value paren) en een vaste regel (een globale permutatie die in de gewichten is geleerd). Een mengparameter $p_{ICL}$ regelt de waarschijnlijkheid dat de trainingsdoelwaarde de contextuele regel volgt. Cruciaal is dat de inputdistributie vast blijft terwijl $p_{ICL}$ varieert, wat ervoor zorgt dat veranderingen in gedrag worden gedreven door de doelverdeling en niet door de inputstatistieken.
2. Gebalanceerde Trainingsschema's:
   • Een "anker"-model wordt getraind tot convergentie bij een doelmix $p_0$.
   • Het model en de optimizer-toestand worden gekloond.
   • Twee takken doorlopen driehoekige mengschema's met identieke aantal updates, identieke multisets van trainingsvoorbeelden en identieke cumulatieve blootstelling, maar in een andere volgorde:
     • Van onderaf: $p_0 \to p_0 + \delta \to p_0 - \delta \to p_0$ (benadering van de doelwaarde vanaf de IWL-bevoordelende zijde).
     • Van bovenaf: $p_0 \to p_0 - \delta \to p_0 + \delta \to p_0$ (benadering van de doelwaarde vanaf de ICL-bevoordelende zijde).
   • Dit ontwerp isoleert het effect van volgorde en de uiteindelijke benaderingsrichting, terwijl de trainingsleeftijd, optimizer-toestand en data-blootstelling gelijk worden gehouden.
3. Evaluatiemetrieken:
   • Gedrag: De logit-marge tussen de contextuele en de vaste antwoorden bij conflict-trials.
   • Causale Interventies:
     • Activation Patching: Het vervangen van interne toestanden tussen schone en gecorrumpeerde runs om de informatiestroom te traceren.
     • Mean Replacement: Het vervangen van de outputs van attention heads door hun checkpoint-specifieke gemiddelden om de bijdrage van voorbeeld-specifieke informatie te meten.
   • Relaxatiecontrole: Het evalueren van modellen na 0, 25 en 100 aanvullende updates bij de vaste doelmix om onderscheid te maken tussen een transiënte vertraging en persistente hysteresis.

Belangrijkste Bijdragen

• Gebalanceerd Schemaontwerp: Een nieuwe experimentele opzet die tegenovergestelde aankomstrichtingen vergelijkt bij een identieke mix, aantal updates, optimizer-leeftijd en cumulatieve component-blootstelling.
• Gedragsmatig Identificeerbare Taak: Een taak waarbij contextuele en gewichtsgebaseerde antwoorden direct conflicteren, waardoor de voorkeur voor een strategie gemeten kan worden als een continue logit-marge in plaats van een geaggregeerde nauwkeurigheid.
• Gepaarde Gedrags- en Causale Tests: Integratie van residual-stream patching en head/MLP mean replacements over onafhankelijke trainings-seeds om de bron van de historische afhankelijkheid te lokaliseren.
• Relaxatiecontrole: Een protocol om persistente historische effecten te onderscheiden van modellen die simpelweg traag reageren op een veranderende datamix.

Resultaten

1. Onmiddellijke Historische Afhankelijkheid: Bij de gebalanceerde mix ($p_0 = 0.5$) vertoonden modellen die van onderaf kwamen (IWL-bevoordelende zijde) een hogere contextuele-minus-vaste logit-marge ($+0.0976$) vergeleken met modellen die van bovenaf kwamen. Dit verschil was consistent over alle vijf onafhankelijke seeds (allemaal positief), wat resulteerde in de kleinste haalbare exacte tweezijdige sign-flip $p$-waarde van 0,0625. De auteur beschrijft dit als een gemeenschappelijk teken en interval in plaats van een binaire significantieclaim te maken.
2. Transiënt Karakter: De gedragsgap keerde licht om na 25 gemeenschappelijke updates en verdween (bijna nul) na 100 updates. Dit wijst erop dat het effect een transiënte overshoot is en geen stabiele tak of quasi-statische hysteresis.
3. Causaal Mechanisme:
   • Het vervangen van alle query-positie attention-head outputs met checkpoint-specifieke gemiddelden dempte 86,8% van de onmiddellijke gedragsgap.
   • Ondanks het gedragsverschil waren de identiteit van de dominante attention head en de topologie van de activation patching routes bijna identiek (correlaties > 0,999) tussen de twee geschiedenissen.
   • De resultaten suggereren dat de trainingsvolgorde de gain (versterking) van een gedeeld contextueel pad moduleert, in plaats van een andere, alternatieve circuit te selecteren.

Betekenis en Claims

De paper concludeert dat hoewel kleine transformers eindige-snelheid pad-afhankelijkheid vertonen bij een gematchte ICL/IWL-mix, ze geen quasi-statische hysteresis vertonen.

• Bescheiden Claim over Hysteresis: De auteur stelt expliciet dat het geobserveerde effect een "transiënte herinnering aan de trainingsvolgorde" is die snel ontspant. Zij betogen dat curriculum-volgorde-effecten niet automatisch als hysteresis bestempeld mogen worden zonder een persistente tak-kloof aan te tonen onder trage sweeps.
• Ontwikkelingsinterpretabiliteit: De studie benadrukt dat een snapshot van een model (parameters en huidige datamix) zijn onmiddellijke berekening mogelijk niet uniek voorspelt; nauw overeenkomende modellen kunnen kortstondige informatie over hun trainingsgeschiedenis behouden.
• Circuitidentiteit vs. Betrokkenheid: Een belangrijke bevinding is het onderscheid tussen circuittopologie en circuitbetrokkenheid. Dezelfde causale circuit (het contextuele pad via specifieke attention heads) werd in beide geschiedenissen gebruikt, maar de betrokkenheidssterkte van het circuit werd gemoduleerd door de trainingsloop.
• Methodologische Rigor: Het papier benadrukt dat zonder het meten van relaxatie (de "hold"-fase), transiënte verschillen verkeerd geïnterpreteerd kunnen worden als persistente circuit-takken. Het matched-loop ontwerp biedt een compacte methode om leeftijd en blootstelling te controleren terwijl historische afhankelijkheid wordt getest.

De auteur merkt beperkingen op met betrekking tot de externe validiteit (kleine synthetische modellen) en het onvermogen om de optimizer-toestand geheugen volledig te scheiden van parametergeheugen, en waarschuwt tegen het generaliseren van deze bevindingen naar frontier taalmodellen zonder verder testen over verschillende snelheden, optimizers en naturalistische taken.