Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

Technische Samenvatting: Mechanistische Oorzaken van Catastrofaal Vergeten

Probleemstelling
Het fijnafstemmen van grote taalmodellen (LLMs) voor nieuwe downstream-taken leidt vaak tot catastrofaal vergeten, waarbij winst op een nieuw doel ten koste gaat van eerdere vaardigheden. Hoewel recente gedragsstudies suggereren dat Reinforcement Learning (RL) eerdere vaardigheden effectiever behoudt dan Supervised Fine-Tuning (SFT) – wat wordt toegeschreven aan policy-gradient-updates die dichter bij het basisbeleid blijven wat betreft distributieve drift (gemeten door KL-divergentie) – blijven de interne mechanistische redenen voor dit verschil onverkend. De centrale vraag die wordt behandeld, is of het behoudvoordeel van RL wordt weerspiegeld door een sterkere behoud van de interne computationele circuits (attentiehoofden, MLP-lagen en residuale paden) die modelcapaciteiten implementeren.

Methodologie
De auteurs onderzoeken deze vraag met behulp van Qwen2.5-3B-Instruct, aangepast aan een wetenschappelijke vraag-antwoordtaak. De experimentele pijplijn bestaat uit drie fasen:

1. Gedragsreproductie: De studie reproduceert de bekende behoudskloof tussen SFT en RL. Een basismodel ($\pi_{base}$) wordt fijnafgestemd via cross-entropy-verlies alleen voor voltooiing om een SFT-model ($\pi_{SFT}$) te creëren. Dit SFT-model wordt vervolgens verfijnd met Dr.GRPO (een variant van Group Relative Policy Optimization) om een RL-model ($\pi_{RL}$) te creëren. Gedragsdrift wordt gekwantificeerd met de verwachte KL-divergentie op behoudsbenchmarks.
2. Circuitidentificatie: De auteurs maken gebruik van Differential Binary Masking (DBM) om interne computationele circuits op het niveau van attentiehoofden te identificeren. DBM leert een masker over attentiehoofden dat interpoleert tussen basis- en contrafactuele activeringen. Door deze maskers te optimaliseren om de waarschijnlijkheid van doelantwoorden te verhogen terwijl de sparsiteit behouden blijft, isoleert de methode schaarse causale subnetwerken (circuits) die verantwoordelijk zijn voor specifiek gedrag.
3. Cross-model Circuitvergelijking: De studie introduceert differential circuit vulnerability, een maat op hoofd-niveau die vergelijkt hoeveel een circuit degradeert onder verschillende trainingsdoelen. Belangrijke metrieken zijn:
   • Circuittrouw: De verhouding van het gedrag dat wordt hersteld door het geëxtraheerde subgraaf tot het gedrag van het volledige model.
   • Maskerverschuivingen op hoofd-niveau ($\Delta m_h$): Het vergelijken van maskerwaarden van fijnafgestemde modellen met het basismodel om behouden, versterkte of verzwakte hoofden te identificeren.
   • Noodzaak en Toereikendheid: Interventies die de daling in log-waarschijnlijkheid meten wanneer een hoofd wordt verstoord (noodzaak) en het gedrag dat wordt hersteld wanneer alleen dat hoofd actief is (toereikendheid).

Belangrijkste Bijdragen

• Differential Circuit Vulnerability: Het artikel introduceert een nieuwe metriek om de relatieve vatbaarheid van interne computationele subgraafjes voor degradatie onder verschillende trainingsdoelen (SFT versus RL) te kwantificeren.
• Mechanistische Verklaring van Vergeten: Het werk breidt het gedragsverslag van de superioriteit van RL ten opzichte van SFT uit tot het mechanistische niveau, en toont aan dat RL een groter deel van het basiscircuit behoudt in vergelijking met SFT.
• Karakterisering van Trade-offs: De studie karakteriseert een fundamentele trade-off in post-training: SFT past zich sneller aan aan de doeltaak maar veroorzaakt aanzienlijke circuitverstoring, terwijl RL het basiscircuit behoudt ten koste van langzamere taakanpassing.

Resultaten

• Trajecten van Circuitbehoud: Gedurende twee trainingsperioden divergeren SFT en RL sterk. SFT behoudt na periode 1 slechts 63,5% van de basisattentiehoofden, wat daalt tot 59,0% tegen periode 2. Daarentegen behoudt RL 69,8% na periode 1 en herstelt dit tot 72,5% tegen periode 2, met een voordeel van 13,5 procentpunten in het behoud van het basiscircuit.
• Structurele compressie versus gedistribueerde aanpassing: DBM identificeert een basiscircuit van 297 hoofden. Het SFT-model ondergaat structurele compressie tot ongeveer 265 hoofden (46,0% van het totaal), terwijl het RL-model ongeveer 296 hoofden behoudt (51,4%). SFT concentreert gedrag voor de nieuwe taak in een kleinere set "kritieke specialisten" (hoge noodzaak en toereikendheid), terwijl RL een gedistribueerde architectuur behoudt die sterk overlapt met het basismodel.
• Causale betrokkenheid: RL handhaaft consequent hogere Differential Causal Mediation (DCM)-scores (bijvoorbeeld 15,8 versus 10,4 in periode 1), wat aangeeft dat het behouden circuit in RL een sterkere causale signal draagt met betrekking tot modelgedrag in vergelijking met SFT.
• Output versus interne metrieken: Opvallend genoeg vertoont het RL-model een grotere KL-divergentie in de output-ruimte dan het SFT-model, maar behoudt het meer eerdere vaardigheden en interne circuitstructuur. Dit suggereert dat output-ruimtemetrieken mogelijk geen betrouwbare voorspellers zijn van intern vergeten.

Betekenis
Het artikel beweert dat circuitbehoud een mechanistische verklaring biedt voor waarom RL robuuster is tegen catastrofaal vergeten dan SFT. De bevindingen suggereren dat continue aanpassing niet enkel moet worden gezien als parameteroptimalisatie, maar als de selectieve behoud en modificatie van circuits die vaardigheden coderen. De resultaten wijzen op een trade-off waarbij SFT optreedt als een "compressor" die agressief circuits herschikt voor snelle specialisatie, terwijl RL optreedt als een "gedistribueerde adapter" die bestaande representaties conservatief hergebruikt. Dit perspectief biedt een fundament voor het begrijpen van de interne oorzaken van vergeten en suggereert dat toekomstige aanpassingsmethoden kunnen profiteren van het combineren van efficiënt leren met selectief circuitbehoud.

Beperkingen
De auteurs merken op dat de studie beperkt is tot één modelarchitectuur (Qwen2.5-3B-Instruct) en een specifieke taakset (wetenschappelijke QA). De circuitanalyse richt zich voornamelijk op attentiehoofden, en sluit MLP-lagen en residual-stream-kenmerken uit. Generaliseerbaarheid naar andere architecturen (bijvoorbeeld Gemma, Mistral, Llama) en bredere capaciteitsdomeinen moet nog worden gevalideerd.