Technische Samenvatting: Een Lokale Perturbatietheorie voor Cross-Domein Interferentie en Herstel in Multi-Domein RL

Probleemstelling

Post-training van Reinforcement Learning (RL) verbetert Large Language Models (LLMs) effectief voor specifieke domeinen zoals wiskundige redenering, codegeneratie, vraag-en-antwoord (QA) en creatief schrijven (CW). Sequentiële training op meerdere domeinen leidt echter vaak tot cross-domein interferentie, waarbij de prestaties op eerdere domeinen verslechteren na training op opeenvolgende domeinen.

Bestaande verklaringen voor dit fenomeen, zoals catastrofale vergetelheid of globale gradiëntconflict, zijn onvoldoende. Empirische observaties in dit werk laten zien dat:

1. De volledige model-gradiënt-cosinus tussen domeinen bijna orthogonaal kan zijn (dicht bij nul), zelfs wanneer er significante prestatievermindering optreedt.
2. Interferentie selectief en asymmetrisch is (bijv. training op QA en CW verslechtert de Math-prestaties ernstig, terwijl Code en QA stabiel blijven), in plaats van uniforme vergetelheid.
3. Standaard globale perspectieven niet kunnen verklaren hoe substantiële interferentie kan voortbestaan ondanks zwak globale gradiënt-antagonisme.

De centrale vraag die wordt behandeld is: Waar bevindt cross-domein interferentie zich als het niet in globaal gradiënt-antagonisme ligt?

Methodologie en Theoretisch Kader

De auteurs stellen een verschuiving voor van het analyseren van volledige model-objectievevensten naar het analyseren van lokale actieve computationele routes. De methodologie combineert empirische structurele analyse met een lokaal perturbatiemodel.

1. Empirische Structurele Analyse

De studie maakt gebruik van een sequentiële multi-domein RL-opstelling (Code $\to$ Math $\to$ QA $\to$ CW) gebaseerd op de Omni-Thinker curriculum. Belangrijke structurele bevindingen zijn onder meer:

• Spaarzame, Kleine-Grootte Updates: Domeinspecifieke RL induceert spaarzame wijzigingen, waarbij 77%–89% van de parameters verwaarloosbare absolute veranderingen ($<10^{-7}$) en relatieve veranderingen ($<10^{-3}$) vertoont.
• Zwakke Edit Overlap: De verzamelingen van de meest veranderde neuronen over verschillende domeinen hebben een lage Jaccard-overlap (gemiddeld < 0,19), wat de hypothese uitsluit dat interferentie voortkomt uit het herschrijven van dezelfde neuronen.
• Gedeelde Actieve Routes: Ondanks een lage edit-overlap, delen redeneergeoriënteerde domeinen (Math, Code, QA) substantiële actieve computationele routes (top 5% actieve neuronen) tijdens inferentie.
• Directioneel Conflict: Op deze gedeelde routes variëren de update-richtingen. Terwijl sommige paren (bijv. Code-Math) uitgelijnd zijn, vertonen anderen (bijv. Math-QA) laagafhankelijke conflicten, waarbij de update-richtingen in specifieke lagen antagonistisch zijn.

2. Lokale Perturbatietheorie

Gestuurd door deze observaties, formaliseren de auteurs een lokaal perturbatiemodel met drie kernproposities:

• Tweede-Orde Schade: Omdat het checkpoint na training op domein $A$ ongeveer stationair is voor zijn lokale objectief, is het leidende effect van een latere update $\delta_B$ een tweede-orde schade term ($\frac{1}{2}\delta_B^\top H_A \delta_B$), en niet een eerste-orde gradiëntconflict.
• Laag-Dimensionale Conflict-Subruimte: Deze schade is geconcentreerd in een laag-dimensionale gedeelde actieve conflict-subruimte ($S_{A,B}$). Zelfs als globale gradiënten orthogonaal zijn en edits spaarzaam zijn, treedt interferentie op als de projectie van de latere domein-update op deze gevoelige subruimte groot is.
• Geometrische Contractie via Refresh: Een korte "refresh" (her-training) op het beschadigde domein $A$ contracteert geometrisch de schadelijke component binnen $S_{A,B}$. Onder aannames van positieve kromming in de subruimte en zwakke koppeling vanuit orthogonale richtingen, neemt de schadelijke verplaatsing exponentieel af met het aantal refresh-stappen, wat selectief herstel mogelijk maakt zonder volledige hertraining.

Belangrijkste Bijdragen

1. Mechanistische Verklaring van Interferentie: Het artikel toont aan dat cross-domein degradatie wordt gedreven door spaarzame RL-edits die interageren langs gedeelde actieve computationele routes, en niet door globaal gradiëntconflict of directe neuron co-editing.
2. Theoretische Formalisering: Het formaliseert het mechanisme als tweede-orde schade geconcentreerd in een laag-dimensionale gedeelde conflict-subruimte. Dit verklaart waarom bijna-orthogonale globale gradiënten kunnen samenbestaan met selectieve degradatie.
3. Validatie van Selectief Herstel: De theorie voorspelt dat een korte refresh op het beschadigde domein de prestaties kan herstellen door de schadelijke subruimte-component te contracteren, terwijl de nevenschade aan andere domeinen beperkt blijft.

Experimentele Resultaten

De auteurs valideren hun theorie via twee complementaire benaderingen:

A. Taak-Niveau Herstel (Korte Refresh)

• Setup: Na sequentiële training (Code $\to$ Math $\to$ QA $\to$ CW) daalde de Math-prestatie van 66,49 naar 57,66.
• Interventie: Een korte "Re-Math" refresh werd toegepast op het laatste checkpoint ($CWo$).
• Uitkomst: De Math-prestatie herstelde naar 66,04 (dicht bij de single-domain expert van 66,84), terwijl de Code, QA en CW prestaties grotendeels stabiel bleven.
• Resultaat: De gemiddelde score over alle domeinen bereikte 66,39, waarmee zowel de sequentiële baseline als de mixed-domain baselines (JT en CGPO) werd overtroffen. Dit bevestigt dat interferentie omkeerbaar is via gelokaliseerde correctie.

B. Directe Interventie (Training-Vrije Rollback)

• Setup: Om de claim van lokalisatie direct te testen, voerden de auteurs een training-vrije rollback uit op het Math-QA paar. Ze identificeerden een spaart set van "proxy conflict-coördinaten" op basis van drie signalen: gedeelde activatie, update-magnitude en directioneel conflict.
• Interventie: Ze draaiden de QA-geïnduceerde verplaatsing alleen terug op deze geselecteerde coördinaten (2% van de MLP-neuronen).
• Uitkomst: Deze spaarzame rollback herstelde 20,4% van de Math-loss (van 59,90 naar 61,25) met verwaarloosbare impact op de QA-prestaties. Het uitbreiden van de rollback naar de attention-lagen verhoogde het herstel naar 73,6% bij een budget van 32%.
• Betekenis: Dit biedt direct bewijs dat de schadelijke component van cross-domein interferentie gelokaliseerd is en gedeeltelijk kan worden omgekeerd zonder hertraining.

Betekenis en Claims

Het artikel claimt een gelokaliseerde mechanistische account te bieden van interferentie en herstel in multi-domein RL. De betekenis ligt in:

• Weerlegging van Globale Verklaringen: Het stelt vast dat globale gradiënt-orthogonaliteit geen garantie biedt voor veiligheid tegen interferentie, aangezien schade een gelokaliseerd, tweede-orde fenomeen is.
• Praktische Implicatie: Het suggereert dat stabiele multi-domein verbetering mogelijk niet vereist dat complexe data-mixture tuning of handmatig ontworpen replay-schema's worden gebruikt. In plaats daarvan kunnen korte, gerichte refreshes op gedegradeerde domeinen de prestaties efficiënt herstellen met beperkte bijwerkingen.
• Theoretisch Inzicht: Het overbrugt de kloof tussen spaarzame parameter-updates en functionele interferentie, door te laten zien dat het "conflict" berust in de uitlijning van updates op gedeelde actieve routes in plaats van in de globale parameterruimte.

De auteurs blijven bescheiden en merken op dat hun conflict-subruimte interventie momenteel gebaseerd is op een grove proxy en dat toekomstig werk nodig is om de detectie van gedegradeerde domeinen te automatiseren en de latente conflict-subruimte nauwkeurig te identificeren voor efficiëntere interventies.