🤖 machine learning

RL Fine-Tuning Heals OOD Forgetting in SFT

Dit artikel daagt het idee uit dat "SFT memoriseert en RL generaliseert" door middel van checkpoint- en spectrale analyses aan te tonen dat SFT vaak out-of-distribution-vergetelheid veroorzaakt die vervolgens door RL wordt hersteld, een herstelproces dat gekoppeld is aan de rotatie van singuliere vectoren in plaats van veranderingen in singuliere waarden.

Oorspronkelijke auteurs: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Tweestaps"-dans van AI-training

Stel je voor dat je een briljante maar onervaren student (een Groot Taalmodel) leert complexe puzzels op te lossen. Het standaardrecept om deze student tot een expert in redeneren te maken, omvat twee stappen:

Stap 1: Supervised Fine-Tuning (SFT) – Je geeft de student een leerboek met antwoorden en zegt: "Memoriseer deze patronen en kopieer de stijl."
Stap 2: Reinforcement Learning (RL) – Je zet de student in een spel waar ze punten krijgen voor juiste antwoorden en punten verliezen voor verkeerde, en zegt: "Bedenk nu zelf de logica om te winnen."

Lange tijd geloofde de AI-gemeenschap een simpel verhaal: "SFT zorgt ervoor dat de student het leerboek memoriseert (goed voor bekende problemen), en RL zorgt ervoor dat de student generaliseert en creatief denkt (goed voor nieuwe problemen)."

Dit artikel stelt dat dit verhaal onvolledig is. De auteurs ontdekten dat SFT, hoewel het aanvankelijk uitstekend werkt, de vaardigheid van de student om nieuwe soorten puzzels op te lossen, eigenlijk begint te schaden als je ze te lang het leerboek laat bestuderen. Vervolgens leert RL ze niet per se nieuwe superkrachten; het repareert vooral de schade die SFT heeft aangericht.

De Ontdekking: De "Pieken en Crasht"

De onderzoekers observeerden elke dag de voortgang van de student tijdens het trainingsproces. Ze vonden een verrassend patroon:

De Vroege Winst: Aan het begin van de "leerboekstudie" (SFT) wordt de student erg goed in het oplossen van nieuwe soorten puzzels (Out-of-Distribution of OOD-taken). Het is alsof de student plotseling de onderliggende logica van wiskunde begrijpt.
De Crash: Naarmate de student blijft studeren, wordt ze slechter in de nieuwe puzzels, zelfs al wordt ze beter in de specifieke leerboekproblemen. Ze raken zo geobsedeerd door het exacte formaat van de leerboekantwoorden dat ze vergeten hoe ze de logica moeten toepassen op iets andere situaties.
De Oplossing: Wanneer ze uiteindelijk overschakelen naar de "spel"-fase (RL), komt de prestatie van de student op nieuwe puzzels weer omhoog.

De Analogie:
Stel je een chef-kok voor die koken leert.

Vroege SFT: De chef leert de basisregels van smaak. Ze kunnen een geweldige maaltijd koken met elke ingrediënt.
Late SFT: De chef wordt gedwongen een specifiek receptenboek te memoriseren. Ze worden fantastisch in het maken van dat ene gerecht, maar vergeten hoe ze smaken moeten aanpassen als ze andere ingrediënten krijgen. Ze hebben hun algemene kookintuïtie "vergeten".
RL: De chef wordt in een wedstrijd gezet waar ze punten krijgen voor smakelijk eten, ongeacht het recept. Dit dwingt hen om blindelings het boek niet langer te volgen en weer hun intuïtie te gebruiken. Ze herstellen hun algemene kookvaardigheden, maar ze worden niet plotseling een betere kok dan ze waren aan het begin van hun training.

De Kernbevinding: RL is een "Hersteler", geen "Schepper"

Het artikel daagt het idee uit dat RL nieuwe redeneervermogens van nul aanmaakt. In plaats daarvan ontdekten de auteurs:

SFT Vergeet: Als je te lang traint op specifieke data, "vergeet" het model zijn vermogen om vreemde of nieuwe situaties aan te pakken.
RL Herstelt: RL werkt als een pleister. Het plakt de gaten die SFT heeft gemaakt, en herstelt het model tot het prestatieniveau dat het had op het hoogtepunt van de SFT-fase.
Het Plafond: RL maakt het model zelden beter dan dat vroege hoogtepunt. Het brengt het gewoon terug naar waar het was voordat het te gespecialiseerd werd.

De "Goudlokje"-zone:
De onderzoekers ontdekten dat RL alleen werkt als je het op het juiste moment start.

Als je RL te vroeg start (voordat het model de basis kent), faalt het omdat het model te verward is.
Als je RL te laat start (nadat het model alles is vergeten), zijn de "spel"-signalen te rommelig voor het model om van te leren.
Er is een specifiek "sweet spot" (een reeks checkpoints) waar RL het vergeten succesvol kan helen.

Het Geheime Mechanisme: Het "Spinnende Kompas"

Om te begrijpen waarom dit gebeurt, keken de auteurs met een wiskundig hulpmiddel genaamd Singular Value Decomposition (SVD) in het brein van het model. Stel je de kennis van het model voor als een enorm kompas met vele naalden die in verschillende richtingen wijzen.

De Grootte van de Naalden (Singular Values): De onderzoekers ontdekten dat de sterkte van deze naalden (hoeveel kennis er is opgeslagen) nauwelijks verandert tijdens de training. Ze blijven stabiel.
De Richting van de Naalden (Singular Vectors): Echter, de richting waarin de naalden wijzen, verandert drastisch.

De Analogie:
Stel je de kennis van het model voor als een kaart.

SFT wist de kaart niet uit (de grootte van de data blijft hetzelfde), maar draait de kaart. Het draait het kompas zodat "Noorden" wijst naar de specifieke leerboekvoorbeelden, waardoor het moeilijk wordt om "Noorden" te vinden voor nieuwe, verschillende locaties.
RL draait het kompas terug. Het voegt geen nieuw land toe aan de kaart; het heraligneert het kompas gewoon zodat "Noorden" weer naar de algemene logica wijst, waardoor het model nieuw terrein kan navigeren.

Samenvatting voor de Dagelijkse Lezer

Oud Geloof: "SFT memoriseert, RL generaliseert."
Nieuwe Realiteit: "SFT vergeet (door te veel te specialiseren), en RL herstelt (door opnieuw te aligneren)."
De Les: Train je AI niet voor altijd op dezelfde specifieke data. Het zal zijn vermogen om flexibel te denken verliezen. Als je wilt dat het slim is over nieuwe dingen, moet je de "memoriseren"-fase op het juiste moment stoppen en de "spel"-fase gebruiken om de focus te herstellen, in plaats van te verwachten dat het spel het volledig nieuwe vaardigheden van nul aanleert.

Het artikel concludeert dat de beste prestaties voor het oplossen van nieuwe, lastige problemen vaak vroeg in het trainingsproces plaatsvinden, en dat de tweede fase (RL) er vooral is om ons te redden van de fouten die we maakten door te lang in de eerste fase te trainen.

Technische Samenvatting: RL-fijne afstelling geneest OOD-vergeten in SFT

Probleemstelling

De standaard post-training pipeline voor Large Language Models (LLMs) omvat doorgaans Supervised Fine-Tuning (SFT) gevolgd door Reinforcement Learning Fine-Tuning (RLFT). Een heersende hypothese in het veld is dat "SFT memoriseert, RL generaliseert", wat suggereert dat SFT leidt tot overfitting op de trainingsverdeling, terwijl RL Out-of-Distribution (OOD) generalisatie verbetert. De onderliggende dynamiek van hoe OOD-prestaties evolueren tijdens deze twee fasen blijft echter onduidelijk. Specifiek is niet goed begrepen of RL nieuwe redeneervermogens creëert of slechts verloren vermogens herstelt, noch is het mechanisme achter OOD-degradatie tijdens SFT volledig gekarakteriseerd.

Methodologie

De auteurs voeren een uitgebreide analyse per checkpoint uit van het tweefasen-fijne-afstellingsproces met behulp van twee open-source modellen: LLaMA-3.2-11B-Vision en Qwen-2.5-7B.

Experimentele Opzet:
- Taken: Het onderzoek maakt gebruik van gecontroleerde redeneeromgevingen om In-Distribution (ID) en OOD splits expliciet te definiëren: GeneralPoints (rekenkundig redeneren met gewijzigde kaartregels), Navigatie (ruimtelijk redeneren met richtingverschuivingen) en Rank-Bepalende Berekening (lineaire algebra).
- Protocol: Modellen ondergaan full-parameter SFT, gevolgd door RL (met PPO of GRPO). Cruciaal is dat de auteurs niet alleen de uiteindelijke SFT-checkpoint vergelijken met de uiteindelijke RL-checkpoint. In plaats daarvan passen ze RL toe, beginnend vanaf verschillende tussentijdse SFT-checkpoints, om de evolutie van de prestaties in kaart te brengen.
- Evaluatie: Prestaties worden bijgehouden op zowel ID- als OOD-taken gedurende de volledige trainingsbaan.
Mechanistische Analyse:
- SVD-analyse: De auteurs voeren Singular Value Decomposition (SVD) uit op belangrijke parametermatrices (Self-Attention $W_Q, W_K, W_V$ en MLP-lagen). Ze voeren ablatiestudies uit waarbij ze singuliere waarden of singuliere vectoren herstellen uit specifieke checkpoints (bijvoorbeeld het verwisselen van de singuliere vectoren van een late SFT-checkpoint met die van een vroege "piek"-checkpoint) om de impact van spectrale veranderingen op de prestaties te isoleren.
- Advantage-distributieanalyse: Ze analyseren de distributie van advantage-schattingen tijdens RL-rollouts om de omstandigheden te begrijpen waaronder RL succesvol OOD-prestaties herstelt.

Belangrijkste Bevindingen

1. Het "SFT vergeet, RL herstelt"-fenomeen

In tegenstelling tot het simpele verhaal "SFT memoriseert, RL generaliseert", observeren de auteurs een genuanceerdere dynamiek:

Vroege SFT-piek: OOD-redeneerprestaties pieken vaak zeer vroeg in het SFT-proces (aangeduid als $SFT_{MaxOOD}$ ).
OOD-vergeten: Naarmate SFT verder gaat na deze piek, verslechtert de OOD-prestatie aanzienlijk, zelfs terwijl ID-prestaties (trainings-/testverlies) blijven verbeteren. Dit geeft aan dat het model zich over-specialiseert in het specifieke formaat of de regels van de trainingsdata, waardoor het effectief het algemene redeneervermogen dat nodig is voor OOD-taken "vergeet".
RL als hersteller: RL overtreft doorgaans niet de beste OOD-prestaties die door vroege SFT zijn bereikt. In plaats daarvan fungeert RL als een herstelmechanisme, dat het tijdens de latere fasen van SFT verloren gegane OOD-vermogen herstelt. Dit herstel is alleen effectief binnen een begrensd bereik van SFT-checkpoints (bijvoorbeeld waar de ID-nauwkeurigheid ongeveer tussen 40% en 80% ligt).

2. Mechanisme: Rotatie van singuliere vectoren

De spectrale analyse onthult de oorzaak van deze dynamiek:

Stabiele singuliere waarden: De singuliere waarden van de parametermatrices blijven grotendeels stabiel tijdens zowel SFT- als RL-fasen. Fijne afstelling versterkt of vermindert de grootte van deze waarden niet significant.
Roterende singuliere vectoren: De degradatie en het herstel van OOD-prestaties correleren sterk met de rotatie van singuliere vectoren.
- Tijdens de "vergeten"-fase van SFT roteren de singuliere vectoren weg van de richtingen die geassocieerd zijn met OOD-robustheid.
- Tijdens RL roteren de singuliere vectoren terug, waardoor de oorspronkelijke subruimte-uitlijning gedeeltelijk wordt hersteld.
Ablatiebewijs: Het herstellen van de singuliere vectoren van een vroege SFT-checkpoint (toen OOD hoog was) naar een late SFT-checkpoint (toen OOD laag was) herstelt de OOD-prestaties, wat bevestigt dat vectorrotatie de primaire drijver van vergeten is.

3. Beperkingen van de advantage-distributie

De effectiviteit van RL bij het herstellen van OOD-prestaties hangt af van de distributie van advantage-signalen. RL is het meest effectief wanneer de advantage-distributie gebalanceerd is (lage scheefheid, hoge entropie en lage KL-divergentie ten opzichte van een normale verdeling). Als de SFT-checkpoint te ver gevorderd is (instorting van policy-entropie) of te vroeg is (gebrek aan taakbekwaamheid), worden de advantage-signalen scheef of instabiel, wat effectief herstel verhindert.

Betekenis en Claims

Het artikel claimt een nauwkeurigere en mechanistische understanding van post-training dynamiek te bieden:

Verfijning van het paradigma: Het daagt het binaire beeld van SFT versus RL uit, en stelt voor dat SFT kan vergeten en RL kan herstellen. De beste OOD-prestaties worden vaak gevonden in vroege SFT-checkpoints, niet noodzakelijk na RL.
Diagnostische waarde: Het onderzoek benadrukt dat traditionele methoden voor overfitting-detectie (monitoring van ID-verlies) OOD-vergeten niet kunnen vastleggen, aangezien ID-verlies kan blijven dalen terwijl OOD-prestaties dalen.
Algoritmische implicatie: De bevindingen suggereren een potentiële richting voor Protected SFT, waarbij updates orthogonaal worden gemaakt ten opzichte van top-rang singuliere-vectorrichtingen die geassocieerd zijn met OOD-capaciteiten, om hun rotatie en daaropvolgende vergeten te voorkomen. Voorlopige experimenten met deze benadering tonen veelbelovende resultaten in het behoud van OOD-nauwkeurigheid terwijl ID-prestaties behouden blijven.
Generaliseerbaarheid: Het patroon van "vergeten en herstel" wordt waargenomen bij verschillende modellen (LLaMA, Qwen), verschillende redeneertaken en verschillende RL-algoritmen (PPO, GRPO, DAPO), wat suggereert dat het een fundamentele eigenschap is van het tweefasen-fijne-afstellingsproces.

Concluderend betogen de auteurs dat RL geen universele generator is van nieuwe redeneervermogens, maar eerder een krachtig hulpmiddel om het door langdurige SFT veroorzaakte OOD-vergeten te mitigeren, mits het wordt geïnitieerd vanuit een checkpoint met een gebalanceerde advantage-distributie.