💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

Dit artikel toont aan dat excessieve Supervised Fine-Tuning (SFT) de rollout-distributie kan comprimeren, wat leidt tot entropie-instorting die rangorde-inversie en verminderde prestaties veroorzaakt tijdens de daaropvolgende Group Relative Policy Optimization (GRPO)-training, een faalmodus die voorspeld en gemitigeerd kan worden door de pre-RL entropie en vroege GRPO-dynamiek te monitoren.

Oorspronkelijke auteurs: Siddharth Aphale, Kelly Liu

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siddharth Aphale, Kelly Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Te Perfecte" Valstrik

Stel je voor dat je een robot traint om code te schrijven. Het standaard recept bestaat uit twee stappen:

Supervised Fine-Tuning (SFT): Je laat de robot duizenden voorbeelden van correcte code zien, zodat hij de patronen leert.
Reinforcement Learning (RL): Je laat de robot zelfstandig nieuwe problemen oplossen. Als hij het goed doet, krijgt hij een beloning (een traktatie); als hij faalt, krijgt hij niets.

Het Probleem: Het paper ontdekte dat als je de robot te veel traint in Stap 1 (Stap 1 Overtraining), hij eigenlijk slechter wordt in Stap 2.

Normaal gesproken denken we: "Hoe meer voorbeelden de robot in Stap 1 onthoudt, hoe beter hij zal zijn." De auteurs ontdekten het tegenovergestelde: De robot die in Stap 1 het meest onthoudt, presteert in Stap 2 juist het slechtst. Sterker nog, de robot die het minst onthoudt, eindigt als kampioen.

De Metafoor: De Stijve Danser versus de Flexibele Danser

Om te begrijpen waarom dit gebeurt, stel je twee dansers voor die zich voorbereiden op een wedstrijd waarbij ze een improvisatieroutine moeten uitvoeren op basis van willekeurige muziek.

De "Overtrained" Danser (Deep SFT): Deze danser heeft duizenden keren dezelfde 10 perfecte routines geoefend. Hij is ongelooflijk precies. Maar wanneer de muziek verandert, bevriest hij. Hij kent alleen die 10 bewegingen. Hij heeft geen idee hoe hij op een andere manier moet bewegen.
De "Net-Goed-Genoeg" Danser (Shallow SFT): Deze danser heeft de basis geoefend, maar hield zijn lichaam los en flexibel. Hij kent de regels, maar hij kan nog steeds wiebelen, draaien en nieuwe dingen proberen wanneer de muziek verandert.

De Wedstrijd (RL):
De wedstrijd vereist dat de dansers veel verschillende bewegingen tegelijk proberen om te zien welke het beste werkt.

De Overtrained Danser probeert elke keer exact dezelfde perfecte beweging te doen. Omdat ze allemaal op elkaar lijken, kunnen de juryleden (het algoritme) niet zien welke beweging beter is. De danser zit vast en kan niets nieuws leren.
De Flexibele Danser probeert een grote verscheidenheid aan bewegingen. De juryleden kunnen zien: "Ah, deze beweging werkte, die andere niet!" en de danser leert snel.

De Technische "Waarom": Entropie-instorting

Het paper gebruikt een deftig woord voor "variatie" of "flexibiliteit": Entropie.

Entropie-instorting: Wanneer de robot te veel is getraind, wordt zijn "geest" te nauw. Hij stopt met het verkennen van verschillende mogelijkheden en herhaalt alleen dezelfde paar antwoorden. In termen van het paper: zijn entropie stort in.
Het Signaal Sterft: Het leeralgoritme (genoemd GRPO) werkt door verschillende antwoorden met elkaar te vergelijken. Als de robot 8 keer achter elkaar hetzelfde antwoord geeft, raakt het algoritme in de war. Het kan geen "gradiënt" (een richting om te verbeteren) berekenen, omdat er geen verschil is om te vergelijken. Het is also[t] bij het proberen te sturen van een auto wanneer het stuur vergrendeld is in een rechte lijn.
De Rangorde-inversie: Dit leidt tot een vreemd resultaat genaamd Rank Inversion.
- Vóór de tweede trainingsfase lijkt de overgetrainde robot een genie (hij krijgt 100% van de tijd het juiste antwoord op de oefentoets).
- Na de tweede trainingsfase is hij een ramp geworden.
- Ondertussen is de "minder perfecte" robot, die er eerst iets slechter uitzag, de superster geworden.

De Twee Modellen: Een Verhaal van Twee Steden

De auteurs testten dit op twee verschillende robotbreinen (modellen):

Qwen (Het Slachtoffer): Dit model liep in de valstrik. Hoe meer ze het in Stap 1 trainden, hoe stijver het werd. Het "beste" uitziende checkpoint (hoogste score) bleek het slechtste startpunt voor de volgende fase.
DeepSeek (De Overlever): Dit model was van nature flexibeler. Zelfs na zware training werd het niet stijf. Het bleef in de "veilige zone" waar het nog steeds kon leren. Dit bewees dat het probleem niet de tweede trainingsfase zelf was, maar specif으로 hoe de eerste fase de flexibiliteit van het Qwen-model had verpest.

De Oplossing: Een Tweestaps Controle

De auteurs hebben niet alleen het probleem gevonden; ze hebben ook een diagnostisch hulpmiddel gebouwd om dit te spotten voordat er tijd en geld wordt verspild.

Stap 1: De "Stretch" Test (Pre-RL Entropie): Voordat de tweede trainingsfase begint, controleren ze hoe "los" de geest van de robot is. Als de robot te rigide is (lage entropie), markeren ze dit als een hoog risico.
Stap 2: De "Vroege Waarschuwing" Monitor: Als ze de tweede fase starten, houden ze de eerste paar minuten in de gaten. Als de robot direct stopt met het proberen van nieuwe dingen en begint zichzelf te herhalen, stoppen ze de training vroegtijdig om middelen te besparen.

Wat Niet Werkte?

De auteurs probeerden de kapotte robot te repareren met standaardtrucs, zoals:

Een straf toevoegen: "Wijk niet te veel af van je oorspronkelijke training." (Dit maakte het erger).
Labels gladstrijken: "Wees iets minder zeker over je antwoorden." (Dit liet de robot weer zelfverzekerd lijken, maar hij faalde nog steeds in de wedstrijd).

De Conclusie: Je kunt een stijve danser niet repareren door hem tijdens de wedstrijd te vertellen dat hij "harder moet proberen". Je moet de training in de eerste plaats niet zo rigide laten verlopen. Het paper bewijst dat variatie (entropie) belangrijker is dan perfectie wanneer je wilt dat een model blijft leren.

Technische Samenvatting: SFT Overtraining Voorspelt Rank Inversie via Entropie-instorting onder RLVR

Probleemstelling
De standaard heuristiek voor Reinforcement Learning met Verifieerbare Beloningen (RLVR) bij codegeneratie houdt in dat het Supervised Fine-Tuning (SFT) checkpoint met de hoogste pass@1 wordt geselecteerd om de RL-fase (bijv. GRPO) te initialiseren. Dit artikel toont aan dat deze heuristiek faalt wanneer SFT-overtraining de rollout-distributie van het model comprimeert. Specifiek leidt langdurige SFT tot "entropie-instorting" (entropy collapse), waarbij de outputdiversiteit van het model afneemt tot een punt waarop het RL-algoritme geen betekenisvol gradiëntsignaal meer kan genereren. In dit regime identificeert het selecteren van het checkpoint met de hoogste pass@1 systematisch de slechtst presterende RL-initializer, wat resulteert in een "rank inversie" waarbij diepere SFT-checkpoints slechter presteren dan ondiepere checkpoints na RL-training.

Methodologie
De studie isoleert de Satus van SFT als de enige onafhankelijke variabele over twee modelfamilies: Qwen2.5-Coder-3B-Base en DeepSeek-Coder-6.7B-Base.

Experimentele Opzet: Beide modellen werden gefinetuned op 5.000 problemen van gemiddelde moeilijkheid uit de KodCode-V1 dataset. Checkpoints werden geselecteerd bij variërende SFT-dieptes (1.0 tot 5.8 epochs voor Qwen; 1.0 tot 9.6 epochs voor DeepSeek).
RL-Training: Alle checkpoints ondergingen identieke GRPO-training (400 stappen, groepsgrootte $g=8$ , binaire correctheidsbeloning) op een hold-out dataset.
Metrieken: Prestaties werden gemeten via pass@1 en pass@10 (met een onbevooroordeelde estimator) op een bevroren subset van 40 HumanEval+-problemen. Cruciaal volgden de auteurs de pre-RL entropie (gemiddelde next-token entropie bij $T=1.0$ ) en in-training entropie om distributie-instorting te diagnosticeren.
Interventies: Om te testen of de fout een hyperparameter-artefact was, pasten de auteurs een KL-penalty toe op de referentiepolicy tijdens GRPO en label smoothing tijdens SFT om de entropie kunstmatig te herstellen.

Belangrijkste Bijdragen

Theoretische Drempel voor Gradiëntinstorting: De auteurs leiden af dat voor binaire beloningen de verwachte variantie binnen de groep $E[\sigma^2_G] = p(1-p)(g-1)/g$ is. Zij identificeren een kritische drempelwaarde $p^*(g)$ waar, indien de kans op een correcte rollout ( $p$ ) onder deze waarde daalt, het relatieve signaal binnen de groep structureel instort (de meeste groepen ontvangen identieke beloningen), waardoor de gradiënt verdwijnt.
Rank Inversie Casestudy: Op Qwen2.5-Coder-3B documenteert het artikel een duidelijke rank inversie: naarmate de SFT-diepte toeneemt, stijgt de pre-RL pass@1, maar daalt de piek post-RL pass@10 monotoon (van 0.806 naar 0.481). Het checkpoint met de hoogste pass@1 (5.8 epochs) presteert het slechtst onder RL.
Contrastieve Validatie: Op DeepSeek-Coder-6.7B, waar de pre-RL pass@1 aanzienlijk boven de theoretische instortingsdrempel $p^*(8)$ blijft, treedt geen rank inversie op. In plaats daarvan comprimeren de rangordes en verbeteren alle checkpoints, wat de drempelhypothese valideert.
Tweefasige Diagnostiek: De auteurs stellen een diagnostisch protocol voor om risicovolle checkpoints te identificeren vóór of vroeg in de RL-fase:
- Fase 1 (Pre-RL): Markeer checkpoints waar de gemiddelde next-token entropie onder een drempelwaarde ( $\tau_H = 0.18$ nats) valt.
- Fase 2 (Vroege RL): Monitor de relatieve daling van de worst-token entropie tussen GRPO-stap 10 en 150. Een daling van meer dan 50% duidt op instorting.
Lokalisatie van Falen: De studie toont aan dat eenvoudige interventies (KL-penalties of label smoothing) falen om geinstorteerde checkpoints te redden, wat suggereert dat de fout geworteld is in de uitputting van plasticiteit en entropie tijdens de SFT-fase, in plaats van een aanpasbaar GRPO-hyperparameter-probleem.

Resultaten

Qwen2.5-Coder-3B: Er bestaat een sterke negatieve correlatie ( $\rho = -0.75$ ) tussen de pre-RL pass@1 en de piek post-RL pass@10. Het 5.8-epoch checkpoint, ondanks de hoogste pre-RL pass@1 (0.187), stortte in tot een piek pass@10 van 0.481, terwijl het 1.0-epoch checkpoint 0.806 bereikte. De entropie van het 5.8-epoch model daalde met 78% tijdens de training, vergeleken met 37% voor het 1.0-epoch model.
DeepSeek-Coder-6.7B: Alle checkpoints behielden een pre-RL pass@1 ruim boven de instortingsdrempel ( $p \geq 4.2 \times p^*(8)$ ). Als gevolg hiervan verbeterden alle armen onder GRPO, en de pre-RL rangorde werd perfect behouden post-RL ( $\rho = +1.00$ ).
Interventies: Het toevoegen van een KL-penalty ( $\beta=0.01$ ) verminderde de prestaties voor zowel ondiepe als diepe checkpoints, maar draaide de rank inversie niet om. Label smoothing op het 5.8-epoch checkpoint verhoogde de pre-RL pass@1 naar 0.600, maar resulteerde in de laagste post-RL pass@10 (0.214), wat aangeeft dat het kunstmatig afvlakken van de distributie zonder het herstellen van de onderliggende oplossingsdiversiteit onvoldoende is.

Significantie en Claims
Het artikel claimt dat de standaardpraktijk om het hoogste pass@1 SFT-checkpoint te selecteren voor RL misleidend is in regimes waar SFT-overtraining leidt tot entropie-instorting. De auteurs stellen dat pass@1 de capaciteit meet bij de verkeerde temperatuur (greedy, $T=0$ ) en faalt om de diversiteit te vangen die vereist is voor RL bij $T=1.0$ .

De significantie ligt in het identificeren van entropie-instorting als de mechanistische link tussen SFT-overtraining en RL-falen. Het artikel stelt dat het falen geen triviaal artefact is van GRPO-hyperparameters, maar een fundamenteel probleem van verlies van plasticiteit tijdens SFT. De voorgestelde tweefasige diagnostiek biedt een praktische, model-agnostische methode (gebaseerd op ordening en risicosignalen in plaats van universele drempelwaarden) om checkpoints te filteren die hun leerrendement al hebben uitgeput voordat er RL-rekenkracht aan wordt verspild. De auteurs concluderen dat het behoud van entropie tijdens SFT een vereiste is voor succesvolle RLVR, en dat zodra de entropie instort, standaard RL-varianten de policy niet meer kunnen herstellen.