🤖 machine learning

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

Dit onderzoek toont aan dat de standaard "SFT-then-RL"-methode superieur is aan recente gemengde methoden voor LLM-redeneren, omdat eerdere studies gebaseerd waren op foutieve resultaten door softwarebugs in optimalisatie- en verliesberekeningen.

Oorspronkelijke auteurs: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe chef-kok wilt opleiden om de moeilijkste wiskundige gerechten ter wereld te maken. In de wereld van AI (kunstmatige intelligentie) zijn er momenteel twee manieren om dit te doen:

De Klassieke Methode (SFT-then-RL): Eerst geef je de kok een perfect kookboek met alle recepten (Supervised Fine-Tuning). Daarna laat je hem zelf experimenteren in de keuken, waarbij hij alleen feedback krijgt of het gerecht lekker is of niet (Reinforcement Learning).
De "Moderne" Mix-Methode: Je probeert de kok tegelijkertijd het kookboek te laten lezen terwijl hij al aan het experimenteren is. Het idee is dat hij sneller leert door de theorie en de praktijk te mengen.

De laatste tijd beweerden veel slimme onderzoekers dat die Mix-Methode veel beter werkte dan de klassieke methode. Maar dit nieuwe onderzoek zegt: "Ho even, dat klopt niet! De klassieke methode is eigenlijk veel beter, maar we dachten dat hij slecht was omdat de meetlat kapot was."

Hier is de uitleg van wat er echt aan de hand is, in begrijpelijke taal:

1. De "Kapotte Meetlat" (De Bugs)

De onderzoekers ontdekten dat de wetenschappers die beweerden dat de Mix-Methode beter was, eigenlijk een fout maakten in hun basis-training. Het was alsof je een atleet probeert te trainen, maar je geeft hem per ongeluk een gewicht dat elke vijf minuten een stukje lichter wordt zonder dat je het doorhebt.

Er waren twee grote "bugs" (foutjes in de software):

De "Vergeten Hapjes" Bug: Tijdens het oefenen met het kookboek (SFT) werden er door een fout in de software stukjes informatie simpelweg overgeslagen. De AI leerde dus een incompleet recept. Het was alsof je een kok leert hoe je een taart bakt, maar de software vergeet halverwege de instructie voor de suiker te geven.
De "Gemiddelde van Gemiddelden" Bug: De AI kreeg verkeerde feedback over hoe goed hij het deed. In plaats van te kijken naar het hele gerecht, keek de software naar kleine hapjes en rekende de score verkeerd uit. Het was alsof een proever zegt: "Dit hapje is een 10, dat hapje is een 0, dus het gemiddelde is een 5," terwijl het hele gerecht eigenlijk een ramp was.

Omdat deze foutjes in de "klassieke methode" zaten, leek die methode opeens heel zwak. De Mix-Methode leek daardoor de winnaar, maar dat was een vals gevoel.

2. De Ontdekking: De Klassieke Methode is de Kampioen

Toen de onderzoekers de foutjes in de software repareerden, gebeurde er iets opmerkelijks: de klassieke methode (eerst het boek, dan de praktijk) schoot opeens met een raket omhoog!

De klassieke methode presteerde niet alleen beter dan de Mix-Methode, maar hij was ook veel efficiënter.

De metafoor:
De Mix-Methode is als een student die probeert te leren door tegelijkertijd een tekst te lezen en een examen te maken. Dat is verwarrend en kost enorm veel energie (rekenkracht).
De klassieke methode is als een student die eerst rustig de stof leert en daarna pas het examen oefent. Die student begrijpt de basis veel beter en heeft veel minder tijd nodig om een topcijfer te halen.

3. Waarom is dit belangrijk?

Dit onderzoek is een belangrijke waarschuwing voor de hele AI-wereld. Het laat zien dat:

Details ertoe doen: Zelfs de meest geavanceerde AI-modellen kunnen falen als de software die ze traint een klein foutje bevat.
Soms is "simpel" beter: We proberen vaak heel ingewikkelde nieuwe methodes uit (zoals de Mix-Methode), maar soms is de oude, bewezen manier (eerst leren, dan oefenen) simpelweg superieur.

Kortom: De onderzoekers hebben de "meetlat" weer rechtgezet en laten zien dat de traditionele manier van AI trainen eigenlijk de absolute kampioen is in het oplossen van moeilijke problemen.

Technische Samenvatting: SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

Het Probleem

In de recente ontwikkeling van Large Language Models (LLM's) voor redeneren (zoals de o1- en DeepSeek-R1-modellen), is de standaard aanpak een tweestaps-pipeline: eerst Supervised Fine-Tuning (SFT) op expert-demonstraties, gevolgd door Reinforcement Learning (RL) om de redeneerstrategieën te verfijnen.

Recentelijk claimden diverse onderzoeksartikelen dat "mixed-policy" methoden — waarbij SFT en RL signalen worden gemengd of afgewisseld tijdens één trainingsproces — superieur zijn aan deze standaard SFT-then-RL pipeline. De auteurs van dit paper stellen echter dat deze claims gebaseerd zijn op een foutief vergelijkingsmateriaal (baseline). De SFT-baselines in de bestaande literatuur presteren veel slechter dan ze zouden moeten, niet vanwege de methodologie, maar door twee kritieke softwarefouten in veelgebruikte trainingsframeworks.

Methodologie

De onderzoekers identificeerden en corrigeerden twee specifieke bugs die de kwaliteit van SFT systematisch ondermijnen:

De CPU-offloaded Optimizer Bug (DeepSpeed): Bij het gebruik van DeepSpeed ZeRO Stage 1 of 2 met een optimizer die naar de CPU is verplaatst (om GPU-geheugen te besparen), zorgt een fout in de routine voor gradient accumulation ervoor dat alleen de gradiënten van de eerste micro-batch worden meegenomen. De gradiënten van de tussenliggende micro-batches worden correct op de GPU opgebouwd, maar worden nooit naar de CPU-optimizer gekopieerd. Dit resulteert in een extreem zwakker leersignaal. Deze bug beïnvloedt frameworks zoals TRL, OpenRLHF en Llama-Factory.
De Loss Aggregation Bug (OpenRLHF): Een veelvoorkomende fout waarbij de gemiddelde loss per mini-batch wordt genomen in plaats van de werkelijke gemiddelde loss per token. Omdat verschillende batches verschillende aantallen tokens bevatten, worden batches met minder tokens onterecht even zwaar gewogen als batches met veel tokens, wat de training destabiliseert en de prestaties verlaagt.

De onderzoekers hebben deze bugs gecorrigeerd en de SFT-then-RL pipeline opnieuw uitgevoerd op de modellen Qwen2.5-Math-7B en Llama-3.1-8B om de resultaten te vergelijken met de bestaande mixed-policy methoden (zoals LUFFY, ReLIFT, SRFT, etc.).

Belangrijkste Bijdragen

Identificatie van systematische fouten: Het blootleggen van kritieke bugs in DeepSpeed en OpenRLHF die de huidige stand van zaken in LLM-onderzoek hebben beïnvloed.
Herstel van de SFT-baseline: Het aantonen dat een correct geïmplementeerde SFT-fase de basis legt voor een veel krachtiger RL-proces.
Efficiëntie-analyse: Het bewijzen dat een sequentiële aanpak (SFT $\rightarrow$ RL) niet alleen beter presteert, maar ook minder rekenkracht (FLOPs) vereist.

Resultaten

De resultaten laten zien dat de standaard SFT-then-RL pipeline de mixed-policy methoden overtreft zodra de bugs zijn verholpen:

Prestatieverbetering: Op de Qwen2.5-Math-7B benchmark presteert de gecorrigeerde SFT-then-RL pipeline +3,8 punten beter dan de beste gepubliceerde mixed-policy methode (SRFT). Op Llama-3.1-8B is het verschil nog extremer: een verbetering van +22,2 punten.
Trainingsefficiëntie: De onderzoekers ontdekten dat als de SFT-fase goed is uitgevoerd, de RL-fase drastisch kan worden ingekort. Een variant met slechts 50 RL-stappen (in plaats van 500) presteert nog steeds beter dan de mixed-policy methoden, terwijl het aanzienlijk minder rekenkracht verbruikt.
Dynamiek: SFT zorgt voor een "dense reward signal" tijdens de RL-fase. Waar mixed-policy methoden moeite hebben om vanaf nul te leren (sparse rewards), begint de SFT-then-RL pipeline direct in een regime waar het model al correcte antwoorden kan genereren, wat de RL-verfijning versnelt.

Significantie

Dit paper is van groot belang voor de AI-gemeenschap om twee redenen:

Wetenschappelijke integriteit: Het waarschuwt onderzoekers dat het gebruik van populaire frameworks zonder cross-framework validatie kan leiden tot foutieve conclusies. Veel "innovaties" in recente papers blijken simpelweg het gevolg te zijn van het vergelijken van nieuwe methoden met een defecte baseline.
Paradigma-bevestiging: Het herstelt het vertrouwen in de eenvoudige, sequentiële SFT-then-RL aanpak als de meest effectieve en efficiënte methode voor het trainen van redeneer-modellen.