🤖 machine learning

Rethinking Expert Trajectory Utilization in LLM Post-training for Mathematical Reasoning

Dit artikel introduceert het Plasticity-Ceiling Framework om aan te tonen dat een sequentiële SFT-then-RL-pijplijn, gestart bij het stabiele of licht overfitte regime van SFT met grootschalige data, superieur is aan gesynchroniseerde benaderingen en de "Less is More"-hypothese voor het maximaliseren van wiskundige redeneercapaciteiten in LLMs weerlegt.

Oorspronkelijke auteurs: Bowen Ding, Yuhan Chen, Jiayang Lyv, Jiyao Yuan, Qi Zhu, Shuangshuang Tian, Dantong Zhu, Futing Wang, Heyuan Deng, Fei Mi, Lifeng Shang, Tao Lin

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bowen Ding, Yuhan Chen, Jiayang Lyv, Jiyao Yuan, Qi Zhu, Shuangshuang Tian, Dantong Zhu, Futing Wang, Heyuan Deng, Fei Mi, Lifeng Shang, Tao Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante student op te leiden tot een meesterwiskundige. Je hebt twee hoofdtools: een leermethode (Supervised Fine-Tuning, of SFT) en een trainingsruimte voor probleemoplossing (Reinforcement Learning, of RL).

Dit artikel is een studie naar de beste manier om deze tools te gebruiken om een slimme student om te vormen tot een wiskundig genie. De onderzoekers ontdekten dat de volgorde waarin je ze gebruikt, hoe lang je de leermethode bestudeert, en de moeilijkheidsgraad van de problemen die je kiest, de sleutels tot succes zijn.

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

1. De Regels "Eerst Leermethode, Dan Trainingsruimte"

Het Probleem: Sommige mensen dachten dat je de leermethode en de trainingsruimte tegelijkertijd kon combineren (zogenaamde "Gesynchroniseerde SFT-RL"). Ze hoopten dat dit sneller zou zijn.
De Bevinding: Het artikel toont aan dat dit een slecht idee is. Het is alsof je probeert een hoofdstuk uit een wiskundig boek te lezen terwijl je tegelijkertijd op een loopband rent; je raakt uiteindelijk in de war en komt niet ver.
De Winnaar: De beste methode is Sequentieel: Lees eerst het hele boek tot je de concepten echt begrijpt, ga dan pas naar de trainingsruimte om zelfstandig problemen op te lossen. Deze "Eerst Leermethode"-aanpak bouwt een solide fundament op dat de student in staat stelt later een veel hoger vaardigheidsniveau te bereiken.

2. Het "Sweet Spot" voor Overschakelen

Het Probleem: Wanneer moet je stoppen met het lezen van de leermethode en beginnen met de trainingsruimte?
De Bevinding: Je mag niet te vroeg overschakelen (wanneer je nog in de war bent) of te laat (wanneer je het boek zo goed uit je hoofd kent dat je niet meer creatief kunt denken).
De Analogie: Stel je de leercurve van de leermethode voor als een heuvel.

Te Vroeg (Adaptieve Regime): Je bent nog aan de onderkant en struikelt. Als je nu overschakelt naar de trainingsruimte, ontbreken je de basisvaardigheden om effectief te trainen.
Te Laat (Ernstige Overfitting): Je hebt het boek zo perfect uit je hoofd geleerd dat je geen nieuwe problemen meer aankan. Je bent een robot geworden die alleen de antwoorden in het boek kent.
Het Sweet Spot (Stabiele Regime): Je hebt de top van de heuvel bereikt. Je begrijpt het materiaal diepgaand, maar je bent nog niet veranderd in een stijve robot. Dit is het perfecte moment om over te schakelen naar de trainingsruimte. Het artikel bewijst dat stoppen precies op het moment dat het leren uit de leermethode "stabiliseert", de beste resultaten oplevert.

3. Volume versus Moeilijkheidsgraad (De "Minder is Meer"-Mythe)

Het Probleem: Sommige experts beweerden dat het gebruik van een klein aantal zeer hoogwaardige, moeilijke problemen beter is dan het gebruik van een enorme stapel problemen ("Minder is Meer").
De Bevinding: Het artikel zegt Nee.
De Analogie:

Dataschaal (Volume): Denk hierbij aan de grootte van de trainingsruimte. Een kleine trainingsruimte (kleine dataset) is misschien makkelijk vol te krijgen, maar het beperkt hoe sterk je kunt worden. Een enorme trainingsruimte (enorme dataset) geeft je de ruimte om enorme kracht op te bouwen. Het artikel vond dat groter beter is. De grootte van je dataset is het belangrijkste wat je uiteindelijke plafond bepaalt.
Data-moeilijkheidsgraad: Denk hierbij aan het gewicht op de stang. Zodra je een grote trainingsruimte hebt, helpt het toevoegen van zwaardere gewichten (moeilijkere problemen) je om nog sterker te worden. Maar als je alleen maar een kleine trainingsruimte hebt, helpen zware gewichten je niet om naar de top te komen.
Conclusie: Krijg eerst een enorme trainingsruimte (veel data). Vervolgens, maak de gewichten zwaarder (moeilijkere data) om je training te optimaliseren.

4. De "Kristallen Bol"-Indicator

Het Probleem: Hoe weet je of je de juiste leermethode en het juiste moment voor overschakeling hebt gekozen zonder dure tests te doen?
De Bevinding: De onderzoekers vonden een eenvoudige maatstaf: Het laagste punt van je "Validatieverlies".
De Analogie: Stel je voor dat je met een auto een berg oprijdt. Je hoeft niet helemaal naar de top te rijden om te weten hoe hoog de berg is. Je hoeft alleen maar te kijken naar de diepste kuiltjes in de weg (het minimale validatieverlies) tijdens je studie van de leermethode. Als dat kuiltje erg laag is, voorspelt dit dat je later in de trainingsruimte een zeer hoge top kunt bereiken. Het is een betrouwbare kristallen bol voor je uiteindelijke potentieel.

Samenvatting van het "Plasticiteit-Plafond"-Kader

De auteurs hebben een kader ontwikkeld dat Plasticiteit-Plafond heet:

Het Plafond: Het hoogst mogelijke score dat je model ooit kan bereiken.
Plasticiteit: Hoeveel ruimte voor verbetering er nog over is nadat je de leermethode hebt afgerond.

De Grote Les:
Om het hoogste plafond te bereiken, moet je:

De Sequentiële methode gebruiken (Leermethode, dan Trainingsruimte).
Stoppen met de leermethode precies op het moment dat je het Stabiele Regime bereikt (niet te vroeg, niet te laat).
Een Enorme Dataset gebruiken (Volume is koning).
Moeilijkere Problemen gebruiken als een bonusvermenigvuldiger.

Dit verandert het proces van het trainen van AI van een spelletje "gissen en controleren" in een voorspelbaar, wetenschappelijk recept.

Technische Samenvatting: Heroverweging van het Benutten van Experttrajecten bij het Post-training van LLM's voor Wiskundig Redeneren

Probleemstelling

Het post-training van Large Language Models (LLM's) voor wiskundig redeneren wordt momenteel gedomineerd door twee paradigma's: Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL). Waar SFT sterk vertrouwt op experttrajecten (prompt-oplossingsparen) om redeneerpriors via imitatie in te bouwen, maken RL-methoden (bijv. GRPO, DAPO) doorgaans gebruik van beloningssignalen om redeneerpaden te verkennen zonder directe benutting van experttrajecten.

Ondanks de consensus dat beide noodzakelijk zijn, blijft het optimale mechanisme voor het benutten van experttrajecten om het prestatieplafond te maximaliseren onopgelost. Het vakgebied staat voor een "paradigma-dilemma":

Gesynchroniseerde Benaderingen (Syn-SFT-RL): Recente methoden (bijv. UPT, SRFT, LUFFY) integreren imitatieverlies direct in de RL-lus en claimen superieure efficiëntie. Deze worden echter vaak beperkt door beperkte SFT-data-schalen (bijv. ~46K steekproeven) en missen een rigoureuze vergelijking met baselines die zijn getraind op aanzienlijk grotere datasets.
Sequentiële Benaderingen (SFT-then-RL): De industriestandaard omvat een sequentiële pijplijn. De principes die deze aanpak regeren, zijn echter grotendeels empirisch. Kritische vragen blijven onbeantwoord over het optimale moment voor de overstap van SFT naar RL, de impact van dataschaal versus moeilijkheidsgraad, en of de "Less is More"-hypothese (het gebruik van minimale hoogwaardige data) waar is voor het maximaliseren van het ultieme redeneerplafond.

Methodologie: Het Plasticiteit-Plafond Kader

Om deze hiaten aan te pakken, stellen de auteurs het Plasticiteit-Plafond Kader voor, een geünificeerde analytische aanpak die het theoretische post-training prestatieplafond ( $A_{post}$ ) decomposeert in twee meetbare componenten:

SFT-prestatie ( $P_{sft}$ ): De gerealiseerde prestatie behaald na de SFT-fase, gegeven een specifieke compute-toewijzing ( $x_{sft}$ ).
RL-plasticiteit ( $P_{L_{rl}}$ ): Het maximale potentieel voor verbetering dat via daaropvolgende RL bereikbaar is, gedefinieerd als het verschil tussen het asymptotische plafond en de SFT-baseline ( $A_{post} - P_{sft}$ ).

Het kader modelleert de post-training prestatie als een functie van RL-compute met behulp van een sigmoidale wet, wat een kwantitatieve decompositie van het uiteindelijke plafond mogelijk maakt. Dit stelt de auteurs in staat om systematisch te evalueren hoe SFT-data-eigenschappen (schaal en moeilijkheidsgraad) en trainingsdynamiek zowel de basis ( $P_{sft}$ ) als de ruimte voor verbetering ( $P_{L_{rl}}$ ) beïnvloeden.

Experimentele Opzet

De studie voert uitgebreide benchmarks uit op Qwen2.5-7B en Llama3.2-3B over zes wiskundige benchmarks (GSM8K, OlympiadBench, Minerva, MATH, AIME24/25) en taken buiten het domein (OOD) (GPQA-Diamond, ARC-C).

Datasets: De auteurs stellen SFT-datasets samen variërend van 1K tot 889K unieke steekproeven, afgeleid van gedistilleerde DeepSeek-R1-outputs. Deze omvatten schaalvarianten (S1K, Uniform102K, SFT889K) en moeilijkheidsvarianten (Easy102K, Uniform102K, Hard102K).
Baselines: De studie vergelijkt Pure-SFT, Pure-RL (GRPO, DAPO), Syn-SFT-RL (LUFFY, SRFT, UPT, Prefix-RFT) en de sequentiële SFT-then-RL-pijplijn.
Metingen: Prestaties worden gemeten via pass@1-nauwkeurigheid, met compute-kosten genormaliseerd naar FLOPs (exaFLOPs).

Belangrijkste Resultaten

1. Paradigmakies: Sequentiële Dominantie

De sequentiële SFT-then-RL-pijplijn wordt gevestigd als de superieure standaard.

Beperkingen van Syn-SFT-RL: Gesynchroniseerde methoden vertonen trainingsinstabiliteit en voortijdige convergentie. Ze zijn zeer gevoelig voor modelpriors en schalen niet effectief in vergelijking met sequentiële baselines die zijn geoptimaliseerd op grotere datasets.
Het "Langzaam maar Hoog" Voordeel: Pure-SFT toont continue verbetering met uitgebreide training, en bereikt een piek die aanzienlijk hoger ligt dan de plafonds van Pure-RL of Syn-SFT-RL-methoden. Cruciaal is dat de overgang naar RL na SFT-saturatie verdere winsten ontsluit, waardoor het hoogste prestatievoetpad wordt bereikt (bijv. 78,1 punten op Qwen2.5-7B versus 74,3 voor Pure-RL).

2. Optimaal Transitiemoment: SFT-saturatie

De optimale strategie voor de overstap van SFT naar RL is wachten tot het Stabiele Regime of het Mild Overfitting Regime van de SFT-validatieverlies.

Voortijdige Overschakeling: Overschakelen tijdens het Adaptieve Regime (onderfitting) levert suboptimale plafonds op omdat het model de fundamentele competentie mist die nodig is voor RL om zich te herstellen.
Ernstig Overfitting: Het voortzetten van SFT in het Ernstig Overfitting Regime veroorzaakt een ineenstorting van RL-plasticiteit, wat schadelijk is voor het uiteindelijke plafond.
Generalisatie: Het trainen van SFT tot saturatie vestigt een robuuste basis voor Out-of-Domain (OOD)-generalisatie, wat in tegenspraak is met beweringen dat intensieve SFT generalisatie verslechtert.

3. Data-eigenschappen: Schaal en Moeilijkheidsgraad

De studie weerlegt de "Less is More"-hypothese in de context van SFT-then-RL-schaling.

Schaal Bepaalt: Data-schaal is de primaire determinant van het uiteindelijke prestatieplafond. Hoewel kleine datasets (bijv. S1K) snelle initiële winsten behalen, satureren ze voortijdig. Grootschalige datasets (bijv. SFT889K) bieden zowel hogere gerealiseerde SFT-prestaties als grotere behouden RL-plasticiteit, wat leidt tot een aanzienlijk hoger plafond.
Moeilijkheidsgraad als Vermenigvuldiger: Trajectmoeilijkheidsgraad fungeert als een prestatievermenigvuldiger. Moeilijkere data (Hard102K) levert hogere SFT-prestaties op en behoudt vergelijkbare plasticiteit met makkelijkere data, waardoor het de superieure keuze is wanneer de schaal vaststaat.
Voorspellende Indicator: De Minimale Validatieverlies van de SFT-fase dient als een betrouwbare, robuuste indicator voor het uiteindelijke post-training plafond, met een sterke correlatie met de uiteindelijke prestatie ( $A_{post}$ ).

Betekenis en Bijdragen

Het artikel claimt de optimalisatie van experttrajecten om te zetten van empirisch giswerk in een systematisch, voorspelbaar proces. De primaire bijdragen zijn:

Het Plasticiteit-Plafond Kader: Een theoretisch mechanisme dat post-training prestaties decomposeert in gerealiseerde SFT-winsten en daaropvolgende RL-plasticiteit, en zo een geünificeerd perspectief biedt voor paradigmakies.
Rigoureuze Benchmarking: Het vestigen van de sequentiële SFT-then-RL-pijplijn als de rigoureuze standaard voor stabiliteit en prestatie, die gesynchroniseerde benaderingen en pure methoden overtreft.
Hanteerbare Schalingsrichtlijnen:
- Timing: Start RL bij SFT-saturatie (Stabiele Regime).
- Datastrategie: Prioriteer dataschaal boven moeilijkheidsgraad om het plafond te maximaliseren; gebruik moeilijkheidsgraad om te optimaliseren binnen beperkte schaalbeperkingen.
- Monitoring: Gebruik Minimale Validatieverlies als proxy voor het uiteindelijke prestatieplafond.

De auteurs concluderen dat deze bevindingen hanteerbare richtlijnen bieden voor het maximaliseren van de waarde van experttrajecten, specifiek voor wiskundige redeneertaken met R1-stijl trajecten. Ze erkennen beperkingen met betrekking tot generalisatie naar niet-verifieerbare taken (bijv. creatief schrijven) of alternatieve trajectstijlen, en laten deze als open vragen voor toekomstig werk.