Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

Technische Samenvatting: Mid-Training met Zelfgegenereerde Data Verbeterd Versterkingslering in Taalmodellen

Probleemstelling
Recente vooruitgang in Large Language Models (LLM's) heeft Versterkingslering (RL) geïdentificeerd als een krachtige techniek voor het verbeteren van redeneervermogens, met name door schaling tijdens de inferentie. De effectiviteit van RL is echter sterk afhankelijk van de aannames die in het model zijn vastgelegd voordat RL-training begint. Bestaande literatuur suggereert dat RL met verifieerbare beloningen (RLVR) vaak "distributionele scherpte" toepast, waarbij bestaande gedragingen in het basismodel selectief worden versterkt in plaats van echt nieuwe vaardigheden worden geïnduceerd. Wanneer een model geen blootstelling heeft gehad aan diverse probleemoplossende benaderingen voor één taak, kan daaropvolgende RL-training moeite hebben om de prestaties te verbeteren, of zelfs leiden tot verslechtering onder bepaalde evaluatiemetrics (bijvoorbeeld pass@k). De kernuitdaging die wordt aangepakt, is hoe een basismodel effectief kan worden uitgerust met een rijke set diverse redeneerstrategieën voordat RL wordt toegepast, waardoor het RL-proces deze strategieën kan samenstellen en verfijnen in plaats van slechts een beperkte reeks bestaande gedragingen te versterken.

Methodologie
De auteurs stellen een mid-training framework voor dat dient als tussenstap tussen pre-training en RL. Deze fase maakt gebruik van diverse zelfgegenereerde data om het model bloot te stellen aan meerdere geldige oplossingspaden voor hetzelfde probleem.

1. Heuristisch Gesteunde Data-Generatie:

   • Het framework put inspiratie uit George Pólya's probleemoplossende heuristieken (bijvoorbeeld Analogie, Ontleden & Opnieuw Samenstellen, Achteruitwerken).
   • Voor elke vraag in een zaaddataset (GSM8K) wordt het basismodel geprompt met specifieke heuristische beschrijvingen en few-shot voorbeelden om meerdere kandidaat-antwoorden te genereren.
   • Dit proces is bootstrap: het model genereert zijn eigen trainingsdata zonder afhankelijkheid van distillatie van sterkere lerarenmodellen.
   • Filtering en Selectie: Gegenereerde antwoorden worden gefilterd op juistheid met behulp van regelgebaseerde verifiers (bijvoorbeeld Math-Verify). De overgebleven kandidaten worden gescoord door een beloningsmodel ($R_\phi$) op basis van naleving van de specifieke heuristiek. Het hoogst gescoorde antwoord voor elk vraag-heuristiek-paar wordt geselecteerd.
   • De resulterende dataset ($D_{Pólya}$) bevat $n$ verschillende oplossingsvarianten per vraag, waarbij $n$ het aantal toegepaste heuristieken voorstelt.

2. Mid-Training (Supervised Fine-Tuning):

   • Het basismodel wordt gefinetuned op $D_{Pólya}$. In tegenstelling tot standaard SFT waarbij een vraag wordt gekoppeld aan één antwoord, koppelt deze aanpak elke vraag aan $n$ diverse trajecten.
   • Het doel is het minimaliseren van de negatieve log-waarschijnlijkheid over deze meerdere trajecten, waardoor het model wordt aangemoedigd om een niet-verwaarloosbare waarschijnlijkheid toe te kennen aan diverse volgende-token-opties op vertakkingspunten, wat effectief resulteert in een N-modale volgende-token-verdeling.

3. Versterkingslering:

   • Na mid-training ondergaat het model RL-training met Group Relative Policy Optimization (GRPO) op een aparte dataset (DAPO-Math-17k).
   • De studie vergelijkt modellen die zijn geïnitieerd met variërende aantallen heuristieken ($n \in \{1, 2, \dots, 64\}$) met baselines: Zero-Shot, Vanilla RL (direct op het basismodel), en STaR+RL (Self-Taught Reasoner gevolgd door RL).

Theoretisch Perspectief
Het paper biedt een theoretische analyse van hoe mid-training policy-gradient-updates beïnvloedt:

• Uni-modale versus N-modale Regimes: In een uni-modaal regime (hoge zekerheid in één token) resulteert een policy-gradient-update in verwaarloosbare veranderingen ($\propto \epsilon^2$). Daarentegen induceert een update in een N-modaal regime (waarschijnlijkheidsmassa verdeeld over $N$ dominante modi) conservatieve maar merkwaardige veranderingen ($\propto 1/N$).
• Samenstelling van Strategieën: De auteurs bewijzen dat onder een negatieve advantage-update de waarschijnlijkheidsmassa die van een bemonsterd token wordt verwijderd, voornamelijk wordt herverdeeld naar de overige $N-1$ dominante modi. Dit mechanisme prikkelt het model om tijdens RL te leren verschillende probleemoplossende benaderingen binnen één antwoord te combineren, in plaats van in te storten naar één enkele strategie.

Belangrijkste Resultaten
Experimenten zijn uitgevoerd op Llama 3.2–3B–Instruct en Qwen2.5–7B–Instruct over zes wiskundige redeneerbenchmarks (Math-500, AIME 2024/2025, AMC 2023, HMMT 2025, OlympiadBench) en out-of-domain taken (HumanEval, MuSR).

• Prestatiewinst: Mid-training met diverse zelfgegenereerde data verbetert consistent de RL-prestaties, met name bij hogere $k$-waarden (pass@64).
  • Op Math-500 verbeterde pass@64 van 87,76% (Zero-Shot) naar 88,94% ($n=64$).
  • Op AIME 2025 steeg pass@64 van 12,84% naar 18,66%.
  • Modellen die met mid-training waren opgeleid met hogere redeneerdiversiteit ($n=64$), presteerden beter dan zowel Vanilla RL- als STaR+RL-baselines over alle benchmarks.
• Diversiteit versus Kwantiteit: Een gecontroleerd experiment toonde aan dat het leren van meerdere benaderingen per vraag (minder problemen, meer benaderingen) grotere voordelen oplevert voor RL dan het leren van één enkele benadering over een groter aantal problemen, gegeven een vast trainingsbudget.
• Juisheid is Essentieel: Mid-training met diverse benaderingen die leiden tot onjuiste antwoorden, slaagde er niet in de RL-prestaties te verbeteren, wat aangeeft dat juistheid een voorwaarde is voor de voordelen van diversiteit.
• Superioriteit ten opzichte van Distillatie: De zelfgegenereerde data vertoonde een hogere diversiteit (Vendi Score 13,81) in vergelijking met data gedistilleerd van een sterkere leraar (QwQ-32B, Vendi Score 10,95), wat leidde tot betere downstream-prestaties.
• Generalisatie: Ondanks de wiskundecentrerende aard van Pólya's heuristieken, generaliseerden de geleerde strategieën naar codegeneratie (HumanEval) en narratief redeneren (MuSR), met aanzienlijke winsten op meerstapsredeneertaken.

Betekenis en Claims
Het paper claimt dat de primaire bijdrage is het aantonen dat blootstelling aan meerdere probleemoplossende benaderingen via zelfgegenereerde data tijdens mid-training fundamenteel de aannames van het model vormt, waardoor daaropvolgende RL deze strategieën effectief kan samenstellen.

• Mechanisme van Verbetering: De studie stelt dat RL niet noodzakelijkerwijs "emergente" redeneervermogens van nul creëert, maar eerder bestaande gedragingen samenstelt. Mid-training zorgt ervoor dat deze gedragingen divers zijn en beschikbaar voor samenstelling.
• Praktische Nut: De aanpak biedt een eenvoudige, effectieve en schaalbare methode om RL te verbeteren zonder menselijke annotatie of sterkere lerarenmodellen te vereisen.
• Theoretisch Inzicht: Het werk overbrugt de kloof tussen het empirische succes van RL en theoretisch begrip, en toont aan hoe N-modale verdelingen mode-collapse voorkomen en het leren van samengestelde redeneerketens faciliteren.

De auteurs blijven bescheiden wat betreft de nauwkeurigheid per enkel monster (pass@1), en merken op dat hun focus ligt op het begrijpen hoe diverse blootstelling het RL-gedrag vormt en het verbeteren van prestaties in scenario's die meerdere bemonsteringspogingen vereisen (pass@k). Zij erkennen dat hoewel de heuristieken wiskundecentrerend zijn, de resulterende generalisatie naar andere domeinen suggereert dat de procedure latente capaciteiten binnen het basismodel aan het licht brengt en consolideert.