🤖 machine learning

RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training

Dit artikel daagt de standaardpraktijk uit waarbij reinforcement learning (RL) pas na supervised fine-tuning (SFT) wordt toegepast door aan te tonen dat het integreren van RL eerder in de pre-training fase, het optimaliseren van de datasamenstelling en het samenvoegen van RL met SFT-doelstellingen effectief de redeneervaardigheden kan verbeteren en de modeldistributies kan uitbreiden, terwijl algemene vermogens behouden blijven.

Oorspronkelijke auteurs: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren student (het AI-model) traint om wiskundeproblemen op te lossen. Jarenlang was het standaardrecept drie stappen:

Pre-training: De student leest miljoenen boeken om algemene taal en feiten te leren.
SFT (Supervised Fine-Tuning): Een docent geeft de student een tekstboek met problemen en hun exacte juiste antwoorden, waardoor de student het oplossingspad uit het hoofd moet leren.
RL (Reinforcement Learning): De student wordt in een spel geplaatst waarbij ze punten krijgen alleen als ze het uiteindelijke antwoord goed hebben, wat hen aanmoedigt om zelf nieuwe manieren te bedenken om problemen op te lossen.

Dit artikel vraagt: Moeten we echt wachten tot de student alle boeken heeft gelezen en het tekstboek uit zijn hoofd heeft geleerd voordat we hem het spel laten spelen?

Hier is wat de onderzoekers hebben ontdekt, eenvoudig uitgelegd:

1. Je kunt het spel vroeg beginnen

De standaardregel luidt: "Wacht tot de student volledig getraind is voordat je het spel geeft." De onderzoekers probeerden het spel (RL) aan de student te geven terwijl deze nog bezig was met het lezen van de eerste paar hoofdstukken (vroeg in de pre-training).

Het resultaat: Het werkte verrassend goed! Zelfs toen de student slechts een fractie van de boeken had gelezen, hielp het spelen van het spel hen om wiskundeproblemen veel beter op te lossen dan alleen meer boeken lezen. Sterker nog, het spel vroeg spelen was vaak net zo goed als wachten tot het einde en het hele "Lezen → Onthouden → Spelen"-ritueel doorlopen.

2. Het "Spel" is beter wanneer je geen tekstboek hebt

Normaal gesproken vereist de "Onthouden"-stap (SFT) een tekstboek met de juiste antwoorden. Maar wat als je niet genoeg tekstboeken hebt?

De bevinding: Als je slechts één of twee voorbeelden hebt van hoe je een probleem oplost, faalt de "Onthouden"-stap (SFT). Maar het "Spel" (RL) gedijt juist. De student leert te verkennen en oplossingen te vinden op eigen initiatief zonder een perfect antwoordenboek nodig te hebben. Het spel is een veel sterkere leraar wanneer je weinig voorbeelden hebt.

3. Het geheime ingrediënt is het type boeken, niet de grootte van de student

Mensen denken vaak: "Als de student groter is (krachtiger), zal hij beter leren." De onderzoekers testten dit door de student groter te maken.

De twist: Het groter maken van de student hielp hen niet om het spel sneller te leren. Het geven van meer wiskundeboeken specifiek tijdens hun vroeende leesfase deed dat echter wel.
De les: Als je wilt dat de student goed wordt in wiskunde, voer hem dan vroeg in de fase wiskundeverhalen. De inhoud van wat ze lezen is belangrijker dan hoe groot hun brein is.

4. De "Scherpings"-mythe versus "Expansie"

Er is een recente discussie: Maakt het "Spel" (RL) de bestaande antwoorden van de student alleen maar scherper en zelfverzekerder, of leert het hen daadwerkelijk nieuwe manieren van denken?

De oude visie: Veel mensen dachten dat RL de student alleen maar "scherpte", waardoor ze zelfverzekerder werden maar niet noodzakelijkerwijs slimmer.
De nieuwe ontdekking: De onderzoekers ontdekten dat het "scherpings"-effect eigenlijk voortkomt uit de "Onthouden"-stap (SFT). Wanneer je een student eerst dwingt een tekstboek uit het hoofd te leren, stoppen ze met verkennen.
De echte magie: Als je de student het spel direct laat spelen zonder eerst het tekstboek uit het hoofd te leren, laten ze hun denken daadwerkelijk expanderen. Ze proberen veel verschillende paden en ontdekken nieuwe oplossingen die ze nog nooit kenden. De "Onthouden"-stap is wat hun creativiteit juist beperkt, niet het spel zelf.

5. Het "Super-Student"-recept

De onderzoekers combineerden het beste van beide werelden. In plaats van "Onthouden" en dan "Spelen", lieten ze de student beide tegelijkertijd doen.

Hoe het werkt: Stel je voor dat de student een probleem oplost. Een deel van hun brein controleert het tekstboek (SFT), en een ander deel experimenteert met nieuwe ideeën (RL). Ze middelen het advies van beide delen om hun brein bij te werken.
Het resultaat: Deze "Super-Student" (Parallel Averaging) werd de beste in het oplossen van problemen. Ze kregen vaker de juiste antwoorden dan wie dan ook, en in tegen tegenstelling tot de studenten die alleen het tekstboek uit hun hoofd leerden, vergaten ze niet hoe ze andere dingen moesten doen (zoals algemene gesprekken voeren).

Samenvatting van de belangrijkste punten

Wacht niet: Je kunt Reinforcement Learning (het spel) heel vroeg in het leven van een model gebruiken, zelfs voordat het zijn "leesfase" heeft voltooid.
Data is belangrijker dan grootte: Het voeden van het model met specifieke soorten data (zoals wiskunde) tijdens de pre-training is belangrijker dan simpelweg het model groter maken.
RL is niet de schurk: RL verpest de algemene vaardigheden van een model niet of maakt het alleen maar "scherper". Die negatieve effecten komen door de "Onthouden"-stap (SFT). RL helpt modellen juist om te verkennen en nieuwe oplossingen te vinden.
Doe het samen: De beste resultaten komen voort uit het gelijktijdig mengen van de "Onthouden"- en "Spelen"-stappen, in plaats van ze na elkaar te doen.

Kortom, het artikel suggereert dat we moeten stoppen met Reinforcement Learning te behandelen als een laatste afwerking aan het einde. In plaats daarvan moeten we het veel eerder in het trainingsproces verweven en het mengen met andere methoden om slimmere, meer capabele modellen te krijgen.

Technische Samenvatting: RL-excursies tijdens Pre-training

Probleemstelling

De standaard trainingspipeline voor Large Language Models (LLMs) beperkt Reinforcement Learning (RL) doorgaans tot de post-training fase, die pas wordt toegepast na uitgebreide next-token prediction (NTP) pre-training en Supervised Fine-Tuning (SFT). Deze sequentiële aanpak roept twee fundamentele vragen op:

Timing: Is het fundamenteel noodzakelijk om te wachten tot het einde van de pre-training voordat RL wordt toegepast, of kan RL ook eerder effectief zijn?
Mechanisme: Verscherpt RL inherent de bestaande outputdistributie van een model (beperkt exploratie), of breidt het de capaciteiten uit? Recente literatuur suggereert dat RL primair distributies verscherpt, maar het is onduidelijk of dit een artefact is van de standaard SFT→RL-pipeline of een eigenschap van de RL-doelstelling zelf.

Verder bestaat er een debat over de vraag of RL de algemene capaciteiten die uit de pre-training zijn afgeleid, erodeert.

Methodologie

De auteurs voeren een grootschalige, gecontroleerde studie uit om de effecten van RL te isoleren van het standaard trainingsregime.

Model & Data: Ze pre-trainen een 1B-parameter model (gebaseerd op de OLMo2-architectuur) vanaf nul op een hoogwaardige, redeneer-intensieve corpus (DOLMino mix, 50B tokens). Ze experimenteren ook met een 4B-model en een 1B-model dat getraind is op 60B tokens (met extra wiskundige data).
Checkpoints: In plaats van te wachten op het definitieve model, slaan ze checkpoints op gedurende het hele pre-training proces (van 4B tot 50B tokens).
Trainingspipelines: Voor elk checkpoint $M_t$ $M_{t}$ passen ze vier verschillende post-training strategieën toe:
1. Directe RL ( $M^R_t$ ): Het toepassen van RL (specifiek GRPO met verifieerbare beloningen) direct op het basis-checkpoint zonder voorafgaande SFT.
2. SFT ( $M^{SFT}_t$ ): Supervised Fine-Tuning met gebruik van een enkele grondwaarheidsoplossing per probleem.
3. SFT-Gold ( $M^{SFT-Gold}_t$ ): SFT met gebruik van alle beschikbare grondwaarheidsoplossingen per probleem (een setting die in de praktijk vaak onpraktisch is).
4. Standaard Pipeline ( $M^{SFT \to RL}_t$ ): SFT gevolgd door RL, wat de huidige industriestandaard vertegenwoordigt.
5. Parallel Averaging ( $M^{Parallel}_t$ ): Een voorgestelde methode waarbij gradiënten van RL en SFT parallel worden berekend vanuit hetzelfde parameter-snapshot en worden gemiddeld om de gewichten bij te werken.
Evaluatie: Prestaties worden gemeten op GSM8K (basisonderwijs niveau) en MATH (wedstrijdniveau) met behulp van pass@k metrieken ( $k=1, 8, 32$ ). Algemene capaciteiten worden geëvalueerd op zes niet-wiskundige benchmarks (bijv. LAMBADA, HellaSwag).

Belangrijkste Bijdragen & Resultaten

1. RL is effectief vroeg in de Pre-training

In tegenstelling tot de aanname dat RL een zeer capabel basismodel vereist, vinden de auteurs dat RL verrassend vroeg effectief is.

Vroege winst: Directe RL verbetert de prestaties op GSM8K vanaf slechts 4B pre-training tokens, ruim voordat het Chinchilla-optimale aantal tokens is bereikt.
Concurrentiekracht: Tegen de tijd dat er 10B tokens zijn, evenaart Directe RL de prestaties van de standaard SFT→RL-pipeline op pass@1 en pass@32, ondanks het feit dat het nooit grondwaarheids-redeneerpaden heeft gezien.
Dataschaarste: Wanneer grondwaarheidsdemonstraties schaars zijn (enkele oplossing per prompt), presteert RL significant beter dan SFT. SFT overtreft RL pas wanneer er meerdere hoogwaardige oplossingen beschikbaar zijn (SFT-Gold), een conditie die in de praktijk zelden wordt gehaald.

2. Pre-training Data Compositie > Model Schaal

Voor moeilijkere redeneertaken (MATH dataset) hangt de effectiviteit van RL meer af van de compositie van de pre-training data dan van de model schaal.

Opschalen van Data: Het toevoegen van gerichte, wiskunde-zware data aan de pre-training mix (verhoging van 50B naar 60B tokens) verhoogt de winst die door Directe RL kan worden behaald aanzienlijk.
Opschalen van Model: Het vergroten van de modelgrootte van 1B naar 4B verbetert de absolute prestaties van het basismodel, maar levert geen substantiële verbetering op van de relatieve winst die door RL wordt geboden.
Diagnostiek: De pass@k nauwkeurigheid van het basismodel op de testset dient als een lichtgewicht voorspeller voor of RL-training downstream winsten zal opleveren.

3. RL Breidt Distributies uit vs. Verscherpt ze

Het artikel daagt de bewering uit dat RL inherent distributies verscherpt.

Expansie: Wanneer direct toegepast op basis-checkpoints, breidt RL de distributie van het model uit, wat zowel de pass@1 als de pass@32 verbetert. Het model ontdekt nieuwe redeneerpaden via on-policy leren.
Verscherpings-artefact: Het "verscherpingseffect" (verbeterde pass@1 maar gedegradeerde pass@32) dat in recent werk wordt waargenomen, ontstaat alleen wanneer RL volgt op SFT. De auteurs hypothetiseren dat SFT exploratie beperkt door het model bloot te stellen aan grondwaarheidsoplossingen, waardoor daaropvolgende RL slechts bestaande paden verfijnt in plaats van nieuwe paden te ontdekken.

4. Behoud van Algemene Capaciteiten

SFT Degradatie: SFT degradeert consequent algemene (niet-wiskundige) capaciteiten met 4–8 procentpunten over verschillende benchmarks.
RL Behoud: Directe RL laat algemene capaciteiten vrijwel onveranderd.
Parallel Averaging: De voorgestelde parallel averaging methode ( $M^{Parallel}_t$ ) combineert de sterke punten van beide: het behaalt de sterkste pass@32 scores (die de standaard pipeline overtreft) terwijl het algemene capaciteiten behoudt, waardoor de regressie wordt vermeden die in SFT-gebaseerde regimes wordt gezien.

Betekenis

Het artikel betoogt dat veel aannames over RL (bijv. dat het een volwassen basismodel vereist, dat het inherent distributies verscherpt, of dat het algemene intelligentie erodeert) artefacten zijn van het huidige SFT→RL trainingsregime in plaats van inherente eigenschappen van de RL-doelstelling.

De auteurs concluderen dat:

Haalbaarheid: Het introduceren van RL eerder in de trainingspipeline is haalbaar en vaak te prefereren.
Data Hefbomen: De compositie van de gerichte pre-training data is een sterkere hefboom voor RL-effectiviteit dan model schaling.
Doelstelling Synergie: RL en SFT doelstellingen zijn complementair. De parallel averaging benadering laat zien dat het combineren ervan superieure redeneercapaciteiten (pass@32) kan opleveren zonder algemene intelligentie op te offeren.

Het werk suggereert een paradigmaverschuiving waarbij RL wordt behandeld als een first-class training doelstelling die geïntegreerd is gedurende het gehele pre-training en fine-tuning proces, in plaats van een laatste post-training stap.