🤖 machine learning

Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning

Het artikel introduceert PEAR, een methode voor het SFT-fase die gebruikmaakt van importance sampling om trainingsverliezen opnieuw te wegen op basis van het verschil tussen offline data en toekomstige RL-beleid, waardoor de prestaties van downstream versterkt leren op redeneertaken aanzienlijk worden verbeterd in vergelijking met standaard SFT.

Oorspronkelijke auteurs: Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Student Trainen voor het Foute Toets

Stel je voor dat je een briljante student (een AI) traint om complexe logische puzzels op te lossen. Het trainingsproces vindt plaats in twee distincte fasen:

Fase 1 (SFT - Supervised Fine-Tuning): De student zit in een klaslokaal en bestudeert een handboek vol met opgeloste voorbeelden. Ze onthouden de stappen en proberen de antwoorden van de leraar perfect na te bootsen.
Fase 2 (RL - Reinforcement Learning): De student wordt de echte wereld ingestuurd om nieuwe puzzels op te lossen, alleen. Ze krijgen directe feedback: "Goed!" of "Fout, probeer opnieuw." Ze leren door te experimenteren en hun strategie aan te passen op basis van wat op dat moment echt werkt.

Het Probleem:
Meestal proberen onderzoekers de student perfect te maken in Fase 1. Ze passen de lessen in het handboek aan zodat de student de hoogst mogelijke score haalt op de oefentoets. Ze gaan uit van het volgende: "Als de student een genie is in het kopiëren van het handboek, zal het ook een genie zijn in het oplossen van nieuwe problemen later."

De Ontdekking van het Paper:
De auteurs ontdekten dat deze aanname vaak fout is.
Soms presteert een student die een perfecte score haalt op het handboek (het "Sterke SFT"-model) in de echte wereld slechter dan een student die een iets lagere score haalde op het handboek.

Waarom? Omdat het handboek (Fase 1) en de echte wereld (Fase 2) verschillend zijn.

Het Handboek (Behavior Policy): De voorbeelden in het boek zijn geschreven door een specifieke leraar. Soms koos die leraar een rare, omwegachtige route naar het antwoord, of maakte een kleine fout die de student overnam.
De Echte Wereld (Target Policy): In Fase 2 moet de student zijn eigen route genereren. Als ze te star hebben geleerd om de rare route van de leraar te volgen, komen ze vast te zitten wanneer ze zelf moeten denken.

De Analogie:
Stel je een dansinstructeur voor die een student traint.

Standaard Training: De instructeur toont een beweging. De student oefent deze totdat hij de exacte voetbewegingen van de instructeur perfect kan nabootsen.
Het Probleem: De voetbewegingen van de instructeur kunnen gebaseerd zijn op zijn eigen unieke lichaamstype of een specifieke stijl die niet werkt voor het lichaam van de student. Als de student de stappen van de instructeur te perfect uit het hoofd leert, kan hij struikelen wanneer hij probeert te dansen op een ander nummer of met een andere partner.
Het Resultaat: De student die de stappen perfect uit het hoofd leerde (Hoge SFT-score) valt in de wedstrijd. De student die het ritme begreep en de stappen aanpaste (Lagere SFT-score, maar betere voorbereiding) wint.

De Oplossing: PEAR (De "Toekomstbestendige" Leraar)

De auteurs stellen een nieuwe methode voor genaamd PEAR (Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting).

In plaats van de student alleen te zeggen: "Kopieer dit antwoord perfect", treedt PEAR op als een slimme coach die vooruitkijkt.

Hoe PEAR Werkt:

De Coach Checkt de Toekomst: Voordat de student een specifieke stap uit het handboek oefent, vraagt de coach: "Als de student deze stap neemt, zal dat dan zinvol zijn voor de rest van de dans?"
Herverdeling van de Lessen:
- Als een stap in het handboek leidt tot een doodlopende weg (een route die de student in de echte wereld waarschijnlijk niet zal nemen), zegt de coach: "Maak je niet te veel zorgen over dit deel." (Ze verlagen het belang van die les).
- Als een stap in het handboek leidt tot een succesvol resultaat dat de student later waarschijnlijk zal gebruiken, zegt de coach: "Focus hier hard op!" (Ze verhogen het belang).

De Metafoor:
Stel je het handboek voor als een kaart getekend door een toerist die verdwaald raakte.

Standaard SFT dwingt de student om de verkeerde bochten van de toerist uit het hoofd te leren.
PEAR kijkt naar de kaart en zegt: "Dit deel van het pad van de toerist loopt af in een afgrond. Laten we dat deel van de les negeren. Maar dit deel leidt naar de schat? Laten we dat deel twee keer bestuderen."

De Resultaten

De auteurs testten dit op wiskundeproblemen en logische spellen met verschillende AI-modellen.

De Uitkomst: Modellen getraind met PEAR kregen niet noodzakelijkerwijs de hoogste scores op de initiële oefentoets. Echter, toen ze naar de "Echte Wereld" (Reinforcement Learning) stapten, verbeterden ze veel sneller en eindigden ze met veel hogere eindscores.
De Winst: Bij sommige moeilijke wiskundewedstrijden verbeterden de met PEAR getrainde modellen hun succespercentage met wel 30 procentpunten in vergelijking met modellen die met standaardmethoden waren getraind.

De Kernboodschap

"Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning."

Train je AI niet alleen om het beste te zijn in het kopiëren van het verleden. Train hem om klaar te zijn voor de toekomst. Het doel van de eerste fase is niet om een perfecte score te halen op het huiswerk; het is om een fundament te bouwen dat de volgende leerfase (de echte uitdaging) makkelijker en effectiever maakt. PEAR is het hulpmiddel dat de AI helpt de "slechte gewoonten" van het verleden te negeren, zodat het de "goede gewoonten" van de toekomst kan leren.

Technische Samenvatting: Goede SFT Optimaliseert voor SFT, Betere SFT Bereidt voor op Versterkingsleren

1. Probleemstelling

Het post-training van redenerende Large Language Models (LLM's) volgt doorgaans een tweestapsparadigma: een offline Supervised Fine-Tuning (SFT)-fase om een initiële checkpoint te produceren, gevolgd door een online Reinforcement Learning (RL)-fase om de prestaties verder te verbeteren. Een heersende aanname in huidige pipelines is dat het optimaliseren van de SFT-fase voor maximale offline nauwkeurigheid (bijvoorbeeld het maximaliseren van de next-token waarschijnlijkheid of het minimaliseren van de loss op de trainingsverdeling) van nature leidt tot een sterkere initialisatie voor de daaropvolgende RL.

De auteurs tonen echter aan dat deze aanname onjuist is. Zij observeren dat modellen die zijn geïnitieerd vanuit "sterkere" SFT-checkpoints (degenen met superieure offline prestaties) na identieke RL-training significant slechter kunnen presteren dan modellen die zijn geïnitieerd vanuit "zwakkere" checkpoints. Dit fenomeen wordt toegeschreven aan een distributiemismatch tussen de offline- en online-fases:

Offline SFT: Het model leert van data die is bemonsterd uit een gedragsbeleid ( $\pi_\beta$ ), vaak een ander model of een statische dataset.
Online RL: Het model leert van rollouts gegenereerd door zijn eigen evoluerende doelbeleid ( $\pi_\theta$ ).

Standaard SFT past uniforme supervisie op token-niveau toe gebaseerd op de verdeling van het gedragsbeleid. Bij redeneertaken met een lange horizon kan dit transitiepatronen versterken (bijvoorbeeld doodlopende voortzettingen) die onder het gedragsbeleid zeer waarschijnlijk zijn, maar onder het doelbeleid onwaarschijnlijk. Bijgevolg leert het model om prefixes te associëren met voortzettingen die het tijdens online RL zelden zal herbezoeken, wat leidt tot een suboptimale initialisatie die downstream leren belemmert.

2. Methodologie: PEAR

Om deze mismatch aan te pakken, stellen de auteurs PEAR voor (Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting). PEAR is een methode voor de SFT-fase die de trainingsloss herweegt om de offline doelstelling beter af te stemmen op de verdeling van het doelbeleid, waardoor het model effectief wordt voorbereid op de online RL-fase.

Kernmechanisme

PEAR maakt gebruik van importance sampling om de distributieshift tussen het gedragsbeleid ( $\pi_\beta$ ) en het doelbeleid ( $\pi_\theta$ ) te corrigeren. In plaats van alle tokens in de offline dataset gelijk te behandelen, weegt PEAR de loss van elke token op basis van de likelihood-ratio tussen het doelbeleid en het gedragsbeleid.

De objectivfunctie wordt als volgt gewijzigd:
$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$
Waarbij:

$\ell_\theta$ de standaard loss per token is (bijvoorbeeld NLL of KL-divergentie).
$\text{sg}[\cdot]$ een stop-gradient-operator aanduidt, die de gewicht als een vaste coëfficiënt behandelt.
$\hat{G}_t$ de numeriek gestabiliseerde importance weight voor token $t$ is.

Variaties in Weging

PEAR biedt drie granulariteiten voor het berekenen van de gewichten $\hat{G}_t$ :

Sequence-Level Weighting: Past een enkele globale importance ratio toe ( $w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$ ) op alle tokens in een traject. Dit veronderstelt dat de plausibiliteit van de volledige sequentie onder het doelbeleid uniform is.
Token-Level Weighting (Suffix-Based): Berekent gewichten op basis van de suffix importance ratio. Voor een token $y_t$ wordt het gewicht bepaald door de waarschijnlijkheid van de overige voortzetting ( $y_{>t}$ ) onder het doelbeleid ten opzichte van het gedragsbeleid:
$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$
Dit weegt tokens die leiden tot voortzettingen die het doelbeleid onwaarschijnlijk zal genereren, naar beneden, en richt het leren op prefixes die compatibel zijn met het toekomstige gedrag van het doelbeleid.
Block-Level Weighting: Om de hoge variantie die inherent is aan multiplicatieve importance weights met een lange horizon te mitigeren, wordt de sequentie opgedeeld in blokken. Gewichten worden berekend en uniform toegepast binnen elk blok, waarbij enige granulariteit wordt geruild voor stabiliteit.

Aanvullende Functies

Negatieve Voorbeelden: PEAR kan geverifieerde falende trajecten incorporeren door een repulsieve term toe te passen, waardoor het model wordt weggeduwd van negatieve voortzettingen terwijl beleidsconsistentie wordt behouden.
Black-Box Adaptatie: Wanneer het exacte gedragsbeleid $\pi_\beta$ niet beschikbaar is (bijvoorbeeld bij gesloten-brondata), kan PEAR een proxy-model of een ensemble van proxies gebruiken om de log-probabiliteiten van het gedragsbeleid te benaderen.
Numerieke Stabilisatie: De methode maakt gebruik van berekeningen in log-ruimte en clipping van log-ratio's om numerieke instabiliteit te voorkomen tijdens de berekening van lange productsequenties.

3. Belangrijkste Bijdragen

Empirische Demonstratie van Offline-Online Decoupling: Het paper biedt gecontroleerde experimenten die aantonen dat offline prestaties een onbetrouwbare proxy zijn voor post-RL-prestaties. Sterkere SFT-doelstellingen kunnen leiden tot zwakkere uiteindelijke RL-resultaten door distributiemismatch.
PEAR-algoritme: De introductie van een praktische, plug-in herweegschema dat principes van off-policy evaluation (OPE) gebruikt om offline SFT af te stemmen op online RL-doelen.
Uitgebreide Evaluatie: Uitgebreide testen over meerdere model-families (Qwen2.5, Qwen3, DeepSeek-distilled) en maten (0.6B tot 8B) op verifieerbare redeneertaken (logica-spellen, wiskundebenchmarks).
Analyse van Parameterdrift: De auteurs tonen aan dat modellen die zijn geïnitieerd met PEAR minder parameterdrift ondergaan tijdens de daaropvolgende RL-training, wat suggereert dat PEAR de noodzaak vermindert dat de RL-fase offline-naar-online misalignments moet corrigeren.

4. Experimentele Resultaten

De auteurs voerden experimenten uit op synthetische logica-puzzels (SynLogic, Enigmata) en wiskundige redeneerbenchmarks (AIME-2024/2025, AMC-2023, MATH-500).

Prestatiewinst: PEAR presteert consistent beter dan canonieke SFT en andere baselines (waaronder KL-geregulariseerde SFT, TALR en diverse op waarschijnlijkheid gebaseerde doelstellingen) na RL.
- Op AIME-2025 bereikten met PEAR geïnitieerde modellen Pass@8-winsten van tot 30 procentpunten vergeleken met standaard SFT (bijvoorbeeld een stijging van 5% naar 35% op DeepSeek-Distill-Qwen-1.5B).
- Op SynLogic logica-spellen toonde PEAR Pass@1-verbeteringen van tot +25 procentpunten (bijvoorbeeld van 13,1% naar 38,3% op Qwen3-1.7B-Base).
Generalisatie: De voordelen van PEAR zijn overdraagbaar over verschillende RL-taakverdelingen (bijvoorbeeld trainen op SynLogic en RL op Enigmata) en verschillende RL-algoritmen (GRPO en DAPO).
Black-Box Robuustheid: Zelfs bij het gebruik van proxy-modellen om het gedragsbeleid te benaderen, presteert PEAR aanzienlijk beter dan standaard SFT, waarbij sterke proxies de witte-doos-prestaties benaderen.
Stabiliteit: Met PEAR geïnitieerde modellen vertonen een kleinere parameterdrift (gemeten door Normalized Spectrum Shift) tijdens de online RL-fase vergeleken met modellen die zijn geïnitieerd met standaard SFT, wat wijst op een efficiëntere leertraject.

5. Betekenis en Claims

Het paper betoogt dat het doel van de offline SFT-fase niet enkel moet zijn om offline nauwkeurigheid te maximaliseren, maar om het beleid voor te bereiden op de daaropvolgende online RL.

Holistische Post-Training: De auteurs claimen dat het ontwerpen van SFT-doelstellingen met downstream RL in gedachten cruciaal is. Optimaliseren voor offline metrics in isolatie kan contraproductief zijn, omdat dit gedrag kan versterken dat incompatibel is met de exploratie- en optimalisatiedynamiek van het doelbeleid.
Corrigeren van Mismatch: PEAR dient als een concrete instantiatie van het principe dat offline training moet corrigeren voor de bezettingsmismatch tussen gedrag en doel. Door onwaarschijnlijke voortzettingen naar beneden te wegen en die welke compatibel zijn met het doelbeleid naar boven te wegen, creëert PEAR een effectievere initialisatie.
Praktische Impact: De resultaten suggereren dat eenvoudige herweegstrategieën gebaseerd op off-policy evaluation aanzienlijke verbeteringen in redeneercapaciteiten kunnen opleveren zonder complexe architecturale wijzigingen of extra datacollectie, mits de gedragsbeleid-probabiliteiten toegankelijk zijn (of kunnen worden benaderd).

De auteurs concluderen dat "een goede offline-fase niet moet optimaliseren voor offline nauwkeurigheid, maar het beleid moet voorbereiden op de daaropvolgende RL", en positioneren PEAR als een stap naar holistischere LLM post-training pipelines.