💬 NLP

Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling

Dit artikel introduceert Prefix-RFT, een hybride fine-tuning-methode die supervised fine-tuning en reinforcement fine-tuning combineert via prefix-sampling om de beperkingen van elke afzonderlijke aanpak te overwinnen, en die superieure prestaties en robuustheid demonstreert op taken voor wiskundig redeneren.

Oorspronkelijke auteurs: Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Yinghui Xu, Edoardo M. Ponti, Ivan Titov

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Yinghui Xu, Edoardo M. Ponti, Ivan Titov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar onervaren student probeert te leren hoe complexe wiskundepuzzels op te lossen. Je hebt twee hoofdmanieren om hen te onderwijzen, maar beide hebben op zichzelf een groot gebrek.

De Twee Gebrekkige Onderwijsstijlen

De "Kopieer" Methode (Supervised Fine-Tuning of SFT):
Je laat de student zitten met een handboek vol perfecte oplossingen. Je zegt: "Lees dit, memoriseer het, en schrijf het exact over zoals het is."
- Het Goede: De student leert het juiste formaat en de feiten zeer snel.
- Het Slechte: De student wordt een robot. Als ze een iets andere puzzel zien, bevriezen ze omdat ze alleen weten hoe ze moeten kopiëren, niet hoe ze moeten denken. Ze imiteren het boek maar begrijpen de logica niet echt.
De "Probeer-en-Fout" Methode (Reinforcement Fine-Tuning of RFT):
Je gooit de student in het diepe. Je zegt: "Ga deze puzzels oplossen. Als je het juiste antwoord krijgt, krijg je een gouden ster. Als je het fout hebt, krijg je niets."
- Het Goede: De student leert creatief te denken en nieuwe oplossingen te vinden. Ze worden zeer goed in het oplossen van problemen die ze nog nooit hebben gezien.
- Het Slechte: Zonder gids kan de student rare gewoontes ontwikkelen. Ze kunnen beginnen met spreken in een mix van talen of bizarre, inefficiënte paden nemen om alleen maar een gouden ster te krijgen. Ook, als ze met een slechte gewoonte beginnen, is het zeer moeilijk om die te doorbreken.

De Nieuwe Oplossing: De "Prefix" Coach (Prefix-RFT)

De auteurs van dit paper stellen een nieuwe methode voor genaamd Prefix-RFT. Denk hierbij aan een hybride coach die een "Start-Hint" strategie gebruikt.

Hier is hoe het werkt, met een simpele analogie:

Stel je voor dat de student probeert een doolhof op te lossen.

De Oude Manier (SFT): Je geeft hen een kaart van het hele doolhof en vertelt hen om het pad te memoriseren.
De Oude Manier (RFT): Je blinddoekt hen en zegt dat ze moeten lopen totdat ze de uitgang vinden.
De Nieuwe Manier (Prefix-RFT): Je geeft hen een kaart, maar alleen voor de eerste 20% van het doolhof. Je zegt: "Begin precies zoals deze kaart aangeeft. Zodra je dit punt bereikt, leg de kaart weg en los de rest van het doolhof zelf op."

Waarom is dit briljant?

Het geeft een veilige start: Door de student te dwingen het pad van de expert voor het begin te volgen, voorkom je dat ze direct in een doodlopende straat verdwalen (dit lost het RFT-probleem van "rare gewoontes" op).
Het dwingt onafhankelijk denken af: Omdat de student moet uitvinden hoe de rest van het doolhof op te lossen, worden ze niet zomaar een kopieerder. Ze moeten hun hersenen gebruiken om de klus te klaren (dit lost het SFT-probleem van "gebrek aan generalisatie" op).
De "Gouden Ster" Logica: Als de student het begin van de expert volgt en een geweldige oplossing vindt voor de rest, krijgen ze een enorme beloning. Dit leert het model dat het begin van de expert een goed idee was, maar dat de eigen afronding van de student ook waardevol was.

De "Entropie" Filter (Het Veiligheidsventiel)

Het paper noemt een lastig technisch detail genaamd "Entropie-gebaseerd Clipping". Hier is de simpele versie:

Soms is de kaart van de expert zo verschillend van wat de student weet dat, als de student probeert het te kopiëren, ze in de war kunnen raken en hun brein kunnen breken (wiskundig gezien worden de "gradients" te groot).

Om dit op te lossen, laat de coach de student alleen de delen van de kaart kopiëren waar ze onzeeker zijn.

Als de student de eerste stap al perfect kent, zegt de coach: "Sla dat over, je weet het."
Als de student in de war is over een stap, zegt de coach: "Kijk naar de zet van de expert hier, dit is waar je moet leren."

Dit zorgt ervoor dat de student alleen leert van de expert waar ze echt hulp nodig hebben, zonder overweldigd te worden.

Wat de Resultaten Tonen

De auteurs testten dit op wiskundeproblemen (zoals de AIME competitie).

De Kopieerder (SFT) was oké, maar kon geen moeilijke nieuwe problemen aan.
De Probeer-en-Fout (RFT) was goed, maar kwam soms vast te zitten of ontwikkelde slechte gewoontes.
De Prefix Coach (Prefix-RFT) versloeg ze allebei. Het leerde de patronen van de expert en behield het vermogen om nieuwe oplossingen te verkennen.

Sterker nog, toen ze het model een enorm aantal pogingen gaven (zoals 2.048 pogingen) om één enkel moeilijk probleem op te lossen, was de Prefix Coach de enige methode die de kans om de oplossing te vinden significant verbeterde. Het bewees dat deze methode niet alleen het model beter maakt in kopiëren; het verhoogt daadwerkelijk het plafond van wat het model kan bereiken.

In het Kort
Prefix-RFT is als het geven van een "trainingswiel" aan een student voor het eerste deel van een reis, om hen daarna los te laten zodat ze de rest van de weg zelf kunnen rijden. Het combineert de veiligheid van een gids met de vrijheid van verkenning, wat resulteert in een leerling die zowel deskundig als creatief is.

Technische Samenvatting: Het Blenden van Supervised en Reinforcement Fine-Tuning met Prefix Sampling

1. Probleemstelling

Het post-training van Large Language Models (LLM) wordt momenteel gedomineerd door twee verschillende paradigma's: Supervised Fine-Tuning (SFT) en Reinforcement Fine-Tuning (RFT). Elke aanpak kent specifieke beperkingen:

SFT blinkt uit in het nabootsen van demonstratiegegevens, maar functioneert als gedragscloning, wat vaak leidt tot problematische generalisatie en robuustheidsproblemen. Het biedt dichte supervisie, maar kan slecht aansluiten bij de prestaties van downstream-taken.
RFT (bijv. PPO, GRPO) verbetert de prestaties door exploratie en doelgerichte optimalisatie, maar lijdt aan schaarse beloningssignalen, gevoeligheid voor het initiële beleid en het risico op het leren van onverwachte gedragingen (bijv. taalvermenging). Recent literatuur stelt de vraag of RFT het intrinsieke capaciteitendak van een model werkelijk kan verhogen of slechts bestaande pre-training kennis verfijnt.

De kernvraag die hier wordt aangepakt, is hoe het proces van proces-supervisie van SFT formeel kan worden geïntegreerd met de doelgerichte optimalisatie van RFT om hun complementaire sterktes te benutten: SFT voor het uitbreiden van kennisgrenzen en RFT voor het sturen naar robuuste probleemoplossing.

2. Methodologie: Prefix-RFT

De auteurs stellen Prefix-RFT voor, een hybride post-training aanpak die SFT en RFT verenigt binnen een enkel optimalisatiekader.

Gecombineerd Kader

Het artikel stelt vast dat SFT en RFT een consistente optimalisatiestructuur delen. Beide werken de log-kans van sequenties bij, waarbij ze voornamelijk verschillen in de bron van de sequentie (expert versus on-policy) en het wegingsmechanisme (vast versus voordeel-gewogen).

Kernmechanisme

Prefix-RFT integreert offline demonstratiegegevenssets in de RFT-traininglus via Prefix Sampling:

Hybride Trajectconstructie: Voor een gegeven prompt $x$ en demonstratie $y^*$ genereert het beleid $\pi_{\theta}$ $N-1$ standaard on-policy rollouts. Voor de $N$ -de sequentie wordt een prefix $y^*_{<L}$ gesampled uit de demonstratie. Het beleid genereert vervolgens een voortzetting $y_{\ge L}$ , waardoor een hybride traject $y^{(N)} = (y^*_{<L}, y_{\ge L})$ ontstaat.
Gecombineerde Gradiëntupdate: Het hybride traject wordt behandeld naast standaard rollouts. De gradiëntupdate combineert leren uit exploratie (on-policy tokens) en imitatie (prefix tokens).
- Prefix Tokens ( $t < L$ ): Behandeld als "imitatie", maar gewogen door het voordeel $\hat{A}_t$ geschat vanuit het hele hybride traject. Als het hybride traject een hoge beloning oplevert, wordt de prefix versterkt; anders wordt zijn invloed gedempt.
- Voortzetting Tokens ( $t \ge L$ ): Behandeld als standaard "exploratie" tokens.
Entropie-gebaseerd Clipping: Om te voorkomen dat off-policy demonstratietokens de gradiënt domineren (door distributieverschuivingen die grote log-likelihood-gradiënten veroorzaken), werkt de methode alleen de top- $k\%$ (bijv. 20%) van de prefix tokens bij met de hoogste entropie. Low-entropie tokens worden ofwel al door het model gematcht of vertegenwoordigen zelfverzekerde mismatches die scherpe, destabiliserende overschrijvingen kunnen veroorzaken.
Cosine Decay Scheduler: Om positionele bias te mitigeren (waarbij modellen zelden het einde van sequenties zien) en curriculum learning te implementeren, wordt de prefixlengte $L$ gecontroleerd door een scheduler. De prefixlengte begint lang (hoge begeleiding) en neemt af tot kort (meer autonomie) gedurende de training, wat een overgang van SFT naar RFT nabootst.

3. Belangrijkste Bijdragen

Gecombineerd Kader: Het artikel biedt een theoretische unificatie van SFT en RFT, en toont aan dat ze kunnen worden geblended via een hybride doelstelling in plaats van als opeenvolgende fasen worden behandeld.
Prefix-RFT Algorithmus: Introduceert een eenvoudige maar effectieve methode om offline demonstraties in RFT in te brengen zonder het model rigide te beperken, waardoor het kan exploreren naar superieure voortzettingen terwijl het wordt begeleid door expert-prefices.
Dynamische Weging & Clipping: Stelt voor om traject-niveau voordelen te gebruiken om prefix-updates dynamisch te wegen en maakt gebruik van entropie-gebaseerd clipping om training te stabiliseren tegen off-policy distributieverschuivingen.
Empirische Validatie: Toont aan dat Prefix-RFT beter presteert dan alleen SFT, alleen RFT en sequentiële SFT-then-RFT baselines, evenals recente parallelle hybride methoden (bijv. UFT, LUFFY, ReLIFT).

4. Experimentele Resultaten

Experimenten werden voornamelijk uitgevoerd op wiskundige redeneertaken (AIME, AMC, MATH-500, enz.) met modellen zoals Qwen2.5-Math (1.5B, 7B) en LLaMA-3.1-8B.

Prestaties: Prefix-RFT presteerde consequent beter dan alle baselines over zes wiskundige redeneerbenchmarks en drie redeneertaken in het algemeen domein. Bijvoorbeeld, op Qwen2.5-Math-7B behaalde het een Pass@1-score van 31,8 op AIME 2024 en 26,4 op AIME 2025, wat de beste baseline (LUFFY) en de sequentiële SFT+RFT-aanpak overtrof.
Redeneergrenzen (Pass@k): Cruciaal was dat Prefix-RFT de enige methode was die de prestatiebovengrens van het model significant verhoogde. Op AIME 2025 behaalde het een Pass@2048 van 76,7%, vergeleken met 70,0% voor het basismodel en RFT, wat aangeeft dat het de redeneercapaciteiten van het model uitbreidt in plaats van alleen de waarschijnlijkheid van bekende oplossingen te vergroten.
Robuustheid: De methode toonde sterke robuustheid over verschillende modelgroottes en was effectief zelfs met verminderde hoeveelheden demonstraties (tot 1% van de data) en variërende kwaliteit van demonstratiegeneratoren (van 1.5B tot 32B modellen).
Generalisatie: Voorlopige resultaten op codegeneratie (MBPP+, HumanEval+) bevestigden de toepasbaarheid van de methode buiten wiskundige redenering.

5. Analyse en Betekenis

De analyse in het artikel benadrukt het complementaire karakter van SFT en RFT:

Overbrugging van de Kloof: Prefix-RFT synthetiseert effectief de verschillende trainingsparadigma's. Het stelt het model in staat om te leren van demonstraties (SFT-achtig) terwijl het het doelgerichte doel van RFT behoudt.
Dynamische Overgang: De methode induceert een dynamische overgang waarbij het model vroeg in de training zwaar leunt op prefixes (hoog voordeel, lange prefixes) en geleidelijk verschuift naar autonome exploratie naarmate zijn capaciteiten verbeteren (afnemend voordeel, kortere prefixes).
Gericht Leren: Het model leert intensiever van demonstraties bij uitdagende problemen (waar het moeite heeft) en vertrouwt meer op zelf-exploratie voor eenvoudigere problemen, wat de adaptieve aard van de aanpak bevestigt.

Betekenis:
De auteurs stellen dat Prefix-RFT een "sweet spot" biedt tussen de stabiliteit van SFT en de exploratieve kracht van RFT. Door deze paradigma's formeel te integreren, adresseert de methode de beperkingen van gedragscloning (SFT) en de instabiliteit van puur reinforcement learning (RFT). Het werk suggereert dat het behandelen van SFT en RFT als distincte, opeenvolgende fasen suboptimaal is, en dat een geïntegreerde aanpak ze effectief kan harmoniseren om de grenzen van LLM-redeneercapaciteiten te verleggen.

Beperkingen:
De auteurs merken op dat hun experimenten zich richten op verifieerbare redeneringsomgevingen met betrouwbare uitkomstbeloningen. Hoewel resultaten op codegeneratie transferabiliteit suggereren, blijven bredere open-ended generatie en omgevingen met ruisachtige beloningen toekomstig werk. Bovendien vertrouwt de methode op externe demonstraties, en wordt systematische selectie van meerdere kandidaat-demonstraties overgelaten aan toekomstig onderzoek.