🤖 AI

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

Dit artikel demonstreert dat het expliciet integreren van backtracking in de supervised fine-tuning warm-up fase essentieel is voor het optimaliseren van reinforcement learning in grote taalmodellen, waarbij de optimale diepte van backtracking direct schaalt met de taakcomplexiteit om effectieve niet-lineaire boomzoekredenering mogelijk te maken.

Oorspronkelijke auteurs: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een doolhof op te lossen. In de oude dagen zou je de robot misschien gewoon vertellen: "Loop vooruit tot je een muur raakt, en draai dan naar rechts." Dit is als Supervised Fine-Tuning (SFT): je laat de robot een perfect voorbeeld zien van hoe het moet, en de robot probeert jou na te doen. Maar wat als het doolhof een gigantisch, kronkelend labyrint is waarbij het "juiste" pad niet overduidelijk is? De robot kan een doodlopende weg in lopen, door blijven lopen en vast komen te zitten.

Om dit op te lossen, begonnen wetenschappers met het gebruik van Reinforcement Learning (RL). Denk hierbij aan een coach in een videogame. De robot probeert het doolhof op te lossen, en als hij het juiste antwoord geeft, geeft de coach hem een high-five (een beloning). Als hij faalt, zegt de coach: "Probeer het opnieuw." Na verloop van tijd leert de robot om verschillende paden te verkennen, waarbij hij soms zelfs achteruit gaat (backtracken) wanneer hij beseft dat hij de verkeerde kant op gaat. Onlangs zagen we dat robots ongelooflijk goed werden in dit proces, maar onderzoekers waren verbijsterd: Hoe precies leert de robot om "achteruit te gaan"? Is het gewoon gokken, of is er een geheim ingrediënt in de training dat hem leert te zeggen: "Wacht, ik maakte een fout, laat me teruggaan"? Deze vraag is belangrijk omdat als we het perfecte recept kunnen vinden voor het trainen van deze breinen, we ze veel moeilijkere problemen kunnen laten oplossen, van complexe wiskunde tot logische puzzels, zonder dat ze hopeloos verdwaald raken.

Dit paper, getiteld "How Much Backtracking is Enough?", duikt in dat exacte mysterie. De auteurs, een team van de Duke University en Mila, wilden de "Goldilocks"-zone vinden voor het trainen van AI op reasoning-taken. Ze vroegen zich af: Hoeveel "backtracking" (het besef van een fout maken en teruggaan naar een ander pad) moeten we de AI laten zien voordat we beginnen met het reinforcement learning-spel?

Ze testten hun ideeën op acht verschillende soorten logische spellen, variërend van eenvoudige taken zoals "Arc 1D" (patronen herkennen in rasters) tot middelmatige taken zoals "Countdown" (getallen laten optellen tot een doelgetal) en supermoeilijke taken zoals "Sudoku" (een raster vullen met getallen).

Hier is wat ze ontdekten, gebruikmakend van een leuke analogie: Het trainen van de AI is als het leren aan een wandelaar om door een bos te navigeren.

De "Gewoon Lopen" Aanpak (Pure RL)

Eerst probeerden ze de wandelaar (de AI) het bos in te sturen zonder kaart en zonder oefening, door hem gewoon te laten leren door middel van trial-and-error (Pure RL).

Het resultaat: De wandelaar kon leren om in een rechte lijn te lopen en soms zelfs per toeval een oplossing vinden. Maar voor de echt dichte, lastige bossen (zoals Sudoku) liep de wandelaar gewoon in cirkels of kwam hij vast te zitten. Hij kon niet begrijhalen hoe hij moest terugkeren wanneer hij een doodlopende weg tegenkwam.

De "Kopieer de Kaart" Aanpak (Standaard SFT)

Vervolgens gaven ze de wandelaar een kaart van een succesvolle tocht (Self-sampled SFT). Ze lieten de AI oefenen op zijn eigen gegenereerde paden voordat de RL-training begon.

Het resultaat: Dit hielp een beetje! De wandelaar werd iets beter in lopen. Maar voor de moeilijkste bossen was dit niet genoeg. De wandelaar wist nog steeds niet hoe hij met verdwalen moest omgaan. Het was alsof je een wandelaar een kaart van een eenvoudig pad geeft, om hem vervolgens in een jungle te droppen.

De "Leer Achteruit te Draaien" Aanpak (Synthetische Backtracking)

Dit is waar de magie gebeurde. De onderzoekers realiseerden zich dat het geheim niet alleen het laten zien van een correct pad was, maar het laten zien van een pad waarbij de AI een fout maakt, dit beseft, en teruggaat. Ze creëerden "synthetische" trainingsdata waarbij de AI werd gedwongen om deze specifieke vaardigheid te oefenen:

Een pad afgaan.
Beseffen dat het fout is.
Zeggen: "Wacht!" en teruggaan naar de laatste veilige plek.
Een ander pad proberen.

Ze testten verschillende "dieptes" van deze oefening:

Voor het gemakkelijke bos (Arc 1D): De wandelaar hoefde helemaal niet te oefenen met achteruit gaan. Sterker nog, het laten oefenen van backtracking maakte hen langzamer! De beste strategie was gewoon het tonen van het perfecte, rechte pad. Nul backtracks was de winnaar.
Voor het middelmatige bos (Countdown): De wandelaar moest oefenen om slechts één keer achteruit te gaan. Ze moesten leren dat als een berekening vreemd lijkt, ze moeten pauzeren en een andere combinatie moeten proberen. Eén backtrack was het ideale punt.
Voor de supermoeilijke jungle (Sudoku): De wandelaar moest oefenen om vijf of meer keer achteruit te gaan. Deze puzzels zijn zo complex dat je bereid moet zijn om je werk vele malen ongedaan te maken om de oplossing te vinden. Als je hen alleen leerde om één keer achteruit te gaan, zouden ze nog steeds vastlopen.

De Belangrijkste Conclusie

Het paper vond dat één maat niet voor iedereen werkt.

Als je een AI te veel leert om te backtracken bij een eenvoudige taak, raakt de AI in de war en presteert deze slechter.
Als je een AI niet genoeg leert om te backtracken bij een moeilijke taak, geeft de AI het op.
De "perfecte" hoeveelheid backtracking hangt volledig af van de moeilijkheidsgraad van de puzzel.

Ze ontdekten ook iets verrassends: Het maakt niet uit of de oefenkaart fout is, zolang de "backtracking"-structuur er maar is. Zelfs als ze de AI een pad lieten zien dat vol fouten zat, maar nog steeds de "Wacht, laten we teruggaan"-stappen bevatte, leerde de AI de puzzel nog steeds beter oplossen dan wanneer ze alleen een rechte lijn hadden getoond. Het is als het leren aan een kind om fiets te rijden door te laten vallen en weer op te staan, in plaats van alleen een video te laten zien van iemand die perfect fietst. Het proces van herstellen van de val is wat het spiergeheugen opbouwt.

Uiteindelijk suggereren de auteurs dat om AI echt slim te maken in complexe redeneringen, we moeten stoppen met alleen het geven van het antwoord en moeten beginnen met het leren van hoe ze moeten herstellen van hun fouten. Door de "backtracking"-knop af te stemmen op de moeilijkheid van de taak, kunnen we een veel hoger niveau van intelligentie ontsluiten, waardoor zelfs kleinere modellen puzzels kunnen oplossen die voorheen enorme, superkrachtige computers vereisten.

Technische Samenvatting: Hoeveel Backtracking is Genoeg? Het Onderzoek naar de Interactie tussen SFT en RL bij het Verbeteren van LLM-redeneren

Probleemstelling

Recente vooruitgang in Large Language Models (LLM's), zoals DeepSeek-R1 en OpenAI's o1, tonen aan dat Reinforcement Learning (RL) de redeneercapaciteiten aanzienlijk kan verbeteren door zoekstrategieën te internaliseren via uitgebreide chains of thought (CoT). Hoewel backtracking—het expliciet herzien van eerdere redeneerstappen—breed wordt erkend als een kernmechanisme voor deze verbetering, blijven de precieze dynamiek ervan slecht begrepen. Specifiek is het onduidelijk hoe Supervised Fine-Tuning (SFT) warm-ups interageren met RL om backtracking te optimaliseren, of standaard zelf-gesamplede CoT warm-ups voldoende zijn voor complexe taken, en wat de optimale frequentie of diepte van backtracking is voor verschillende moeilijkheidsgraden van problemen. Bestaande benaderingen vertrouwen vaak op "cold-start" RL of eenvoudige zelf-gesamplede CoT's, die volgens de auteurs stagneren op combinatorisch complexe taken zoals Sudoku.

Methodologie

De auteurs voeren gecontroleerde experimenten uit over acht redeneertaken (Countdown, Sudoku, Arc 1D, Advanced Geometry, Color Cube Rotation, List Functions, Zebra Puzzles en Self Reference) met behulp van Qwen2.5 en Llama3.2 modellen. De studie isoleert de effecten van verschillende SFT warm-up strategieën op de daaropvolgende RL-training:

Baseline Vergelijkingen: De auteurs vergelijken "Pure RL" (geen SFT warm-up) tegenover "Cold-start RL" (gebruikmakend van zelf-gesamplede CoT's van het basismodel als warm-up). Ze maken verder onderscheid tussen warm-ups afgeleid van correcte trajecten versus incorrecte trajecten.
Synthetische Backtracking Datasets: Om backtracking systematisch te bestudelen, construeren de auteurs synthetische datasets voor drie representatieve taken (Countdown, Arc 1D, Sudoku) met instelbare backtrack-dieptes ( $k$ $k$ ).
- Voor Countdown en Sudoku gebruiken ze Depth-First Search (DFS) solvers om bomen van operaties of grid-invullingen te genereren, wat trajecten creëert die expliciete "omwegen" (incorrecte takken) bevatten gevolgd door herstel (backtracking) naar het correcte pad.
- Voor Arc 1D gebruiken ze heuristische zoekmethoden met handmatige transformatiefuncties om vergelijkbare backtrack-patronen te genereren.
- Ze definiëren een $k$ -backtrack traject als een traject dat $k$ expliciete herstelgebeurtenissen bevat waarbij het model terugkeert naar een geldige staat na een fout.
Trainingspipeline: Modellen worden eerst SFT-getraind op deze synthetische of zelf-gesamplede datasets, en worden vervolgens onderworpen aan RL-training (met behulp van PPO of GRPO) met regelgebaseerde beloningen (formaat nauwkeurigheid + exacte antwoordovereenkomst).
Ablatie-studies: De auteurs testen de impact van het husselen (shufflen) van prompts en completions om de gevoeligheid van RL voor semantische ruis versus syntactische structuur te analyseren.

Belangrijkste Bijdragen

Beperkingen van Standaard Warm-ups: De studie toont aan dat hoewel zelf-gesamplede CoT warm-ups een bescheiden boost geven ten opzichte van Pure RL, ze niet effectief schalen op moeilijke combinatorische taken (bijv. Sudoku), waar het basismodel niet in staat is voldoende correcte initialisatiegegevens te genereren.
Backtracking als een Instelbare Hyperparameter: De auteurs stellen vast dat backtracking een cruciale operator is voor de transitie van lineaire generatie naar niet-lineaire boomzoekacties (tree search). Ze tonen aan dat de optimale backtrack-diepte taakafhankelijk is:
- Arc 1D (Gemakkelijk): Nul backtracks (optimale demonstraties) zijn het beste.
- Countdown (Gemiddeld): Precies één backtrack is optimaal.
- Sudoku (Moeilijk): Vijf of meer backtracks zijn vereist voor stabiele en effectieve RL-training.
Effectiviteit van Synthetische Data: Een "backtracking-centrische" trainingsmethode, waarbij SFT-data synthetisch is gegenereerd met gekalibreerde backtrack-dieptes, duwt modellen consistent voorbij hun basis redeneercapaciteiten en presteert beter dan grotere, vooraf getrainde redeneermodellen (bijv. QwQ-32B) op specifieke taken.
Robuustheid tegen Incorrecte Trajecten: Het onderzoek vindt dat RL nog steeds kan profiteren van warm-ups die semantisch incorrecte maar formaat-conforme CoT's bevatten, wat suggereert dat syntactische steigers (de structuur van zoeken en herstel) voldoende zijn om het model voor te bereiden op RL-verfijning. Omgekeerd is RL zeer gevoelig voor gehusselde (semantisch incoherente) data, wat de training doet stagneren.

Resultaten

Prestatiewinst: Op Sudoku verbeterde het initialiseren van RL met vijf backtracks de nauwkeurigheid van 14,4% (nul backtracks) naar 28,9% voor Qwen2.5-3B, en van 11,8% naar 32,1% voor Qwen2.5-7B. Deze resultaten overtroffen de QwQ-32B baseline, die 0,0% behaalde op Sudoku.
Taakspecifieke Optimalisatie:
- Countdown: Warm-ups met één backtrack leverden de hoogste beloningen en uiteindelijke nauwkeurigheid op (tot 69,7% voor Qwen2.5-3B), wat beter presteerde dan zowel nul als configuraties met veel backtracks.
- Arc 1D: Zero-backtrack (optimale) trajecten presteerden het best; backtracking degradeerde hier juist de prestaties.
Generalisatie: Training op één taak (bijv. Advanced Geometry) induceerde generalisatie naar gerelateerde taken (bijv. Zebra Puzzles), hoewel dit beperkt was voor zeer combinatorische problemen.
Token-efficiëntie: De studie merkt op dat hoewel synthetische backtrack-datasets langer zijn, ze een efficiëntere RL-convergentie mogelijk maken vergeleken met de stagnatie waargenomen bij Pure RL of incorrecte cold-start scenario's.

Betekenis en Claims

Het artikel betoogt dat geprincipieerde backtracking essentieel is voor het verbeteren van de redeneercapaciteiten van LLM's op complexe taken. Het stelt dat backtracking fungeert als een algemene operator voor boomzoeken (tree search), waardoor modellen in staat zijn om gebrekkige gedeeltelijke oplossingen te detecteren en te herstellen, in plaats van enkel lineair te genereren.

De auteurs beweren dat het "recept" voor effectieve RL niet enkel langere CoT's zijn, maar synthetische SFT-data die een gepast aantal backtracks bevat dat overeenkomt met de moeilijkheidsgraad van de taak. Deze aanpak stelt het model in staat om zoekstrategieën te internaliseren die Pure RL of standaard warm-ups niet zelfstandig ontdekken. Het werk suggereert dat de interactie tussen SFT en RL niet alleen gaat over de hoeveelheid data, maar over de structuur van de redeneertrajecten die tijdens de warm-up fase worden aangeboden. Door de frequentie van backtracking als een hyperparameter te behandelen, bieden de auteurs een controleerbare handgreep om zoekgedrag te optimaliseren, waarmee de kloof tussen lineaire generatie en effectief boomzoeken in LLM's wordt overbrugd.