💬 NLP

Scale or Reason? A Compute-Equivalent Analysis of Reasoning Distillation

Dit artikel toont aan dat, onder een vastgesteld rekenbudget, standaard instructie-verfijning over het algemeen beter presteert dan of gelijkwaardig is aan redeneerdistillatie over de meeste modelmaten en taken, waarbij die laatste alleen voordelig wordt voor grote modellen bij open eindproblemen wanneer deze wordt gecombineerd met een kosteneffectieve curriculum-menging van 25–50% redeneerdata.

Oorspronkelijke auteurs: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El Haddad, Céline Hudelot, Pierre Colombo

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El Haddad, Céline Hudelot, Pierre Colombo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jonge leerling (een klein AI-model) probeert te leren hoe hij problemen moet oplossen. Je hebt een beperkt bedrag aan geld (rekenkracht-budget) om aan zijn training uit te geven. Je hebt twee manieren om hem te onderwijzen:

De "Directe Antwoord" Methode (IFT): De meesterleraar geeft de leerling een vraag en het juiste, beknopte antwoord. "Wat is 2+2? Het is 4."
De "Laat Je Werk Zien" Methode (Reasoning Distillation): De meesterleraar geeft de vraag, maar schrijft er ook een lange, gedetailleerde dagboekverslag van zijn denkproces bij voordat hij het antwoord geeft. "Oké, laten we eens kijken. 2 plus 2... nou, als ik twee appels heb en er twee bij neem... ik tel ze één voor één... dat maakt vier. Dus het antwoord is 4."

De grote vraag die dit artikel stelt is: Is het de moeite waard om al dat extra geld uit te geven om de leerling de lange "Laat Je Werk Zien" methode te leren, of moeten we gewoon een grotere, slimmere leerling kopen en hem de "Directe Antwoord" methode leren?

Hier is wat de onderzoekers ontdekten, onderverdeeld in eenvoudige analogieën:

1. Het "Lange Wandeling" Probleem

De "Laat Je Werk Zien" methode is ongelooflijk duur. Het onderzoek toonde aan dat redeneerpaden 5 tot 20 keer langer zijn dan directe antwoorden.

De Analogie: Stel je voor dat je een taxichauffeur betaalt per mijl.
- Direct Antwoord: De chauffeur neemt een kortere route en zet je af na 1 mijl.
- Redeneren: De chauffeur besluit door elke buurt te rijden en de geschiedenis van elke straat uit te leggen voordat hij je afzet. Dat duurt 20 mijl.
- De Kosten: Als je een vast budget hebt voor benzine, betekent het kiezen voor de "Redeneren" taxi dat je alleen een hele kleine, langzame auto kunt betalen. Als je kiest voor de "Directe Antwoord" taxi, kuns je een enorme, krachtige limousine betalen.

2. De Verrassende Winnaar: De Grote Limousine

Wanneer de onderzoekers de twee methoden vergeleken terwijl ze het "benzinebudget" (rekenkracht) exact gelijk hielden, won de Directe Antwoord (IFT) methode bijna altijd.

De Bevinding: Het was bijna altijd efficiënter om een groter model te trainen met korte, directe antwoorden dan om een kleiner model te trainen met lange, gedetailleerde redeneringen.
De Uitzondering: De "Laat Je Werk Zien" methode werd pas de winnaar in twee specifieke situaties:
1. De Taak: De vraag was open einde (zoals het schrijven van een verhaal of het oplossen van een complex wiskundig probleem waarbij niet één juist antwoord is).
2. De Grootte: De leerling was al behoorlijk groot (minstens 7 miljard "hersencellen" of parameters).
De Kleine Modellen: Voor kleine modellen was de "Laat Je Werk Zien" methode een ramp. Ze raakten verstrikt in hun eigen gedachten en schreven lange, warrige dagboeken vol fouten. Ze verbruikten al hun geld door in cirkels te rijden, zonder ooit het juiste antwoord te bereiken.

3. De "Goldilocks" Oplossing: Een Gemengd Dieet

Het onderzoek ontdekte een slim middenpad dat geld bespaart terwijl de voordelen behouden blijven.

Sequentiële Training: Je kunt de leerling meestal leren met "Directe Antwoorden" (75% van de tijd) en pas overstappen op "Laat Je Werk Zien" voor de laatste 25% van zijn training.
- Het Resultaat: Dit vangt bijna alle voordelen van de dure redeneermethode op, maar kost slechts een fractie van de prijs. Het is alsover een standaard dieet geven en aan het einde een speciaal "redeneersupplement" toevoegen om hun vaardigheden aan te scherpen.
Gemengde Training: Als je de twee soorten data samenvoegt maar het aandeel "redeneren" laag houdt (onder de 50%), wordt het model slimmer in wiskunde en logica zonder te leren lange, dure antwoorden te schrijven.
- Het Resultaat: Je krijgt een slimmer model dat nog steeds beknopt spreekt. Het is alsof je iemand leert diep na te denken, maar hem dwingt om korte, krachtige antwoorden te geven.

4. Waarom Kleine Modellen Falen bij Redeneren

De onderzoekers keken nauwkeurig naar waarom kleine modellen worstelen met de "Laat Je Werk Zien" methode.

De Ontdekking: Wanneer een klein model een fout maakt, heeft het de neiging om een langere uitleg te schrijven dan wanneer het het goed heeft. Het is als een student die het antwoord niet weet en steeds meer zinnen blijft schrijven, in de hoop op het juiste antwoord te stuiten.
Het Gevolg: Dit maakt kleine redeneermodellen ongelooflijk inefficiënt. Ze branden hun "benzinebudget" op door lange, onjuiste verhalen te schrijven. Naarmate de modellen groter worden, worden ze beter in weten wanneer ze moeten stoppen met praten, waardoor de "Laat Je Werk Zien" methode pas bruikbaar wordt voor de grotere, meer capabele studenten.

De Kern van het Verhaal

Als je een AI bouwt en je hebt een beperkt budget:

Ga niet er automatisch vanuit dat "Redeneren" (lange denkpaden) beter is.
Overweeg wel om eerst een groter model te trainen met directe antwoorden.
Als je echt redeneren nodig hebt, gebruik dan een hybride aanpak: train voornamelijk op directe antwoorden en voeg aan het einde een kleine hoeveelheid redeneerdata toe. Dit geeft je het beste van beide werelden zonder de bank te breken.

Het artikel betoogt in essentie dat we niet blindelings de trend van "lang nadenken" moeten najagen; soms is een groter brein met een kort antwoord de slimmere, efficiëntere keuze.

Technische Samenvatting: Schalen of Redeneren? Een Compute-Equivalentie Analyse van Reasoning Distillatie

Probleemstelling

Het heersende paradigma voor het bouwen van capabele kleine taalmodellen (SLM's) omvat het distilleren van redeneersporen (reasoning traces) van sterke docentmodellen. Echter, redeneersporen zijn doorgaans 5–20× langer dan standaard Instruction Fine-Tuning (IFT) outputs. Deze lengteverschillen impliceren een aanzienlijke compute-overhead: een praktijkbeoefenaar die impliciet kiest voor reasoning distillation, geeft de optie op om een groter IFT-model te trainen binnen hetzelfde compute-budget. Terwijl standaard schaalwetten suggereren dat het toewijzen van extra compute aan modelcapaciteit zeer efficiënt is, blijft de specifieke afweging tussen "opschalen" (grotere IFT-modellen) en "redeneren opschalen" (distilleren van sporen) onbehandeld. Dit onderzoek onderzoekt of de compute-overhead van reasoning distillation gerechtvaardigd is vergeleken met het schalen van standaard IFT, gegeven vaste trainings- en inferentiebudgetten.

Methodologie

Om het effect van het supervisieformaat te isoleren van andere variabelen (zoals de kwaliteit van de docent of de distributie van prompts), hanteren de auteurs een gecontroleerd experimenteel ontwerp:

Gecontroleerde Koppeling: Een enkel docentmodel (Qwen3-235B-A22B) genereert gepaarde outputs voor identieke prompts: standaard IFT-outputs (redeneringsmodus uitgeschakeld) en reasoning-outputs (redeneringsmodus ingeschakeld). Dit zorgt ervoor dat het supervisieformaat de enige onafhankelijke variabele is.
Student Schalen: Qwen2.5 base-modellen worden getraind op vijf parameterschalen: 0.5B, 1.5B, 3B, 7B en 14B.
Trainingsregimes:
- Corpora: Experimenten maken gebruik van een algemeen corpus (1.3M paren uit Infinity-Instruct) en een wiskunde-gecentreerd corpus (300K paren).
- Hybride Strategieën: De studie evalueert sequentiële training (IFT gevolgd door reasoning) en gemengde training (gemixte IFT- en reasoning-data) over reasoning-proporties ( $\rho$ ) van 0%, 25%, 50%, 75% en 100%.
Evaluatie: Modellen worden geëvalueerd op 18 benchmarks verspreid over vier taakfamilies: General-MC, General-OE, Math-MC en Math-OE.
Compute Matching: De kernanalyse vergelijkt modellen niet alleen op basis van het aantal parameters, maar door gematchte training en inferentie FLOPs. De auteurs volgen de exacte FLOP-overhead veroorzaakt door de toegenomen sequentielengte van de redeneersporen.
Robuustheid: Belangrijke bevindingen worden gereproduceerd met een tweede docent-student paar (Nemotron-Super-49B met Gemma-3) om te bevestigen dat de resultaten niet architectuur-specifiek zijn.

Belangrijkste Bevindingen

1. Schalen van IFT is standaard Compute-Efficiënt

Wanneer modellen worden vergeleken bij gematchte training en inferentie FLOPs, liggen standaard IFT-modellen op of nabij de Pareto-front in de meerderheid van de configuraties. Reasoning distillation benadert of bereikt de Pareto-front pas onder specifieke condities:

Taakformaat: Voordelen van reasoning worden primair waargenomen bij open-ended (OE) taken. Bij multiple-choice (MC) taken blijven reasoning-modellen consistent achter bij IFT-modellen qua efficiëntie vanwege de hoge overhead van het genereren van lange, vaak onjuiste, sporen.
Modelcapaciteit: Reasoning distillation wordt pas computationeel levensvatbaar bij grotere schalen. Modellen met 7B parameters of meer zijn vereist om de Pareto-front te bereiken. Onder deze drempel (bijv. 0.5B–3B) maakt de inefficiëntie van kleine modellen die lange, foutgecorreleerde sporen genereren, reasoning aanzienlijk duurder per eenheid aan gewonnen accuratesse.

2. De Rol van Outputformaat en Capaciteit

Het paper identificeert dat het outputformaat, in plaats van het kennisdomein, de primaire voorspeller is van reasoning-efficiëntie.

Formaat Bepaalt Waarde: Open-ended taken profiteren consistent van reasoning distillation, terwijl multiple-choice taken dat niet doen, ongeacht het domein (algemeen, wiskunde, recht, code of natuurkunde).
Capaciteitsdrempel: Voor open-ended taken evenaren of overtreffen reasoning-modellen bij 7B+ parameters de IFT-accuratesse, terwijl ze een optimale compute-efficiëntie behouden. Onder de 7B is de "lengte-straf" (length penalty) ernstig; onjuiste redeneersporen zijn 1.5–2× langer dan correcte sporen, en kleinere modellen produceren frequent deze lange, onjuiste sporen, wat de accuratesse-tot-kosten ratio verslechtert.

3. Hybride Trainingsstrategieën

De studie toont aan dat het volledig toewijden aan 100% reasoning-data onnodig en vaak suboptimaal is.

Sequentiële Training: Een curriculum dat slechts 25–50% reasoning-data combineert (volgend op IFT) vangt de meeste accuratesse-voordelen van volledige reasoning distillation op tegen een fractie van de trainingskosten. Deze strategie stelt modellen in staat om op de Pareto-front te rusten voor open-ended taken.
Gemengde Training: Training met een mix van IFT- en reasoning-data (onder de 50%-drempel) stelt modellen in staat om de accuratesse op wiskundige taken te verbeteren terwijl de beknopte outputstijl van standaard IFT behouden blijft. Dit vermijdt de inferentie-kostenpenalty geassocieerd met volledige reasoning-generatie. Zodra de reasoning-proportie echter de 50% overschrijdt, neigen modellen er volledig naar om over te schakelen op reasoning-stijl generatie, waardoor de winst in inferentie-efficiëntie teniet wordt gedaan.

Betekenis en Claims

Het paper biedt een systematisch antwoord op de vraag over de allocatie van compute bij reasoning distillation. De primaire bijdrage is het uitdagen van de aanname dat reasoning distillation universeel superieur is voor kleine modellen.

Herwaardering van de "Reasoning" Trend: De auteurs betogen dat voor de overgrote meerderheid van de configuraties, standaard IFT de meer compute-efficiënte strategie is. Reasoning distillation is alleen gerechtvaardigd wanneer aan twee condities tegelijkertijd wordt voldaan: de taak vereist een open-ended outputformaat, en het model heeft ten minste 7B parameters.
Kostenefficiënt Modelontwerp: Het werk benadrukt dat beoefenaars de winst in accuratesse moeten afwegen tegen computationele en milieukosten. Het suggereert dat eenvoudigere benaderingen (IFT) of zorgvuldig ontworpen hybride curricula (25–50% reasoning) vaak de prestaties van dure, volledige reasoning-trainingsregimes kunnen evenaren of benaderen.
Praktische Richtlijnen: De bevindingen bieden een praktisch kader voor implementatie:
- Als de trainings-compute de beperkende factor is, gebruik dan sequentiële mixing met lage reasoning-ratio's.
- Als de inferentie-kosten de beperkende factor zijn, gebruik dan gemengde training onder de 50%-drempel om beknopte outputs te behouden.
- Volledige reasoning distillation wordt alleen aanbevolen voor grootschalige (7B+) modellen die open-ended taken aanpakken waarbij de efficiëntie-frontier wordt bereikt.

De auteurs concluderen dat hoewel reasoning-modellen de ruwe prestaties verbeteren, de structurele condities waaronder zij meer compute-efficiënt zijn dan standaard IFT, nauwer zijn dan algemeen wordt aangenomen, wat oproept tot een verschuiving naar meer gerichte modelontwikkeling die is afgestemd op praktische beperkingen.