🤖 AI

Base Models Know How to Reason, Thinking Models Learn When

Dit artikel onthult dat hoewel basismodellen al beschikken over de onderliggende mechanismen voor redeneren, "denkende" modellen getraind met Reinforcement Learning voornamelijk heuristieken leren om deze reeds aanwezige capaciteiten te orkestreren, terwijl modellen getraind via SFT-distillatie geheel nieuwe redeneermechanismen verwerven.

Oorspronkelijke auteurs: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag

Stel je voor dat je een zeer intelligente, breed opgeleide student hebt (het Base Model) die veel feiten kent en basis wiskunde kan doen. Vervolgens train je deze student om een "Thinking Model" te worden (zoals de nieuwe AI-modellen die extra tijd nemen om moeilijke problemen op te lossen).

Het grote mysterie dat dit paper probeert op te lossen is: Wat heeft de student precies geleerd tijdens die training?

Heeft de student nieuwe manieren van denken geleerd die hij daarvoor nog niet had?
Of heeft hij gewoon geleerd wanneer hij de slimme denkvaardigheden die hij al had, moet gebruiken?

Het Detectiewerk: "Constructive Model Diffing"

Om dit te beantwoorden, bouwden de onderzoekers een speciale "detective-tool" genaamd Constructive Model Diffing. Denk hierbij aan het uit elkaar halen van een complex apparaat om te zien hoe het werkt, om vervolgens te proberen het weer op te bouwen met slechts twee specifieke onderdelen:

Het "Hoe" (Reasoning Mechanisms): Dit zijn de werkelijke vaardigheden, zoals "lange delingen uitvoeren", "je werk controleren" of "teruggaan naar een vorige stap (backtracking) als je een fout maakt". De onderzoekers hebben deze gevonden door in het brein van het Base Model te kijken en specifieke "schakelaars" (vectoren) te identificeren die het model kunnen dwingen deze dingen te doen.
Het "Wanneer" (Reasoning Heuristics): Dit is het besluitvormingsgedeelte. Het is een soort interne manager die zegt: "Oké, dit probleem is moeilijk, nu is het tijd om je werk te controleren," of "We zitten vast, nu is het tijd om terug te gaan naar een vorige stap."

De onderzoekers probeerden het "Thinking Model" te herbouwen door het Base Model (die de vaardigheden heeft) te geven aan de Manager van het Thinking Model (die weet wanneer de vaardigheden gebruikt moeten worden).

De Twee Soorten Training

Het paper keek naar twee verschillende manieren waarop deze Thinking Models getraind werden:

1. De "Reinforcement Learning" (RL) Groep

Deze modellen werden getraind door een spel te spelen waarbij ze punten kregen voor het juiste antwoord en strafpunten voor foute antwoorden. Ze moesten zelf de strategie ontdekken.

Het Resultaat: Wanneer de onderzoekers deze modellen herbouwden met het "Base Model + Manager"-recept, werkte dit verbazingwekkend goed. Ze herstelden ongeveer 76% van het prestatieverschil.
De Analogie: Stel je een getalenteerde pianist voor die al elke noot perfect kan spelen. De RL-training was als het inhuren van een dirigent die de pianist leerde wanneer hij snel moest spelen, wanneer hij langzaam moest spelen en wanneer hij een pauze moest inlassen voor het effect. De pianist hoefde geen nieuwe noten te leren; hij hoefde alleen maar de timing te leren.
Conclusie: RL leert het model hoe het de redeneervaardigheden die het al bezit, moet orkestreren.

2. De "SFT-Distillation" Groep

Deze modellen werden getraind door een "leraar-model" na te doen. Ze kregen voorbeelden te zien van hoe een slimme AI een probleem oplost en kregen de opdracht dit na te bootsen.

Het Resultand: Wanneer de onderzoekers probeerden deze modellen te herbouwen met hetzelfde "Base Model + Manager"-recept, lukte dit niet. Ze herstelden slechts ongeveer 11% van het prestatieverschil.
De Analogie: Stel je een student voor die wordt geleerd om het handschrift van een leraar te kopiëren. Maar de leraar gebruikt een pen die de student nog nooit heeft vastgehouden. De student leert de vorm van de letters te kopiëren, maar heeft niet echt geleerd hoe hij de pen moet vasthouden of de spierbeheersing nodig heeft om te schrijven. De "Manager" (de timing) is er wel, maar het "Base Model" (de hand van de student) weet eigenlijk niet hoe het de specifieke bewegingen moet uitvoeren die de leraar doet.
Conclusie: SFT-distillatie dwingt het model om nieuwe redeneermechanismen te leren (nieuwe manieren van denken) die het base model niet had. Je kunt het base model niet simpelweg vertellen wanneer het ze moet doen; je moet het eerst leren hoe het ze moet doen.

Het "Aha!" Moment

Het paper vond een opvallend verschil:

RL-modellen zijn als een meesterkok die al weet hoe hij moet snijden, sauteren en bakken. De training leerde hen alleen wanneer ze welke techniek moeten gebruiken om een perfect gerecht te maken.
Gedistilleerde modellen zijn als een kok die een video heeft gezien van een meesterkok die een gerecht maakt met een geheim ingrediment dat de kok nog niet kende. De student leerde de handelingen van het gebruiken van het ingrediënt te kopiëren, maar moest fundamenteel zijn kookstijl veranderen om dit nieuwe ingrediënt toe te voegen.

Waarom is dit belangrijk?

Het paper concludeert dat Reinforcement Learning (RL) een zeer efficiënte manier is om redeneren uit een model te halen, omdat het ontsluit wat er al aanwezig is. Het leert het model om een betere dirigent te zijn van zijn eigen orkest.

In tegenstelling hiertoe probeert Distillatie (het kopiëren van een leraar) het model vaak geheel nieuwe vaardigheden aan te leren. Als de leraar een redeneerstijl gebruikt die het base model niet van nature heeft, heeft het base model moeite om dit enkel door te kijken te leren, wat leidt tot een veel lager succespercentage wanneer men probeert het model terug te "sturen" naar zijn oorspronkelijke staat.

Samenvatting in één zin

Base modellen weten al hoe ze moeten redeneren; Reinforcement Learning leert hen wanneer ze die vaardigheden moeten gebruiken, terwijl Distillatie probeert hen nieuwe vaardigheden aan te leren die het base model niet wist te kunnen.

Technische Samenvatting: Basismodellen Weten Hoe Ze Moeten Redeneren, Denkmodellen Leren Wanneer

Probleemstelling

Large Language Models (LLM's) hebben significante verbeteringen in redeneervermogen laten zien wanneer ze getraind worden om te "denken" (bijv. via Chain-of-Thought) voordat ze antwoorden. Echter, een fundamentele vraag blijft bestaan: Wat leert precies deze "denkende modellen" dat hun basis-tegenhangers niet bezitten? Voorgaande hypothesen suggereren dat ze geheel nieuwe capaciteiten verwerven, leren hoe ze redeneringen effectiever kunnen structureren, bestaande representaties hergebruiken, of simpelweg profiteren van verhoogde berekening tijdens de inferentie-tijd. Dit paper streeft ernaar om de aard van de kennis kloof tussen basismodellen en hun "denkende" gefinetunede versies empirisch te bepalen, waarbij specifiek wordt vergeleken tussen modellen getraind via Reinforcement Learning (RL) versus modellen getraind via Supervised Fine-Tuning (SFT) distillatie.

Methodologie

De auteurs introduceren een tweeledige methodologie om de verschillen tussen basis- en denkmodellen te analyseren en te reconstrueren:

1. Ongecontroleerde Ontdekking van Redeneertaxonomieën

Om subjectieve handmatige inspectie te vermijden, gebruiken de auteurs Sparse Autoencoders (SAE's) die getraind zijn op zinsniveau-activaties geëxtraheerd uit redeneersporen.

Architectuur: Ze gebruiken Top-K SAE's met een bewust kleine woordenboekgrootte (5–50 categorieën) en een lage spaarzaamheid ( $k=3$ ) om het model te dwingen fundamentele assen van redeneringsvariatie te leren in plaats van toevallige linguïstische details.
Training: SAE's worden getraind op zinsniveau gemiddelde activaties van redeneer-rollouts gegenereerd door denkmodellen op MMLU-Pro prompts.
Interpretatie: Een LLM-gebaseerde interpreteerbaarheidspijplijn genereert menselijk leesbare titels en beschrijvingen voor elke cluster (redeneringsmechanisme) op basis van de meest activerende voorbeeldzinnen.
Evaluatie: Taxonomieën worden gescoord op Consistentie (F1-score van classificatie), Volledigheid (vertrouwen in toewijzing) en Onafhankelijkheid (semantische orthogonaliteit tussen categorieën).

2. Constructief Model-Diffing

De kernbijdrage is een framework om het prestatieverschil tussen een basismodel en een denkmodel expliciet te reconstrueren met behulp van twee interpreteerbare componenten:

Redeneringsmechanismen (Het "Wat"): Categorievectoren (stuurvectoren) die geoptimaliseerd zijn binnen het basismodel om specifieke redeneergedragingen op te wekken die door de SAE-taxonomie zijn geïdentificeerd. Deze vertegenwoordigen de cognitieve operaties (bijv. backtracking, rekenkundige berekeningen).
Redeneerheuristieken (Het "Wanneer"): Een classifier geëxtraheerd uit het denkmodel die bepaat wanneer een specifelijk mechanisme geactiveerd moet worden. Dit is afgeleid van SAE-activaties en discrepantiepunten tussen de token-voorspellingen van het basismodel en het denkmodel.

Het Hybride Model: De auteurs construeren een "hybride" model dat de generatiecapaciteiten van het basismodel combineert met de heuristieken van het denkmodel en de geoptimaliseerde categorievectoren van het basismodel. Als dit hybride model de prestaties van het denkmodel herstelt, impliceert dit dat het denkmodel primair heuristieken heeft geleerd voor het orkestreren van reeds aanwezige basiscapaciteiten. Als het er niet in slaagt de prestaties te herstellen, suggereert dit dat het denkmodel nieuwe mechanismen heeft geleerd die niet aanwezig zijn in het basismodel.

Belangrijkste Bijdragen

Ongecontroleerde Redeneertaxonomie: Een methode om interpreteerbare, menselijk begrijpelijke redeneringsmechanismen (bijv. "Backtracking", "Rekenkundige Berekening", "Metacognitieve Zelf-prompts") te ontdekken zonder handmatige labeling, gevalideerd over negen verschillende modelconfiguraties.
Constructief Model-Diffing Framework: Een nieuwe benadering om het verschil tussen basis- en gefinetuned model te deconstrueren in "mechanismen" (vectoren) en "heuristieken" (timing classifiers), wat een causale reconstructie van het gedrag van het gefinetunede model mogelijk maakt.
Empirisch Onderscheid Tussen Trainingsparadigma's: De toepassing van dit framework onthult een fundamentele divergentie in wat RL-getrainde en SFT-gedistilleerde modellen leren.

Resultaten

De studie evalueerde negen basis/denkmodelparen (vier RL-getraind, vier SFT-gedistilleerd, één gemengd) over GSM8K, MATH500 en een hold-out Hendrycks-MATH set.

RL-getrainde Modellen (Open-Reasoner-Zero): De hybride modellen geconstrueerd uit RL-getrainde paren herstelden gemiddeld ongeveer 76% van het prestatieverschil tussen basis- en denkmodel. In sommige gevallen (bijv. ORZ-0.5B) overtrof het herstel 100% van het gat.
SFT-gedistilleerde Modellen (DeepSeek-R1-Distill): De hybride modellen herstelden aanzienlijk minder, met een gemiddelde van slechts 11% van het gat. Het herstel was bijna nul voor kleinere modellen en verbeterde naar ongeveer 15–30% voor grotere modellen (14B/32B), maar bleef ver onder de RL-prestaties.
Gemengde Modellen (QwQ-32B): Modellen getraind met SFT gevolgd door RL herstelden ongeveer 20% van het gat, en gedroegen zich meer als de pure SFT-gedistilleerde modellen dan de pure RL-modellen.
Convergentie van Categorievectoren: Categorievectoren getraind op RL-paren convergeerden naar een significant lagere cross-entropy loss dan die getraind op SFT-paren, wat aangeeft dat RL-modellen gebruikmaken van redeneergedragingen die al bestaan (of gemakkelijk toegankelijk zijn) in de activatieruimte van het basismodel.
Stuur-Sparsiteit: De succesvolle RL-hybriden vereisten het sturen van slechts 5–12% van de tokens, terwijl SFT-hybriden vaak hogere interventie-percentages vereisten, maar nog steeds faalden in het herstellen van de prestaties.

Betekenis en Claims

Het paper claimt dat het verschil in prestatieherstel voortkomt uit de aard van het trainingsparadigma:

RL Leert Heuristieken: Reinforcement Learning leert het model primair wanneer het redeneringsmechanismen moet inzetten die het basismodel al bezit. Het basismodel "weet hoe het moet redeneren", en RL optimaliseert de orkestratie van deze reeds aanwezige capaciteiten. Dit is waarom de constructieve diff (basismechanismen + denkheuristieken) het gedrag van het RL-model succesvol reconstrueert.
SFT Distilleert Nieuwe Mechanismen: Supervised Fine-Tuning (distillatie) dwingt het studentmodel vaak om redeneergedragingen of -mechanismen aan te nemen die het basismodel niet van nature bezit of niet gemakkelijk kan ontsluiten. Bijgevolg is het louter sturen van het basismodel met de heuristieken van het denkmodel onvoldoende om de prestaties van het SFT-model te repliceren, omdat de onderliggende "mechanismen" (vectoren) fundamenteel anders of afwezig zijn.
Schaalafhankelijkheid: Het paper merkt op dat grotere basismodellen (bijv. 32B) meer van de SFT-gap herstellen dan kleinere modellen, wat suggereert dat grotere modellen inherent een breder repertoire aan latente redeneringsmechanismen bevatten die SFT kan activeren, terwijl kleinere modellen deze mechanismen volledig missen.

Beperkingen: De auteurs erkennen dat hun taxonomieën momenteel bevoordeeld zijn richting wiskundig redeneren vanwege de trainingsdata (MMLU-Pro) en dat het lagere herstel voor SFT-modellen mogelijk een reflectie is van beperkingen in hun categorievector-optimalisatie in plaats van een fundamenteel gebrek aan mechanismen in het basismodel.

Conclusie: Dit paper biedt een nieuw perspectief op trainingsparadigma's, waarbij wordt gesuggereerd dat de ontwikkeling van efficiënte redeneermodellen mogelijk meer baat heeft bij RL-gebaseerde benaderingen die latente basiscapaciteiten orkestreren, in plaats van SFT-benaderingen die proberen geheel nieuwe redeneerpatronen te installeren.