💬 NLP

Masked Distillation: Internalizing the Chain-of-Thought in Language Models

Dit artikel introduceert "masked distillation", een framework dat de redeneercapaciteiten van Large Reasoning Models internaliseert in de parameters van een studentmodel door het te trainen om alleen oplossingstokens te voorspellen terwijl het feedback ontvangt die geconditioneerd is op de Chain-of-Thought van de leraar, waardoor directe antwoordgeneratie en het verminderen van inferentielatentie mogelijk wordt zonder verlies van nauwkeurigheid.

Oorspronkelijke auteurs: Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je favoriete AI-assistent als een briljante maar praatgrage student is. Wanneer je hem een lastige vraag stelt, geeft hij niet zomaar het antwoord; hij krabbelt pagina's vol aantekeningen, tekent diagrammen en praat elke stap van zijn denkproces door voordat hij eindelijk de oplossing opschrijft. Dit proces van "hardop denken", in de techwereld bekend als "Chain of Thought", heeft AI-modellen ongelooflijk slim gemaakt in wiskunde en logische puzzels. Maar er is een addertje onder het gras: die pagina's met aantekeningen kosten veel tijd en energie om te genereren. Het is alsof je een taxichauffeur betaalt om je helemaal naar de supermarkt te rijden, maar ook betaalt om hem eerst een hele blok rond de stad te laten rijden, alleen maar om na te "denken" over in welk gangpad je moet staan. Wetenschappers vragen zich al lang af: kunnen we de AI leren om al dat denken in zijn hoofd te doen? Als dat zou kunnen, zou de AI die lange, praatgrage aantekeningen overslaan en je direct het antwoord geven, wat enorme hoeveelheden tijd en computerkracht bespaart.

Dit artikel, getiteld "Masked Distillation", duikt direct in die vraag. De onderzoekers vroegen zich bij het werken met Large Reasoning Models (LRM's) af of ze een slim "leraar"-model, dat ervan houdt om hardop te denken, konden gebruiken om een kleiner "student"-model te trainen om dat denkproces te internaliseren. Ze wilden zien of de student de aantekeningen volledig kon overslaan en alleen het uiteindelijke antwoord kon geven, terwijl hij nog steeds net zo slim was. Ze testten dit met een slimme techniek genaamd "Masked Distillation". Stel je voor dat de leraar een puzzel oplost terwijl de student toekijkt. De leraar ziet de volledige vraag en zijn eigen gedetailleerde denkproces, maar de student krijgt alleen de vraag te zien. Het doel was om te zien of de student de geheime logica van de leraar kon leren en de puzzel vervolgens op eigen kracht kon oplossen zonder ooit de stappen op te schrijven, ook al had de leraar alle aantekeningen tot zijn beschikking om het leerproces te begeleiden.

Het team stelde twee hoofdexperimenten op. In het eerste experiment gebruikten ze hetzelfde AI-model als zowel de leraar als de student, waarbij ze het model alleen anders lieten denken. In het tweede experiment gebruikten ze een groter, slimmer model als leraar en een kleiner, eenvoudiger model als student. Ze introduceerden ook een "scaffold"-concept (een steiger of ondersteuning). Denk hierbij aan zijwieltjes op een fiets. Soms heeft de student misschien een klein beetje van de aantekeningen van de leraar nodig (de "scaffold") om het antwoord goed te krijgen, in plaats van alles vanuit het niets te moeten doen. Ze testten hoeveel van het denken van de leraar de student moest zien om de beste resultaten te behalen.

De resultaten waren een mix van "wow" en "ho even". Op een dataset van basisschool-wiskundeproblemen genaamd GSM8K waren de studentmodellen geweldig. Ze slaagden erin om het denken te internaliseren. De volledig "gemaskeerde" student (één die nooit aantekeningen schreef) kreeg 76,0% van de antwoorden goed, wat een enorme sprong was ten opzichte van zijn startvermogen, en deed dit met gemiddeld slechts 369,6 tokens (tekseenheden), vergeleken met de 2.398,1 tokens van de leraar. Dat is een enorme reductie in inspanning van 6,5 keer!

Echter, op een lastigere getallenpuzzel genaamd Countdown, veranderde het verhaal. Hier presteerde de student die probeerde alles in zijn hoofd te doen (volledig gemaskeerd) juist slechter, met een daling naar 41,7% nauwkeurigheid. Het bleek dat de student voor dit specifieke type puzzel wat van de aantekeningen van de leraar nodig had om te slagen. Maar hier komt het coole aan: de onderzoekers ontdekten een "sweet spot". Door de student slechts een heel klein beetje van het denken van de leraar te laten zien (ongeveer 30% van de aantekeningen, of een "alpha" van 0,3), schoot de nauwkeurigheid van de student omhoog naar 86,2%. Dit was bijna net zo goed als de leraar (87,3%), maar gebruikte nog steeds ongeveer 1,3 keer minder tokens dan de leraar. Het was alsof je de student net genoeg zijwieltjes gaf om perfect in balans te blijven zonder de hele fiets nodig te hebben.

Het artikel keek ook naar hoe goed deze studenten omgingen met nieuwe, onbekende puzzels (out-of-distribution taken). Aan de wiskundekant deden de studenten het goed, maar bij de Countdown-puzzels waren de resultaten wat gemengder. Interessant genoeg presteerden de studenten die getraind waren met een beetje ondersteuning (scaffolding) in sommige gevallen zelfs beter dan de leraar zelf toen de puzzels moeilijker werden of veranderden.

Een belangrijke bevinding was dat de methode van lesgeven uitmaakte. Wanneer ze probeerden de student te onderwijzen door simpelweg de aantekeningen van de leraar te laten zien en hem te vragen deze te kopiëren (een methode genaamd Supervised Fine-Tuning), werkte dat niet zo goed. De "Masked Distillation"-methode, die een complexere manier gebruikt om de gokken van de student te vergelijken met de werkelijke gedachten van de leraar, was veel effectiever bij het overdragen van de "denkkennis".

Uiteindelijk suggereert het artikel dat we niet zomaar alle denkstappen voor elk probleem kunnen verwijderen. Of een AI "stilzwijgend kan denken" hangt sterk af van het type probleem en hoeveel de studentmodel al weet over dat onderwerp. Voor bekende taken zoals basiswiskunde kan de AI leren om stilzwijgend te denken en zo enorm veel tijd te besparen. Voor moeilijkere, onbekende puzzels heeft hij misschien nog steeds een beetje hulp nodig—een kleine steiger van aantekeningen—om het werk goed te doen. De onderzoekers concluderen dat deze "scaffold" een krachtig hulpmiddel is dat we kunnen afstemmen, waardoor we de perfecte balans kunnen vinden tussen hoe slim de AI is en hoe snel hij een antwoord kan geven.

Technische Samenvatting: Masked Distillation – Het internaliseren van de Chain-of-Thought in taalmodellen

Probleemstelling

Large Reasoning Models (LRMs) behalen hoge prestaties op complexe taken (wiskunde, code, planning) door lange, expliciete ketens van tussenliggende tokens (Chain-of-Thought of CoT) te genereren voordat ze een definitief antwoord produceren. Hoewel deze sporen de nauwkeurigheid verbeteren, brengen ze aanzienlijke kosten met zich mee voor inferentielatentie, geheugengebruik (KV-cache voetafdruk) en de energie van de servering, die lineair schalen met de lengte van het spoor.

Recente bevindingen suggereren dat de juistheid van deze tussenliggende sporen niet causaal verbonden is met de juistheid van het uiteindelijke antwoord, noch correleert de lengte van het spoor betrouwbaar met de complexiteit van het probleem. Dit roept een kritische vraag op: Kan de berekening die in deze tussenliggende tokens wordt uitgedrukt, worden geïnternaliseerd in de parameters van een taalmodel, waardoor het in staat is om correcte antwoorden direct te produceren (of met aanzienlijk kortere sporen) zonder de redeneringsstappen expliciet te genereren tijdens de inferentie?

Methodologie: Masked Distillation

De auteurs stellen Masked Distillation voor, een kennisdistillatie-framework ontworpen om het redeneerproces van een "denkende" docentmodel (teacher model) te internaliseren in een "niet-denkend" studentmodel.

Kernframework

In dit framework wordt het studentmodel getraind om alleen de oplossingstokens te voorspellen, geconditioneerd op de invoervraag. Het docentmodel geeft echter feedback op basis van zowel de vraag als zijn eigen gegenereerde CoT-spoor. Het doel is om de divergentie te minimaliseren tussen de distributie van de student (geconditioneerd op alleen de input) en de distributie van de docent (geconditioneerd op de input en de tussenliggende redenering).

Het trainingsdoel maakt gebruik van on-policy reverse-KL divergentie:
$L_{MD} = D_{KL}(\pi_S(\cdot | x, y_{<t}) \parallel \pi_T(\cdot | x, \text{ITs}, y_{<t}))$
Waarbij $\pi_S$ het studentbeleid is, $\pi_T$ het docentbeleid, $x$ de input, $y_{<t}$ eerder gegenereerde tokens zijn, en $\text{ITs}$ de tussenliggende tokens van de docent zijn.

Experimentele Instellingen

De auteurs implementeren dit framework in twee instellingen:

Zelf-distillatie (Self-Distillation): Dezelfde methode fungeert als zowel de docent (in denkmodus) als de student (in niet-denkende modus).
Dual-Model Instelling: Een groter redeneringsmodel dient als docent om een apart, kleiner niet-denkend studentmodel te superviseren.

De $\alpha$ -Suffix Scaffold

Om de afweging tussen volledige internalisering en inferentiekosten te verkennen, introduceren de auteurs een $\alpha$ -suffix masked distillation variant.

$\alpha = 0$ (Volledig Gemaskeerd): De student internaliseert het volledige tussenliggende spoor en geeft alleen de oplossing af.
$\alpha = 1$ (Niet-Gemaskeerd): De student reproduceert het volledige spoor vóór het antwoord (gelijk aan standaard CoT-generatie).
$0 < \alpha < 1$ : De student internaliseert het $(1-\alpha)$ prefix van het spoor van de docent en wordt getraind om het resterende $\alpha$ -fractie suffix van het spoor uit te zenden tijdens de inferentie, samen met de oplossing.

Dit stelt de auteurs in staat om tussenliggende tokens te behandelen als een "scaffold" (steiger) die gedeeltelijk behouden of volledig geïnternaliseerd kan worden.

Belangrijkste Bijdragen

Voorgesteld Framework: Introductie van Masked Distillation om CoT-redenering te internaliseren in de parameters van het model, wat directe antwoordgeneratie mogelijk maakt.
Scaffold-analyse: Definiëren en evalueren van de $\alpha$ -suffix parameter, waarmee een gecontroleerde as is gecreëerd om de afweging tussen nauwkeurigheid en inferentiekosten te regelen.
Uitgebreide Evaluatie: Uitvoeren van uitgebreide experimenten over twee domeinen:
- Wiskunde: GSM8K (In-Distribution), MATH-500, en AIME-25 (Out-of-Distribution).
- Countdown: Een getalpuzzel zoektaak met variaties in doelbereik en zoekdiepte (OOD splits).
Ablatie-studies: Vergelijken van Masked Distillation (met gebruik van reverse-KL) met Supervised Fine-Tuning (SFT) op docent-sporen en het gebruik van expliciete "teaching tokens" als scaffolds.

Resultaten

1. Taakafhankelijkheid van Volledige Internalisering

Het vermogen om volledige internalisering ( $\alpha=0$ ) te realiseren, is sterk afhankelijk van de taak en de eerdere blootstelling van de student aan het domein tijdens de pretraining:

GSM8K (Wiskunde): Volledige internalisering is succesvol. In de zelf-distillatie instelling bereikte de student een nauwkeurigheid van 76,0% (vs. 87,9% van de docent) terwijl het aantal inferentie-tokens met 6,5× werd verminderd. In de dual-model instelling verbeterde de nauwkeurigheid van 15,69% (basis) naar 45,26% met een reductie van 5× in tokens.
Countdown: Volledige internalisering faalt zonder scaffolding. In zelf-distillatie daalde de nauwkeurigheid van de volledig gemaskeerde student naar 41,7% (onder de 56,2% van het basismodel). In de dual-model instelling verbeterde het van 0% naar 34,1%, maar bleef het ver achter bij de docent (87,3%) en de niet-gemaskeerde variant (81,1%).

2. Effectiviteit van $\alpha$ -Suffix Scaffolding

Het bieden van een kleine hoeveelheid scaffolding (het uitzenden van een fractie van het spoor) herstelt de prestaties aanzienlijk, vooral bij taken waar volledige internalisering faalt:

Countdown (Zelf-distillatie): Het instellen van $\alpha = 0,3$ verhoogde de nauwkeurigheid van 41,7% naar 86,2%, wat in essentie overeenkomt met de docent (87,3%), terwijl het aantal inferentie-tokens met ~1,3× werd verminderd ten opzichte van de niet-gemaskeerde variant.
Countdown (Dual-Model): De $\alpha = 0,5$ variant bereikte 84,2% nauwkeurigheid, wat beter is dan de niet-gemaskeerde baseline (81,1%), terwijl er minder tokens werden gebruikt, wat een Pareto-optimaal punt vaststelt.
GSM8K: Kleine scaffolds ( $\alpha=0,3$ ) herstelden het grootste deel van de nauwkeurigheidskloof (83,2% vs. 87,9%) met ongeveer de helft van de tokenkosten van de niet-gemaskeerde variant.

3. Generalisatie naar Out-of-Distribution (OOD)

Target-Range Shift: Modellen getraind met verschillende scaffold-paradigma's vertoonden een goede transfer naar OOD-taken waarbij het doelgetalbereik veranderde.
Search-Depth Shift: In de zelf-distillatie instelling op Countdown generaliseerden scaffold-getrainde studenten (specifiek $\alpha=0,5$ ) beter dan de niet-gemaskeerde variant onder verhoogde zoekdiepte (32,8% vs. 25,7%).
Beperkingen Dual-Model: In de dual-model instelling op moeilijkere wiskundige benchmarks (MATH-500, AIME-25) was de capaciteitskloof tussen de docent en de student te groot; noch volledige internalisering noch scaffolding herstelde de OOD-prestaties, waarbij alle varianten instortten naar de basislijn van de student.

4. Trainingsdoelen

Reverse-KL vs. SFT: Het paper stelt vast dat Supervised Fine-Tuning (SFT) op docent-sporen er niet in slaagt om scaffolding effectief te benutten. In Countdown leverde SFT met scaffolds een nauwkeurigheid van ~38% op, terwijl Reverse-KL Masked Distillation met dezelfde scaffolds ~67% bereikte.
Teaching Tokens: Het bieden van expliciete "teaching tokens" als scaffolds verbeterde de prestaties ten opzien van volledige masking, maar was minder effectief dan de $\alpha$ -suffix benadering.

Betekenis en Claims

Het paper claimt dat suffix scaffolding een controleerbaar mechanisme biedt om de balans tussen nauwkeurigheid en inferentie-efficiëntie te beheren. Het optimale werkpunt wordt bepaald door de specifieke taak en de capaciteitskloof tussen de docent en de student.

Internalisering is mogelijk maar niet universeel: Modellen kunnen redenering internaliseren voor taken waarvan ze bekend zijn (zoals GSM8K), maar hebben moeite met nieuwe zoektaken (zoals Countdown) zonder een deel van het expliciete spoor te behouden.
Kosten-Prestatie Afweging: Een kleine hoeveelheid expliciete redenering (bijv. $\alpha=0,3$ ) kan bijna de volledige prestaties van volledige CoT-generatie herstellen, terwijl het aanzienlijke besparingen oplevert in de kosten van de inferentie (reductie van 1,3× tot 2× in tokens).
Generalisatie: Scaffolding kan de generalisatie verbeteren in specifieke OOD-scenario's (bijv. zoekdiepte-shifts in zelf-distillatie), wat suggereert dat het behouden van een gedeeltelijk spoor helupt het model beter door complexe zoekruimtes te navigeren dan een volledig geïnternaliseerd model of een volledig spoor in bepaalde contexten.

De auteurs concluderen dat hoewel volledige internalisering een aantrekkelijk doel is voor efficiëntie, de $\alpha$ -suffix benadering een praktisch, afstelbaar alternatief biedt dat een hoge prestatie behoudt met verminderde latentie.