🤖 machine learning

Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe

Dit artikel biedt een systematische analyse van on-policy distillatie voor grote taalmodellen, identificeert de voorwaarden voor succes (zoals compatibele denkpatronen en nieuwe leerinhoud), onthult het token-niveau mechanisme van progressieve uitlijning, en stelt praktische strategieën voor om falende distillatie te herstellen terwijl het de schaalbaarheid voor lange-termijn taken in twijfel trekt.

Oorspronkelijke auteurs: Yaxuan Li, Yuxin Zuo, Bingxiang He, Jinqian Zhang, Chaojun Xiao, Cheng Qian, Tianyu Yu, Huan-ang Gao, Wenkai Yang, Zhiyuan Liu, Ning Ding

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yaxuan Li, Yuxin Zuo, Bingxiang He, Jinqian Zhang, Chaojun Xiao, Cheng Qian, Tianyu Yu, Huan-ang Gao, Wenkai Yang, Zhiyuan Liu, Ning Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat verwarde student wilt leren wiskunde. Je hebt een meester (de "leraar") die alles perfect kan, en een leerling (de "student") die nog veel moet leren.

Vroeger leerde je de student door hem alleen de antwoorden van de meester te laten kopiëren. Maar dit werkt niet altijd goed, omdat de student dan niet leert hoe de meester denkt, maar alleen wat de meester zegt.

Deze paper onderzoekt een nieuwere, slimme methode: On-Policy Distillation. In plaats van alleen antwoorden te kopiëren, laat je de student zelf oefenen en geeft de meester op elk klein stapje van de oplossing direct feedback. Het is alsof de meester naast de student zit en zegt: "Nee, niet die stap, probeer deze," terwijl de student schrijft.

De onderzoekers van de Universiteit Tsinghua hebben echter ontdekt dat deze methode niet altijd werkt, zelfs niet als de meester heel slim is. Ze hebben drie belangrijke dingen ontdekt:

1. Denkpatronen moeten matchen (De "Taal" van het denken)

Stel je voor dat je een student probeert te leren wiskunde, maar de meester denkt in een heel andere taal of gebruikt een heel andere logica.

Het probleem: Als de leraar heel slim is (een "sterke" leraar) maar denkt op een manier die de student niet begrijpt, raakt de student in de war. De student probeert de leraar te volgen, maar omdat hun "denkpatroon" niet overeenkomt, leert de student niets. Het is alsof je iemand probeert te leren zwemmen door hem te vertellen hoe je vliegt; het idee is goed, maar de instructies zijn onbegrijpelijk.
De oplossing: Het maakt niet uit hoe slim de leraar is. Als de leraar en de student op dezelfde manier denken (bijvoorbeeld beide eerst een plan maken, dan rekenen), werkt het leren veel beter. Soms is een iets minder slimme leraar die op dezelfde manier denkt, beter dan een genie dat een heel andere aanpak gebruikt.

2. Slimmer zijn betekent niet altijd "nieuwe kennis"

Soms heb je een leraar die veel beter scoort dan de student, maar levert hij toch geen verbetering op.

De analogie: Stel je voor dat de leraar en de student allebei dezelfde boeken hebben gelezen en dezelfde lessen hebben gevolgd. De leraar is misschien net iets slimmer omdat hij ouder is, maar hij weet eigenlijk niets nieuws wat de student nog niet weet.
Het gevolg: Als de leraar geen nieuwe informatie heeft die de student nog niet kent, kan de student niet groeien. De leraar moet "nieuwe kennis" hebben (bijvoorbeeld door extra training of ervaring) die de student echt kan leren. Als ze allebei op dezelfde manier zijn opgeleid, leert de leraar de student niets nieuws, ongeacht hoe hoog de leraar scoort.

3. De "Overlap" is de sleutel (De gedeelde paden)

De onderzoekers keken heel precies naar wat er gebeurt op het niveau van elk woord dat de student schrijft.

Hoe het werkt: De student en de leraar moeten op de belangrijkste plekken (de woorden met de hoogste kans) op hetzelfde pad lopen. Als ze daar overeenkomen, leert de student snel.
Het geheim: Het blijkt dat de leraar alleen maar hoeft te corrigeren op de woorden waar ze het al over eens zijn. De woorden waar ze het niet over eens zijn, zijn minder belangrijk. Het is alsof je een wegkaart bekijkt: als je en je gids het eens zijn over de eerste 90% van de route, is het heel makkelijk om de laatste 10% ook goed te doen. Als jullie het al over de eerste 90% niet eens zijn, raak je verdwaald.

Hoe maak je het werken als het faalt?

Soms werkt het niet direct. De paper geeft twee slimme tips om het toch te laten werken:

De "Koude Start" (Eerst een beetje oefenen):
Als de student en leraar heel verschillend denken, laat de student eerst een paar keer oefenen met de antwoorden van de leraar (zonder feedback, gewoon kopiëren). Dit brengt de student dichter bij het "denkpatroon" van de leraar. Pas daarna start je de echte training met feedback. Dit is als eerst een paar keer samen wandelen voordat je gaat rennen.
De juiste vragen stellen:
Het helpt als je de leraar vraagt om vragen te beantwoorden die lijken op de vragen die hij zelf eerder heeft gekregen. Als de leraar gewend is om vragen in een bepaalde vorm te krijgen, helpt het om diezelfde vorm te gebruiken. Maar pas op: als je alleen maar die vragen gebruikt, kan de student te star worden. Je moet ook wat andere, nieuwe vragen toevoegen zodat de student blijft leren.

Conclusie

Deze paper leert ons dat het niet gaat om het hebben van de aller-slimste leraar. Het gaat om verbinding.

De leraar en de student moeten op dezelfde manier denken.
De leraar moet iets nieuws te bieden hebben.
En ze moeten op de belangrijkste punten al overeenkomen voordat ze gaan groeien.

Als je deze regels volgt, kun je met een slimme methode (On-Policy Distillation) kleine modellen heel sterk maken, zonder dat je duizenden keren meer rekenkracht nodig hebt dan bij traditionele methoden. Het is een beetje als het vinden van de juiste sleutel voor een slot: het maakt niet uit hoe groot de sleutel is, hij moet alleen wel in het slot passen.

Titel: Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe

Datum: 15 april 2026 (voorgesteld)
Auteurs: Yaxuan Li, Yuxin Zuo, et al. (Tsinghua University, ShanghaiTech, UIUC, Renmin University)

1. Het Probleem

On-Policy Distillation (OPD) is een kernmethode voor het post-trainen van Large Language Models (LLM's), waarbij een student-model zijn eigen generaties (rollouts) gebruikt en de token-probabiliteiten van een leraar-model als een dicht beloningssignaal (dense reward) gebruikt om zijn gedrag te verfijnen. Hoewel OPD succesvol is gebleken in industriële pijplijnen (zoals bij Qwen3 en MiMo), blijft het mechanisme erachter onduidelijk en is de methode in de praktijk kwetsbaar.

De kernvraag die dit paper beantwoordt is: Wanneer slaagt OPD en wanneer faalt het?
De auteurs observeren een opvallend falen: een sterkere leraar (bijv. een 7B model) kan een student volledig falen te verbeteren, terwijl een zwakkere leraar (bijv. een 1.5B model) succesvol is. Traditionele aannames dat "een sterkere leraar altijd beter is" blijken hier niet op te gaan. Er is een gebrek aan inzicht in de token-level dynamiek die bepaalt of de distillatie werkt.

2. Methodologie

Het paper combineert empirische analyse, mechanistische studies op token-niveau en praktische experimenten om de dynamiek van OPD te ontrafelen.

Experimentele Opzet:
- Verschillende student-leraar paren werden getest, waaronder families van DeepSeek (1.5B vs 7B) en Qwen (1.7B vs 4B).
- Er werden "Reverse Distillation" experimenten uitgevoerd (bijv. een 1.5B model dat is getraind met RL, distilleren naar zijn eigen pre-RL checkpoint) om te testen of OPD puur leerpatronen overneemt.
- Verschillende trainingsstrategieën werden vergeleken: puur OPD, OPD met een "off-policy cold start" (SFT vooraf), en het gebruik van prompts die specifiek zijn afgestemd op de leraar.
Metrieken:
- Overlap Ratio: De mate waarin de top- $k$ tokens van de student en leraar overlappen.
- Overlap-Token Advantage: Hoe goed de student de leraar binnen de overlap-regio benadert.
- Entropie Gap: Het verschil in onzekerheid tussen student en leraar.
- Benchmark Scores: Prestaties op wiskundige benchmarks (AIME, AMC).

3. Belangrijkste Bijdragen en Bevindingen

De auteurs identificeren twee cruciale voorwaarden voor succesvolle OPD en onthullen het onderliggende mechanisme.

A. Twee Voorwaarden voor Succes (Phenomenology)

Consistentie in Denkpatronen (Thinking-Pattern Consistency):
- De student en leraar moeten vergelijkbare "denkpatronen" hebben (bijv. vergelijkbare redeneerstappen).
- Vindst: Als de leraar een ander denkpatroon heeft (bijv. een model zonder "Chain-of-Thought" versus een model dat wel redeneert), faalt OPD zelfs als de leraar betere benchmarkscores haalt. Een groot verschil in initial overlap ratio leidt tot falen dat later niet meer te herstellen is.
Nieuwe Kennis, niet alleen Schaal (New Knowledge, Not Just Scale):
- Zelfs met consistente denkpatronen en een sterkere leraar, faalt OPD als de leraar geen nieuwe kennis biedt die de student nog niet heeft gezien.
- Vindst: Als leraar en student op dezelfde data zijn getraind (zelfs met een grotere schaal), zijn hun distributies te vergelijkbaar. De leraar biedt geen extra signaal. Succesvolle OPD vereist dat de leraar kennis bezit die de student nog niet heeft verworven (bijv. door extra RL-post-training).

B. Het Mechanisme op Token-Niveau

Progressieve Alignering: Succesvolle OPD wordt gekenmerkt door een progressieve toename van de overlap tussen de hoogstwaarschijnlijke tokens van student en leraar op de staten die de student bezoekt.
De Rol van Overlap Tokens:
- De optimalisatie vindt bijna uitsluitend plaats op de overlap tokens (tokens die zowel in de top- $k$ van de student als de leraar zitten). Deze set bevat 97%–99% van de totale waarschijnlijkheidsmassa.
- Tokens buiten de overlap dragen nauwelijks bij aan de gradiënt.
- Conclusie: OPD werkt door de student te dwingen zijn waarschijnlijkheidsmassa te herschikken binnen de door de leraar ondersteunde regio, wat een "zelfversterkend" effect heeft.

C. Praktische Recepten voor Falende OPD

Als OPD faalt (door een denkpatroon-kloof), kunnen twee strategieën het herstellen:

Off-Policy Cold Start: Voer eerst een Supervised Fine-Tuning (SFT) uit op de rollouts van de leraar voordat je OPD start. Dit verhoogt de initiële overlap ratio en maakt de token-level supervisie direct bruikbaar.
Leraar-Afgestemde Prompt Selectie: Gebruik prompts die lijken op de data die de leraar tijdens zijn post-training heeft gezien. Dit scherpt de alignering aan, maar moet worden gemixt met andere prompts om te voorkomen dat de entropie van de student te veel instort (overfitting).

D. Grenzen van OPD (Discussion)

Afbraak van Beloning: De kwaliteit van het token-level beloningssignaal verslechtert naarmate de trajectlengte toeneemt. Bij lange redeneringen (long-horizon) wordt de leraar onzeker over de voortzetting van een door de student gegenereerde prefix, wat leidt tot instabiliteit.
Globaal vs. Lokaal: Een leraar kan een globaal informatief signaal geven (correcte antwoorden krijgen hogere beloning), maar lokaal kunnen de gradiënten anisotroop zijn en elkaar opheffen, wat leidt tot falen bij bepaalde leraar/student paren.

4. Resultaten

Reverse Distillation: Een student (JustRL-1.5B) die wordt gedistilleerd naar een zwakkere leraar (1.5B pre-RL) degradeert exact naar het pre-RL niveau. Distillatie naar een sterkere leraar (7B) uit dezelfde familie leidt tot hetzelfde falen. Dit bewijst dat OPD denkpatronen leert, niet puur benchmark-prestaties.
Gap Recovery: Leraars met extra RL-post-training (en dus nieuwe kennis) herstellen een veel groter deel van de prestatiekloof (bijv. 58.6% vs 15.6%) dan leraars zonder extra training.
Ablatie Studies: Het optimaliseren van alleen de overlap tokens levert bijna dezelfde prestaties op als volledige top- $k$ distillatie, wat bevestigt dat de overlap-regio de belangrijkste bron van het gradiëntsignaal is.
Prompt Invloed: Het gebruik van de juiste prompt-template en content van de leraar verbetert de overlap ratio en de uiteindelijke nauwkeurigheid aanzienlijk.

5. Betekenis en Impact

Dit paper is fundamenteel voor het begrijpen van de toekomstige ontwikkeling van LLM's:

Paradigmaverschuiving: Het weerlegt de intuïtie dat "sterker altijd beter is" in distillatie. Het benadrukt dat compatibiliteit in denkpatronen en de aanwezigheid van nieuwe kennis cruciaal zijn.
Efficiëntie: Het biedt een "recept" om falende OPD-pijplijnen te redden zonder de leraar te hoeven vervangen, door simpelweg de startcondities (SFT cold start) of de prompts aan te passen.
Beperkingen voor Langere Redeneringen: Het waarschuwt voor de schaalbaarheid van OPD naar zeer lange contexten (agentic settings), omdat de betrouwbaarheid van het token-level signaal afneemt naarmate de trajectlengte toeneemt.
Toekomstig Onderzoek: Het opent de deur voor hybride benaderingen (dicht signaal op korte stukken, spaarzaam op lange stukken) en verder onderzoek naar self-distillation en de impact van pre-training data.

Kortom, dit paper transformeert OPD van een "black box" techniek naar een begrijpelijk proces met duidelijke voorwaarden voor succes en praktische richtlijnen voor implementatie.