🤖 machine learning

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

Dit artikel daagt de aanname uit dat on-policy zelf-distillatie een superieure aanpak is voor continue post-training, door via SDPO-experimenten aan te tonen dat hoewel het in-domain specialisatie versnelt, het vaak leidt tot groter vergeten en modelinstorting vergeleken met on-policy reinforcement learning-methoden vanwege toegenomen parameterdrift en versterkte formateringsartefacten.

Oorspronkelijke auteurs: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

Gepubliceerd 2026-07-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom "Meer" Niet Altijd "Beter" Is

Stel je voor dat je een student (een Large Language Model) nieuwe vaardigheden aanleert over een langere periode. Je wilt dat ze leren rekenen, dan wetenschap, en dan programmeren, zonder te vergeten hoe ze de vorige vakken moesten doen.

Onlangs werd een populaire methode genaamd Self-Distillation de "golden ticket". Het idee was simpel: laat de student een antwoord genereren, en laat diezelfde student (als leraar) elk woord van dat antwoord in realtime beoordelen. Omdat de leraar feedback geeft op elk enkel woord (dense supervisie), leek het alsof de student super snel zou leren en nooit oude lessen zou vergeten.

Dit paper zegt: "Wacht even. Dat werkt niet zo."

De auteurs ontdekten dat hoewel deze "woord-voor-woord" bijles geweldig is voor het beheersen van één specifiek onderwerp, het eigenlijk gevaarlijk is wanneer je probeert een model veel verschillende dingen achter elkaar te leren. Het zorgt er vaak voor dat het model alles wat het eerder heeft geleerd vergeet, en soms zelfs volledig kapot gaat.

Het Kernconflict: De "Razernij" versus de "Stabiele Hand"

Het paper vergelijkt twee onderwijsstijlen:

De "Woord-voor-Woord" Tutor (SDPO): Dit is de self-distillation methode. De leraar kijkt naar het concept van de student en corrigeert elk enkel woord onmiddellijk.
- De Analogie: Stel je een coach voor die naast een sprinter aan de zijlijn staat en bij elke stap roept: "Beweeg je linker voet! Nee, sneller! Buig je knie! Let op je arm!"
- Het Resultaat: De sprinter wordt heel snel in het rennen op dat specifieke circuit op dit moment. Maar als de coach elke paar seconden van mening verandert over de techniek, of als de coach de fouten van de sprinter begint na te bootsen, raakt de sprinter in de war, verliest zijn evenwicht en vergeet hoe hij moet rennen.
De "Finishlijn" Coach (GRPO): Dit is de traditionele Reinforcement Learning methode. De student rent de hele race, en de coach geeft pas aan het einde een cijfer (bijv. "Goed gedaan, je hebt er 10 seconden over").
- De Analogie: De coach laat de hardloper zijn eigen race rennen. Ze grijpen niet in bij elke stap. Ze geven alleen feedback op het eindresultaat.
- Het Resultaat: De hardloper leert misschien iets langzamer, maar ontwikkelt een stabiele, natuurlijke stijl. Wanneer ze overstappen naar een nieuwe baan (een nieuw onderwerp), verliezen ze niet hun evenwicht. Ze herinneren zich hoe ze moeten rennen.

Belangrijkste Bevindingen Uitgelegd met Metaforen

1. Het Probleem van de "Kwetsbare Leraar"

In de "Woord-voor-Woord" methode is de leraar het model zelf. Het paper vond dat als de leraar te snel wordt bijgewerkt (om "vers" te blijven), deze instabiel wordt.

De Metafoor: Stel je een leraar voor die ook een student is. Als de leraar elke 5 minuten van mening verandert over het "juiste" antwoord op basis van wat de student net zei, krijgt de student hoofdpijn. De student begint de verwarring van de leraar te kopiëren.
De Oplossing: Het paper vond dat de leraar stabiel moet zijn. Het is beter om een leraar te hebben die een tijdje hetzelfde blijft en dan pas een snelle update krijgt, in plaats van een leraar die constant aan het verschuiven is.

2. De "Echo-kamer" van Fouten

Wanneer het model zichzelf woord-voor-woord corrigeert, kan het per ongeluk slechte gewoontes versterken.

De Metafoor: Stel je een student voor die per ongeluk een vreemd symbool (zoals een glitchy emoji) in zijn essay schrijft. De "Woord-voor-Woord" leraar ziet het, denkt "Oh, dat hoort bij de stijl", en vertelt de student om het weer te schrijven. De student schrijft het weer, de leraar prijst het weer, en voor je het weet schrijft de student alleen nog maar vreemde symbolen.
Het Resultaat: Het model "collabseert". Het stopt met het beantwoorden van vragen en herhaalt alleen nog maar opmaakfouten, omdat de feedbackloop een kleine fout heeft uitvergroot tot een enorme gewoonte.

3. De "Middenweg" Valstrik (Vergeten)

Het paper ontdekte een vreemd patroon in wat het model vergeet.

De Metafoor: Stel je voor dat je piano leert spelen.
- Als je een liedje leert dat zeer vergelijkbaar is met wat je al weet, word je in beide beter.
- Als je een liedje leert dat volkomen anders is (zoals de overstap van piano naar drums), blijven je pianievaardigheden veilig omdat ze zo verschillend zijn.
- Het Gevaar: Als je een liedje leert dat enigszijn beetje vergelijkbaar is maar met een paar andere regels, raakt je brein in de war. Je probeert de oude regels toe te passen op het nieuwe liedje, en daardoor verpest je beide.
De Bevinding: De "Woord-voor-Woord" methode is goed in de "zeer vergelijkbare" taken, maar verschrikkelijk in de "enigszins vergelijkbare" taken. Het zorgt ervoor dat het model de oude vaardigheden vergeet die dichtbij genoeg waren om te interfereren, maar niet dichtbij genoeg om te helpen.

4. De "Drift"

Het paper keek in de "hersenen" van het model (de parameters) om te zien wat er veranderde.

De Metafoor: De "Finishlijn" coach (GRPO) maakt kleine, zorgvuldige aanpassingen aan de schoenen van de hardloper. De "Woord-voor-Woord" coach (SDPO) is constant bezig met het herbouwen van de benen van de hardloper en het veranderen van zijn pas.
Het Resultaat: De "Woord-voor-Woord" methode zorgt ervoor dat het model zo ver afdrijft van zijn oorspronkelijke zelf dat het zijn vermogen verliest om nieuwe, onverwachte situaties aan te kunnen. Het wordt een specialist die niet buiten de kaders kan denken.

De Kernboodschap

Het paper concludeert dat dense supervisie (het corrigeren van elk woord) een tweesnijdend zwaard is.

Wanneer het werkt: Als je een zeer stabiele leraar hebt en een zeer duidelijke taak, helu het het model om snel te specialiseren.
Wanneer het faalt: In een scenario van "Continual Learning" (waarbij men één ding na het andere leert), is het te agressief. Het versterkt ruis, versterkt opmaakfouten en zorgt ervoor dat het model eerdervergane kennis vergeet.

De Les: Ga er niet vanuit dat het geven van meer feedback (elk woord) een model slimmer of stabieler maakt. Soms is een langzamere, stabielere aanpak (zoals de "Finishlijn" coach) beter voor het langetermijnleren. Het paper waarschuwt ons om self-distillation niet te behanden als een magische stabilisator; het vereist zorgvuldig beheer om te voorkomen dat het model kapot gaat.

Technische Samenvatting: DENSER ≠ BETTER: LIMITS OF ON-POLICY SELF-DISTILLATION FOR CONTINUAL POST-TRAINING

Probleemstelling

Continue post-training is essentieel om fundamentele modellen in staat te stellen nieuwe kennis te verwerven over verschillende domeinen heen, terwijl bestaande capaciteiten behouden blijven. Hoewel recente literatuur suggereert dat on-policy reinforcement fine-tuning (RFT) catastrofaal vergeten beter mitigeert dan supervised fine-tuning (SFT), is er een nieuw paradigma ontstaan—on-policy zelf-distillatie—dat een veelbelovend alternatief vormt. Deze aanpak, belichaamd door Self-Distillation Policy Optimization (SDPO), zet door het model gegenereerde rollouts om in dichte token-niveau supervisie, waarbij het model zichzelf gebruikt als docent, geconditioneerd op geprivilegieerde context (bijv. oplossingen, feedback of demonstraties).

Het centrale probleem dat in dit werk wordt aangepakt, is de vraag of het optimistische beeld van on-policy zelf-distillatie standhoudt in settings voor continu leren. Specifiek onderzoeken de auteurs of SDPO de voordelen van retentie overneemt die worden toegeschreven aan on-policy RL, of dat de dichtheid van token-niveau supervisie nieuwe faalmodi introduceert, zoals instabiliteit, interferentie en collaps, wanneer het wordt toegepast over opeenvolgende taken.

Methodologie

De studie maakt gebruik van een vergelijkend experimenteel kader waarin Self-Distillation Policy Optimization (SDPO) wordt geanalyseerd tegenover Group Relative Policy Optimization (GRPO), een methode voor sequentie-niveau beloningsoptimalisatie.

Experimentele Opzet:
- Modellen: Experimenten maken gebruik van de Qwen3-4B en Olmo-3-7B series modellen.
- Taken: Training vindt plaats over vier domeinen: Wiskunde (MATH), Wetenschap (SCIENCE), Toolgebruik (TOOLUSE) en Codering (CODING).
- Evaluatie: Prestaties worden gemeten op in-distributie benchmarks en out-of-distribution (OOD) taken (bijv. AIME, GPQA, BFCLv4, MMLU-R) om specialisatie, retentie en transfer te beoordelen.
- Continue Setting: Modellen worden sequentieel getraind (MATH → SCIENCE → TOOLUSE → CODING) om continue post-training te simuleren.
Belangrijke Variaties:
- Docent-stabiliteit: De auteurs variëren de Exponential Moving Average (EMA) update-snelheid ( $\alpha$ ) van het docentmodel om de afweging tussen "versheid" en "temporele stabiliteit" te testen. Ze introduceren een "Restart-and-Freeze" strategie (StableSDPO) om deze factoren te ontkoppelen.
- Supervisiedichtheid: De studie vergelijkt standaard SDPO met varianten die Chain-of-Thought (CoT) tokens distilleren om te evalueren of dichtere supervisie (token-niveau versus sequentie-niveau) het leren verbetert.
- Diagnostiek: De auteurs analyseren parameterdrift met behulp van Singular Value Decomposition (SVD) metrieken (spectrale verschuiving, principal-angle rotatie, mask overlap) en respons-manifold verschuivingen via embedding-gelijkenis. Ze bieden ook een theoretische analyse met behulp van een "excess-KL drift" framework.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

Ontkoppeling van Data en Doelstelling: De auteurs scheiden de bron van de data (on-policy) van de trainingsdoelstelling. Ze tonen aan dat hoewel on-policy data gunstig is, de specifieke doelstelling van dichte zelf-distillatie niet automatisch de conservatieve update-bias van sequentie-niveau on-policy RL overneemt.
Fragiliteit van Dichte Signalen: SDPO blijkt een krachtige specialisatiemethode te zijn, maar een fragiel signaal voor continu leren. De effectiviteit ervan is sterk afhankelijk van de stabiliteit van de docent en de betrouwbaarheid van de tokens. De studie onthult dat CoT-distillatie en snelle docent-updates ruis en formateringsartefacten kunnen versterken.
Afwegingen in Continu Leren: In continue settings vertonen SDPO-varianten aanzienlijk zwakkere retentie dan GRPO. Vergeten is niet uniform; het concentreert zich op "intermediaire afstand"-taken—taken die dicht genoeg zijn om te worden beïnvloed door bron-domein updates, maar te weinig uitgelijnd zijn om er baat bij te hebben.
Mechanistische Diagnostiek: Het artikel diagnosticeert de oorzaken van SDPO-falen door middel van:
- Parameter/Respons Drift: SDPO induceert grotere spectrale verschuivingen en respons-manifold veranderingen dan GRPO.
- Artefactversterking: Een "bevestigingsbias"-loop waarbij formateringsartefacten (bijv. herhaalde tokens) worden versterkt door de docent-student-loop, wat leidt tot model-collaps.
- Theoretische Excess KL: Een bewijs dat de token-niveau projectie van SDPO naar een geprivilegieerde docent een excessieve KL-drift induceert vergeleken met de KL-minimale sequentie-beloningsprojectie, wat extra vergeten voorspelt.

Resultaten

Specialisatie versus Retentie: SDPO blinkt uit in directe specialisatie (bijv. het significant verbeteren van Math500 scores na MATH-training), maar faalt in het behouden van capaciteiten tijdens domeinverschuivingen. In een vierfasige continue trainingssequentie stort SDPO met een snelle docent ( $\alpha=5\%$ ) in tot bijna nul prestatie, terwijl GRPO capaciteiten over alle domeinen behield en verbeterde.
Docent-stabiliteit: Geen enkele EMA-snelheid is globaal optimaal. Snelle updates ( $\alpha=5\%$ ) verslechteren de prestaties vaak door temporele instabiliteit. De "Restart-and-Freeze" strategie presteert aanzienlijk beter dan continue EMA, wat suggereert dat stabiele, periodieke docent-updates cruciaal zijn.
CoT Distillatie: Het distilleren van CoT-tokens verbetert de prestaties op gestructureerde, korte sporen (Tool Use), maar schaadt de prestaties op lange, ruisgevoelige redeneertaken (Math, Science), waar tussenliggende tokens vaak artefacten of redundante zelfcontroles bevatten die de credit assignment verwateren.
Intermediaire Afstand-interferentie: OOD-generalisatie volgt een niet-monotoon patroon. Taken die zeer dicht bij het trainingsdomein liggen of zeer ver weg zijn, worden vaak behouden of verbeterd. Echter, taken op een intermediaire afstand lijden het meest onder vergeten, een fenomeen dat consistent is met de interferentietheorie in lineaire modellen.
Collaps-modi: De studie identificeert een specifieke faalmodus waarbij het model instort in het herhalen van formaterings-tokens (bijv. \boxed). Dit wordt toegeschreven aan de zelfversterkende loop van hoogfrequente artefacten in dichte zelf-distillatie.

Betekenis en Claims

Het artikel concludeert dat on-policy zelf-distillatie geen standaard stabilisator is voor continue post-training. Hoewel het een krachtig signaal biedt voor snelle specialisatie wanneer docent-targets stabiel zijn en token-niveau supervisie betrouwbaar is, introduceert het een afweging: dichtere supervisie versterkt lokale leersignalen, maar vergroot de gevoeligheid voor ruis, domein-mismatch en geaccumuleerde artefacten.

De auteurs stellen dat de intuïtie "dichter is beter" onjuist is in de context van continu leren. In tegen tegenstelling tot sequentie-niveau methoden zoals GRPO, die conservatief adapteren en voorafgaande capaciteiten behouden, kunnen de agressieve token-niveau updates van SDPO leiden tot catastrofaal vergeten en model-collaps. Het artikel suggereert dat de toekomst van on-policy zelf-distillatie in continu leren niet afhangt van het verhogen van de signaaldichtheid, maar van het beschermen van het signaal door middel van token-weging, docent-controles en data-balancering om stabiliteit en artefact-bewustzijn te waarborgen.