🤖 machine learning

Self-Distillation Enables Continual Learning

Dit artikel introduceert Self-Distillation Fine-Tuning (SDFT), een methode die in-context learning gebruikt om on-policy trainingssignalen te genereren uit expertdemonstraties, waardoor fundamentale modellen continu nieuwe vaardigheden kunnen verwerven terwijl het catastrofale vergeten aanzienlijk wordt verminderd in vergelijking met traditionele supervised fine-tuning.

Oorspronkelijke auteurs: Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

Gepubliceerd 2026-08-10

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je favoriete videogame-personage elke keer dat je speelt een nieuw niveau kan leren, en steeds beter wordt in de nieuwe dingen zonder te vergeten hoe het over de oude obstakels moet springen. Dat is de droom van "continual learning" (voortdurend leren) in kunstmatige intelligentie. Op dit moment zijn de meeste AI-modellen als statische standbeelden; zodra ze zijn gebouwd en uitgebracht, kunnen ze niet echt nieuwe dingen leren zonder de oude dingen die ze kenden te breken. Als je probeert een model een nieuwe vaardigheid aan te leren, lijdt het vaak aan "catastrophic forgetting" (catastrofaal vergeten), waarbij het plotseling vergeet hoe het alles deed wat het eerst goed kon. De grote uitdaging voor wetenschappers is uitzoeken hoe ze deze digitale hersenen nieuwe trucs kunnen laten blijven leren en groeien, net zoals mensen dat doen, zonder hun oorspronkelijke persoonlijkheid of vermogens te verliezen.

De paper die je zojuist gaat lezen, pakt dit probleem aan door een slimme nieuwe methode te introduceren genaamd Self-Distillation Fine-Tuning (SDFT). Zie dit als een manier om een AI te onderwijzen met behulp van een "leraar"-versie van zichzelf. In plaats van alleen antwoorden uit een tekstboek te memoriseren (wat vaak leidt tot vergeten), kijkt de AI naar een voorbeeld van hoe een taak wordt uitgevoerd, stelt zichzelf voor als een expert die dat voorbeeld net heeft gezien, en probeert vervolgens zijn "student"-zelf te leren hoe het moet. Dit proces, genaamd "on-policy learning", stelt de AI in staat om nieuwe vaardigheden te leren terwijl het zijn oude vaardigheden veilig houdt. De onderzoekers ontdekten dat deze methode veel beter werkt dan de standaard manier van trainen, waardoor een enkel model in de loop van de tijd meerdere nieuwe vaardigheden kan leren zonder achteruit te gaan.

Het Probleem: De Vergeetachtige Student

Stel je voor dat je een student bent die erg goed is in wiskunde. Op een dag geeft je leraar je een stapel oefenopgaven voor een nieuw vak, zoals scheikunde. Je studeert hard, maar de manier waarop je studeert is door simpelweg de antwoorden achterin het boek te kopiëren zonder de stappen echt te begrijpen. Wanneer je een toets voor scheikunde maakt, doe je het wel oké. Maar wanneer je de volgende dag een wiskundeprobleem probeert op te lossen, besef je dat je de basis van algebra bent vergeten! Dit is wat er bij de meeste AI-modellen van vandaag gebeurt.

De standaardmanier om AI nieuwe dingen te leren is Supervised Fine-Tuning (SFT). Het is alsof de student gewoon de "correcte" antwoorden memoriseert uit een dataset van expert-demonstraties. Het probleem is dat deze methode "off-policy" is, wat betekent dat de AI leert van data die hij niet zelf heeft gegenereerd. Het is alsof je een kaart van een stad bestudeert die je nog nooit hebt bezocht. Wanneer je daadwerkelijk door de straten probeert te lopen (een nieuw probleem oplost), raak je verdwaald, en in het proces van verdwalen vergeet je hoe je door je eigen buurt navigeert. Het resultaat is "catastrophic forgetting", waarbij de AI zijn algemene intelligentie verliest om een specifieke nieuwe truc te leren.

De Oplossing: Het Leraar-Leerling Spel

De auteurs van deze paper, Idan Shenfeld en zijn team, bedachten een slimmere manier van leren genaamd Self-Distillation Fine-Tuning (SDFT). In plaats van alleen antwoorden te kopiëren, gebruiken ze een spel van "Leraar en Student" waarbij beide rollen worden gespeeld door hetzelfde AI-model.

Zo werkt de goocheltruc:

De Opzet: Je hebt een prompt (een vraag) en een demonstratie (een voorbeeld van een goed antwoord).
De Leraar: Het AI-model kijkt naar de vraag en het voorbeeld. Omdat het een slim model is, gebruikt het zijn "in-context learning"-vermogen om het voorbeeld te begrijpen en een perfect, expert-niveau antwoord te genereren. Dit is de "Leraar"-versie van het model.
De Student: Hetzelfde AI-model kijkt naar alleen de vraag (zonder het voorbeeld) en probeert op eigen kracht een antwoord te genereren. Dit is de "Student".
De Les: De Student probeert het antwoord van de Leraar te evenaren. Maar hier is het cruciale verschil: de Student leert van zijn eigen pogingen, niet alleen door een statische lijst te kopiëren. Hij genereert zijn eigen pad, ziet waar hij fout ging in vergelijking met de Leraar, en corrigeert zichzelf.

Dit is "on-policy" leren. De AI leert van het pad dat hij daadwerkelijk aflegt, net zoals een mens die leert fietsen door te vallen en weer op te staan, in plaats van alleen een handleiding te lezen.

Wat Ze Vonden: Leren Zonder te Verliezen

De onderzoekers testten dit idee op twee belangrijke manieren: het aanleren van de AI nieuwe vaardigheden (zoals het gebruiken van tools of het beantwoorden van wetenschappelijke vragen) en het aanleren van nieuwe feiten (zoals nieuws over gebeurtenissen die plaatsvonden nadat de AI oorspronkelijk werd getraind).

1. De "Niet Vergeten"-test
In een uitdagend experiment trainden ze een enkel model op drie verschillende vaardigheden na elkaar: het gebruiken van tools, het beantwoorden van wetenschappelijke vragen en medisch redeneren.

De Oude Manier (SFT): Zodra het model begon te leren over de tweede vaardigheid, stortte de prestatie op de eerste vaardigheid in. Tegen de tijd dat het de derde vaardigheid leerde, had het de eerste twee vergeten. Het was een cyclus van leren en vergeten.
De Nieuwe Manier (SDFT): Het model leerde de tweede vaardigheid, daarna de derde, en bleef ook beter worden in de eerste. Het leerde niet alleen; het cumuleerde kennis. De paper laat zien dat SDFT een enkel model toestaat om over tijd meerdere vaardigheden op te stapelen zonder dat de prestaties dalen.

2. De "Echt Begrip"-test
Bij het aanleren van de AI nieuwe feiten (zoals details over een aardbeving in 2025 die plaatsvond na de cutoff van de trainingsdata), leerde de standaardmethode (SFT) het model om specifieke antwoorden te memoriseren. Als je een iets andere vraag stelde, raakte het model in de war.
SDFT hielp het model echter om de feiten echt te begrijpen. Wanneer het werd gevraagd naar lastige vragen die niet direct overeenkwamen met de tekst die het had gememoriseerd, gaf SDFT bijna 100% van de tijd de juiste antwoorden, terwijl de standaardmethode moeite had. Dit suggereert dat SDFT de AI helpt een echte interne kennisbasis op te bouwen, in plaats van alleen een naslagwerk.

3. De "Redenerings"-redding
Een van de coolste bevindingen ging over AI die goed is in "denken" (stapsgewijs redeneren). Soms, wanneer je deze modellen traint met korte, eenvoudige antwoorden (omdat dat de enige beschikbare data is), stoppen ze met denken en geven ze alleen korte antwoorden. Ze verliezen hun "chain of thought" (denkstappen).
De onderzoekers ontdekten dat SDFT de dag kwam redden. Zelfs toen de trainingsdata alleen korte antwoorden bevatte, hield de SDFT-methode de redeneervaardigheden van het model levend. Het model bleef lange, doordachte verklaringen produceren omdat het leerde van een "Leraar" die de intentie van het antwoord begreep, en niet alleen de woorden.

Waarom Grootte Er Toe Doet

De paper ontdekte ook dat deze truc het beste werkt met grotere hersenen. Ze testten modellen van verschillende groottes (3 miljard, 7 miljard en 14 miljard parameters).

Het kleine model (3B) was niet slim genoeg om een goede leraar te zijn; het kon de voorbeelden niet goed begrijpen, waardoor de methode niet veel hielp.
Het middelgrote model (7B) zag een grote verbetering.
Het grote model (14B) zag de grootste sprong en presteerde aanzienlijk beter dan de standaardmethode.

Dit suggereert dat naarmate AI-modellen groter worden en beter worden in "in-context learning" (voorbeelden begrijpen tijdens het gebruik), deze zelflerende methode nog krachtiger zal worden.

De Keerzijde en de Toekomst

Natuurlijk zijn er een paar kanttekeningen. Deze methode is niet gratis. Omdat de AI zijn eigen antwoorden moet genereren om van te leren, kost het ongeveer 2,5 keer meer rekenkracht en 4 keer langer om te trainen dan de standaardmethode. De auteurs argumenteren echter dat dit op de lange termijn zelfs tijd kan besparen, omdat je geen meerdere rondes van training hoeft te doen om het vergeten-probleem op te lossen.

Bovendien hangt de methode af van de vraag of de AI slim genoeg is om de voorbeelden in eerste instantie te begrijpen. Als het model te klein of niet slim genoeg is, zal de "Leraar" niet erg goed zijn, en zal de les niet werken.

Uiteindelijk suggereert deze paper een veelbelovende weg vooruit. Door AI-modellen zichzelf te laten onderwijzen met behulp van hun eigen "wijzere" versies als gids, kunnen we eindelijk AI bouwen die niet alleen één keer leert, maar blijft leren, groeien en verbeteren gedurende haar leven, net als wij dat doen.

Technische Samenvatting: Zelf-distillatie maakt continu leren mogelijk

Probleemstelling

Foundation models kampen momenteel met een fundamentele beperking: ze blijven statisch na implementatie. Hoewel ze hun gedrag tijdens de inferentie kunnen aanpassen via prompting of retrieval, updaten ze hun parameters niet om nieuwe vaardigheden te verwerven of nieuwe kennis te internaliseren. De kernuitdaging is continual learning (continu leren)—het in staat stellen van modellen om te leren en te verbeteren over tijd zonder bestaande capaciteiten te degraderen.

Bestaande benaderingen voor het leren van expert-demonstraties, de primaire alternatieven voor expliciete beloningsfuncties, vertrouwen op Supervised Fine-Tuning (SFT). SFT is echter inherent off-policy, waarbij getraind wordt op een vaste, offline datadistributie. Dit leidt tot catastrophic forgetting (catastrofaal vergeten), waarbij het aanpassen aan nieuwe taken zorgt voor een ernstige regressie in eerdere algemene capaciteiten. Daartegenover staat on-policy learning (trainen op trajecten die door het model zelf worden gegenereerd), wat heeft aangetoond vergeten te verminderen en generalisatie te verbeteren, maar dit vereist doorgaans expliciete beloningsfuncties (Reinforcement Learning), die in real-world settings vaak niet beschikbaar zijn.

De centrale vraag die in dit werk wordt behandeld is: Hoe kunnen we de voordelen van on-policy learning verkrijgen wanneer alleen expert-demonstraties beschikbaar zijn?

Methodologie: Self-Distillation Fine-Tuning (SDFT)

De auteurs stellen Self-Distillation Fine-Tuning (SDFT) voor, een methode die on-policy learning direct uit demonstraties mogelijk maakt door gebruik te maken van de in-context learning (ICL) capaciteiten van grote pre-trained modellen.

Kernmechanisme

SDFT gebruikt één enkel model in twee verschillende rollen tijdens de training:

Teacher (Docent): Het model geconditioneerd op zowel de taak-input ( $x$ ) als een expert-demonstratie ( $c$ ). Dit creëert een demonstratie-bewuste distributie $Q = \pi(\cdot|x, c)$ . De prompt-structuur moedigt het model aan om de intentie achter de demonstratie te begrijpen in plaats van letterlijke kopieergedrag.
Student: Het basismodel geconditioneerd op alleen de taak-input ( $x$ ), wat distributie $P = \pi(\cdot|x)$ produceert.

Trainingsdoelstelling

De student wordt getraind om het gedrag van de teacher te matchen op trajecten die door de student zelf (on-policy) worden gegenereerd. De doelstelling minimaliseert de reverse Kullback-Leibler (KL) divergentie tussen de student- en de teacher-distributies:
$\mathcal{L}(\theta) = D_{KL} (\pi_\theta(\cdot|x) \parallel \pi(\cdot|x, c)) = \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} \left[ \log \frac{\pi_\theta(y|x)}{\pi(y|x, c)} \right]$

Theoretische Interpretatie

Het paper interpreteert SDFT vanuit twee perspectieven:

Distillatie: Een student-teacher framework waarbij de teacher een "wijzere", demonstratie-bewuste versie van de student is.
Inverse Reinforcement Learning (IRL): De auteurs tonen wiskundig aan dat SDFT equivalent is aan het maximaliseren van een impliciete beloningsfunctie. Door aan te nemen dat de demonstratie-geconditioneerde policy de optimale policy benadert ( $\pi^* \approx \pi(\cdot|x, c)$ ), fungeert de log-ratio tussen de teacher- en student-distributies als een intrinsiek beloningssignaal. Dit stelt het model in staat om on-policy updates uit te voeren zonder een expliciete beloningsfunctie.

Praktische Implementatie

Teacher Parameterisatie: De parameters van de teacher zijn doorgaans een Exponential Moving Average (EMA) van de parameters van de student.
Loss Functie: Hoewel de theoretische afleiding Reverse KL suggereert, vonden de auteurs dat Forward KL op logit-niveau in de praktijk betere prestaties oplevert.
{% endfilter %}
Gradiënt Schatting: De loss wordt gedecomposeerd in een token-level loss, waarbij de teacher-distributie als vast wordt beschouwd tijdens de gradiëntberekening.

Belangrijkste Bijdragen

Nieuw Framework: Introductie van SDFT, een eenvoudige methode om expert-demonstraties om te zetten in on-policy learning-signalen zonder expliciete beloningsinferentie.
Theoretische Equivalentie: Het bewijs dat zelf-distillatie vanuit demonstraties wiskundig equivalent is aan het maximaliseren van een impliciete beloningsfunctie, afgeleid van de eigen in-context learning capaciteiten van het model.
Validatie van de ICL-aanname: Empirisch bewijs dat demonstratie-geconditioneerde modellen fungeren als hoogwaardige teachers (die optimale outputs produceren) terwijl ze dicht bij de basis-policy blijven (minimale afwijking), wat voldoet aan de vereisten voor trust-region regularisatie.
Robuustheid tegen Databeperkingen: Demonstratie dat SDFT effectief reasoning-modellen kan trainen, zelfs wanneer de supervisiedata geen expliciete chain-of-thought traces bevat, wat "reasoning collapse" voorkomt die vaak wordt gezien bij standaard SFT op antwoord-alleen data.

Experimentele Resultaten

De auteurs evalueerden SDFT in twee settings: Skill Learning (het verwerven van nieuwe taken) en Knowledge Acquisition (het integreren van nieuwe feitelijke informatie).

1. Skill Learning (Sequentieel Leren)

Taken: Wetenschappelijke Vraag & Antwoord, Tool Use en Medisch redeneren.
Bevindingen:
- Catastrophic Forgetting: In sequentiële trainingsexperimenten (het achtereenvolgens leren van drie vaardigheden), stelde SDFT een enkel model in staat om vaardigheden te accumuleren zonder prestatie-regressie op eerdere taken. In contrast hiermee vertoonde SFT ernstige interferentie, waarbij het leren van een nieuwe taak leidde tot snelle degradatie van eerder geleerde vaardigheden.
- Generalisatie: SDFT bereikte een hogere nauwkeurigheid op nieuwe taken vergeleken met SFT, wat wijst op een betere in-distribution generalisatie.
- Pareto Efficiëntie: SDFT behaalde consistent superieure trade-offs tussen nauwkeurigheid op nieuwe taken en het behoud van eerdere capaciteiten vergeleken met baselines (SFT, DFT en Re-invoke).

2. Knowledge Acquisition

Setup: Integratie van feitelijke kennis over natuurrampen in 2025 (post-training cutoff) in een model.
Bevindingen:
- SDFT presteerde significant beter dan SFT en Continual Pre-Training (CPT) op zowel strikte nauwkeurigheid als vragen buiten de distributie (indirecte vragen).
- SDFT bereikte bijna perfecte nauwkeurigheid op indirecte vragen, wat suggereert dat de nieuwe kennis correct is geïntegreerd in het interne geheugen van het model in plaats van slechts te zijn gememoriseerd als specifieke antwoordpatronen.

3. Schaling en Modelgrootte

ICL Afhankelijkheid: De effectiviteit van SDFT is nauw verbonden met de modelgrootte. Kleinere modellen (bijv. 3B) met zwakke in-context learning faalden om betekenisvolle teacher-signalen te leveren en presteerden slechter dan SFT. Grotere modellen (7B, 14B) vertoonden een monotone verbetering, waarbij het 14B model een gat van 6.9 punten sloeg ten opzien van SFT.

4. Reasoning Modellen

Antwoord-alleen Supervisie: Bij het finetunen van een reasoning model (Olmo-3-7B-Think) op data die alleen eindantwoorden bevat (geen chain-of-thought), veroorzaakte standaard SFT een instorting van de diepte van het redeneren (kortere antwoorden) en verminderde de nauwkeurigheid. SDFT behield het lange chain-of-thought gedrag van het model terwijl de nauwkeurigheid werd verbeterd.

Betekenis en Claims

Het paper claimt dat SDFT on-policy distillatie als een praktisch pad naar continual learning vanuit demonstraties vestigt.

Overbruggen van de Off-Policy Beperking: Het werk demonstreert dat de voordelen van on-policy learning (minder vergeten, betere generalisatie) gerealiseerd kunnen worden zonder expliciete beloningsfuncties, mits het model over voldoende in-context learning capaciteiten beschikt.
Praktische Haalbaarheid: Hoewel SDFT een hogere computationele kost met zich meebrengt (ongeveer 2.5x FLOPs en 4x wandkloktijd vergeleken met SFT door on-policy rollouts), beargumenteren de auteurs dat dit wordt gecompenseerd door het elimineren van multi-stage trainingspipelines (zoals SFT gevolgd door Re-invoke) die nodig zijn om vergeten te mitigeren.
Complementair aan RL: De auteurs positioneren SDFT niet als een vervanging voor on-policy RL, maar als een complementair regime. Het kan dienen als een effectieve initialisatie voor daaropvolgende reward-gebaseerde fine-tuning.

Het paper concludeert dat SDFT foundation models in staat stelt om continu te blijven leren en te verbeteren over tijd, waarmee ze dichter bij de menselijke capaciteit komen om kennis te accumuleren en vaardigheden te verfijnen gedurende een leven.