SR-OPSD: Self-Referenced On-Policy Self-Distillation

Stel je voor dat je een robot leert om een verhaal te schrijven of een wiskundig probleem op te lossen. Je wilt niet alleen dat de robot het uiteindelijke antwoord goed heeft; je wilt dat de robot leert hoe hij stap voor stap moet denken. In de wereld van Kunstmatige Intelligentie gebeurt dit vaak door de robot te laten proberen, falen, en dan aan het einde een kleine "beloning" of "straf" te geven. Maar dit is als een leerling die een toets maakt en pas achteraf ontdekt dat hij een "B" heeft gehaald, zonder te weten welke specifieke zin of berekening de fout heeft veroorzaakt. Om dit op te lossen, gebruiken onderzoekers een truc genaamd "zelf-distillatie" (self-distillation). Denk aan dit als het feit dat de robot twee rollen tegelijk speelt: een "Leerling" die probeert de problemen op te lossen, en een "Docent" (wat eigenlijk dezelfde robot is, maar met een beetje extra hulp of een "geverifieerde oplossing") die het werk van de Leerling observeert en feedback geeft op elk afzonderlijk woord. De Leerling probeert vervolgens de keuzes van de Docent te kopiëren.

Het probleem is dat deze Docent geen statische, perfecte gids is. Naarmate de Leerling beter wordt, verandert de Docent ook, omdat ze beiden deel uitmaken van hetzelfde evoluerende brein. Het is alsoals proberen een bewegend doelwit te raken terwijl de wind ook nog eens van richting verandert. Als de Leerling de Docent te rigide probeert te kopiëren, kunnen ze vast komen te zitten in een lus, waarbij ze dezelfde fouten herhalen of te nauw in hun denken worden. Dit paper introduceert een nieuwe manier om deze dans aan te pakken, genaamd SR-OPSD. Het is een methode die de Leerling helpt om van de Docent te leren zonder in de war te raken door het bewegende doelwit, door gebruik te maken van een speciale wiskundige "kompas" om het leren stabiel en effectief te houden.

Het Probleem van het Bewegende Doelwit

In veel AI-trainingsmethoden is het doel om de AI slimmer te maken door hem te laten leren van zijn eigen successen. Het paper begint met het bekijken van een methode genaamd "On-Policy Self-Distillation" (OPSD). Stel je een leerling voor die een toets maakt. In OPSD schrijft de leerling een antwoord, en dan zegt een "zelf-docent" (wat dezelfde leerling is, maar die naar het antwoord kijkt met een hint van de juiste oplossing): "Hé, dit deel deed je goed, maar dat woord was een beetje afwijkend." De leerling probeert vervolgens zijn toekomstige antwoorden aan te passen om overeen te komen met de docent.

Echter, er is een addertje onder het gras. De docent is geen vaststaand boek; het is een versie van de leerling die voortdurend verandert. Naarmate de leerling leert, verandert de docent ook. Als je probeert een docent te kopiëren die voortdurend van positie verschuift, kun je eindigen met een wiebelend proces, waarbij je nooit echt tot een goed antwoord komt. Het paper suggereert dat het simpelweg proberen te matchen met deze bewegende docent met standaard wiskundige instrumenten vaak leidt tot instabiliteit. De leerling kan te gefocust raken op één manier van denken (creativiteit verliezen) of in de war raken door de constante veranderingen.

De Nieuwe Oplossing: Een Vast Anker en een Flexibel Kompas

De auteurs stellen een nieuwe methode voor genaamd SR-OPSD (Self-Referenced On-Policy Self-Distillation). Ze realiseerden zich dat je, om het wiebelen te stoppen, twee dingen nodig hebt: een vast punt om vast te houden en een flexibele manier om naar het doel te bewegen.

1. Het Vaste Anker (Reference Policy): In plaats van alleen naar de bewegende Docent te kijken, houdt de leerling ook een oog op een "Referentie". Denk aan dit als de oorspronkelijke, vooraf getrainde versie van de leerling—de versie voordat ze aan deze specifieke training begonnen. Deze Referentie fungeert als een vuurtoren. Zelfs als de Docent (het bewegende doelwit) afwijkt, weet de leerling dat hij niet te ver van zijn oorspronkelijke, solide fundament mag afdwalen. De nieuwe methode mengt het advies van de Docent met deze Referentie, waardoor een "doelwit" ontstaat dat stabiel is maar nog steeds nuttig.
2. Het Flexibele Kompas (Rényi Divergence): Zodra het doel is vastgesteld, heeft de leerling een manier nodig om naar dat doel te bewegen. Het paper gebruikt een wiskundig instrument genaamd Rényi-divergentie. Je kunt dit zien als een speciaal soort "magneet" of "kompas" dat controleert hoe sterk de leerling naar het doel wordt getrokken.
   • Als de magneet te sterk is, kan de leerling te snel naar het doel springen en zijn eigen stem verliezen.
   • Als hij te zwak is, zal de leerling niets leren.
   • De schoonheid van de Rényi-tool is dat het een "knop" heeft (de orde $\rho$) waarmee onderzoekers precies kunnen afstemmen hoe de leerling reageert op de verschillen tussen hun huidige antwoord en het doel. Het stelt de leerling in staat om gevoelig te zijn voor kleine details of deze te negeren, afhankelijk van wat de taak vereist.

Wat Ze Hebben Ontdekt

De onderzoekers hebben deze nieuwe methode getest op drie zeer verschillende soorten taken:

• Wetenschappelijke Vragen: Het beantwoorden van lastige vragen over chemie, natuurkunde en biologie.
• Wiskundig Redeneren: Het oplossen van moeilijke wiskundeproblemen waarbij de stappen even belangrijk zijn als het antwoord.
• Coderen: Het schrijven van computertalen die daadwerkelijk werken.

Ze vergeleken hun nieuwe methode (SR-OPSD) met oudere methoden zoals standaard "Reverse KL" (wat een zeer strikte docent is) en "Jensen-Shannon Divergentie" (een meer gebalanceerde maar soms instabiele docent).

De Resultaten:

• Stabiliteit: In de wetenschaps- en wiskundetests begonnen de oudere methoden vaak sterk, maar werden ze in de loop van de tijd slechter, zoals een hardloper die te snel sprint en dan instort. SR-OPSD verbeterde echter gestaag. Bijvoorbeeld, op een natuurkundige benchmark bereikte de nieuwe methode een nauwkeurigheid van 81,1 (met een specifieke metriek genaamd Avg@16), terwijl de oudere methoden rond de 79,4 of lager schommelden.
• Wiskundige Meesterschap: Op moeilijke wiskundecompetities (zoals AIME en HMMT) hielp de nieuwe methode de AI om meer problemen correct op te lossen. Bijvoorbeeld, op de AIME 2025 test verbeterde de nieuwe methode het "Pass"-percentage (het goed hebben van het antwoord) met 6,7 procentpunt vergeleken met een populaire baseline-methode genaamd GRPO.
• Coderen: Wanneer de AI werd geleerd om code te schrijven, werkte de nieuwe methode beter naarmate de AI-modellen groter werden. Voor het grootste geteste model (Qwen3-8B) behaalde de nieuwe methode een score van 50,1, waarmee het de vorige beste score van 48,8 versloeg.

Waarom Het Er Toe Doet

Het paper suggereert dat het geheim om AI te laten leren van zijn eigen fouten niet alleen het hebben van een betere docent is; het gaat erom hoe je de leerling met die docent verbindt. Door het leerproces te verankeren aan een stabiele "Referentie" en een afstembaar "Kompas" te gebruiken (de Rényi-divergentie), kan de AI complexe vaardigheden leren zonder in de war te raken of de weg kwijt te raken.

De auteurs ontdekten dat het simpelweg toevoegen van een referentiepunt op zichzelf niet genoeg was; het maakte zaken zelfs slechter als het werd gecombineerd met de verkeerde wiskundige instrumenten. Maar toen ze de referentie combineerden met hun nieuwe flexibele kompas, waren de resultaten consistent beter over wetenschap, wiskunde en coderen. Dit suggereert dat voor AI om echt complexe redeneringen te beheersen, het een trainingsmethode nodig heeft die een balans vindt tussen de opwinding van nieuwe feedback en de stabiliteit van de oorspronkelijke kennis.