Stel je een wereld voor waarin computers als gigantische, hongerige bibliotheken zijn die bijna elk boek dat ooit geschreven is, hebben gelezen. Deze bibliotheken, genaamd Large Language Models (LLM's), zijn ongelooflijk slim in het raden van het volgende woord in een zin. Maar alleen weten hoe je een zin afmaakt, is niet genoeg om een lastig wiskundig probleem op te lossen of een kapot computerprogramma te debuggen. Om echt goed te worden in die taken, moeten we ze leren hoe ze moeten denken.

Denk aan dit proces als het trainen van een student. Eerst leest de student een enorme bibliotheek (pre-training) om de basis van taal te leren. Daarna komt er een leraar binnen om hen specifieke lessen te geven over hoe ze puzzels oplossen (post-training). Meestal gebruiken leraren twee hoofdmethode: ze laten de student óf het perfecte antwoord zien en zeggen: "Kopieer dit" (Supervised Fine-Tuning), óf ze laten de student het proberen, geven een cijfer, en zeggen: "Probeer het opnieuw, maar doe het de volgende keer beter" (Reinforcement Learning). Recentelijk werd een nieuwe methode genaamd "On-Policy Distillation" populair. Het is alsof een leraar de student een probleem ziet oplossen in realtime en fluistert: "Ja, dat woord was goed," of "Nee, dat woord was fout," gebaseerd op wat de leraar gezegd zou hebben. Het is efficiënt en vermijdt de rommelige zaken van het ontwerpen van complexe beoordelingssystemen.

Maar hier zit een addertje onder het gras: zelfs deze slimme methode heeft een gebrek. Wanneer de leraar fluistert, kan hij per ongeluk dingen fluisteren die de student al weet, zoals hoe je beleefd bent of hoe je een verhaal vertelt, in plaats van de specifieke "aha!"-momenten van logica die de leraar een genie maken in redeneren. Het papier dat je nu gaat lezen stelt een eenvoudige vraag: Wat als we de ruis konden wegfilteren en alleen de nieuwe trucjes zouden leren die de leraar heeft geleerd?

Dit papier introduceert een slimme nieuwe techniek genaamd On-Policy Delta Distillation (OPD2). De onderzoekers realiseerden zich dat een "Reasoning Teacher" eigenlijk twee modellen in één is: het oorspronkelijke "Base" model (voordat het leerde te redeneren) en het "Reasoning" model (nadat het leerde te redeneren). Als je de gedachten van het Base-model aftrekt van de gedachten van het Reasoning-model, krijg je een "Delta Signal". Dit signaal is als een hoogtepuntenvideo van precies wat er veranderde toen de leraar leerde te denken. In plaats van alleen het eindantwoord van de leraar te kopiëren, leert de student van dit "Delta Signal"—het specifieke verschil dat de sprong in redeneervermogen vertegenwoordigt.

De auteurs testten dit idee door wiskunde, wetenschap en programmeerproblemen te mengen. Ze ontdekten dat het gebruik van dit "Delta Signal" als de belangrijkste beloning hielp om studenten veel sneller en beter te laten leren dan de oude methoden. Sterker nog, hun nieuwe methode, OPD2, versloeg consequent de vorige beste technieken over verschillende groottes van modellen, van kleine 1,7 miljard-parameter modellen tot enorme 8 miljard-parameter modellen. Het werkte zo goed dat een kleiner model getraind met OPD2 soms een veel groter model getraind met oudere methoden kon overtreffen. Het papier suggereert dat door alleen te focussen op de verandering in het denken, in plaats van de hele persoonlijkheid van de leraar, we AI effectiever kunnen leren redeneren zonder tijd te verspillen aan wat het al weet.

Het Verhaal van het "Delta"-signaal

Laten we de mechanica van deze ontdekking verkennen met een eenvoudige analogie. Stel je voor dat je leert een complex computerspel te spelen. Je hebt een "Base" versie van je personage die weet hoe hij moet lopen, springen en praten. Vervolgens krijg je een "Pro" versie van datzelfde personage die de moeilijkste levels van het spel heeft beheerst.

De oude manier van lesgeven (standaard On-Policy Distillation) is als een Pro-personage dat naast je staat en zegt: "Doe precies wat ik doe." Het probleem is dat het Pro-personage nog steeds precies zo loopt en praat als het Base-personage deed. Dus wanneer de Pro zegt: "Loop naar voren," herhalen ze gewoon iets wat je al weet te doen. Je besteedt je tijd aan het oefenen van het lopen, in plaats van het leren van de geheime combinaties die je een pro maken.

De auteurs van dit papier, Byeongho Heo, Jaehui Hwang, Sangdoo Yun en Dongyoon Han van NAVER AI Lab, stelden een andere aanpak voor. Ze vroegen: "Wat als we de student alleen het verschil tussen de Pro en de Base leren?"

Dit verschil is het Delta Signal.

• Het Base Model: Weet hoe het is om te spreken en te schrijven, maar kan struikelen over complexe logica.
• De Reasoning Teacher: Weet hoe het is om te spreken, te schrijven, en moeilijke logische puzzels op te lossen.
• De Delta: De specifieke "magie" die de Teacher leerde om de puzzel op te lossen.

In het papier visualiseren ze dit met woordwolken. Wanneer ze keken naar wat de oude methode leerde, zat het vol met generieke woorden zoals "zie", "probeer" en "verifieer". Maar wanneer ze naar het Delta Signal keken, waren de woorden die opvielen logische verbindingswoorden zoals "derhalve", "echter", "merk op" en "in plaats daarvan". Dit zijn de woorden die een logisch argument bij elkaar houden. Het Delta Signal filtert effectief de "saaie" zaken eruit die de student al weet en benadrukt de "geheime saus" van redeneren.

Hoe ze OPD2 bouwden

Om dit werkend te krijgen, moesten de onderzoekers een paar lastige problemen oplossen. Als je een student alleen het Delta Signal geeft, kunnen ze in de war raken omdat het signaal geen rekening houdt met wat de student zelf aan het doen is. Het is als een coach die instructies schreeuwt zonder de speler vanuit de huidige positie te observeren.

Daarom voegden ze twee speciale ingrediënten toe aan hun recept:

1. Centering: Ze pasten het signaal aan zodat het rond nul is gebalanceerd. Dit helpt de student te begrijpen of een zet "beter dan gemiddeld" of "slechter dan gemiddeld" is, in plaats van alleen een ruwe score te krijgen die misleidend kan zijn.
2. Joint Conditioning: Ze zorgden ervoor dat het nieuwe Delta Signal alleen in werking treedt wanneer het overeenkomt met de oude, standaard methode. Dit fungeert als een vangnet. Als het Delta Signal probeert de student in een vreemde richting te duwen die in strijd is met de algemene stijl van de leraar, zegt het systeem: "Wacht even," en stopt de update. Dit voorkomt dat de student in de war raakt of vergeet hoe hij fatsoenlijk moet spreken terwijl hij probeert te leren hoe hij moet denken.

De Resultaten: Een Nieuwe Kampioen

Het team testte hun nieuwe methode, die ze OPD2 noemden, tegen de oude standaard (OPD) en een nieuwere, geavanceerde methone genaamd ExOPD. Ze gebruikten een mix van 100.000 vragen uit datasets voor wiskunde, wetenschap en coderen. Ze testten dit op diverse modellen, waaronder de Qwen3 familie (groottes 1.7B, 4B en 8B) en het Gemma4 model.

De resultaten waren indrukwekkend. In de "niet-denkende" modus (waarbij modellen snel antwoorden zonder hun werk te tonen), presteerde OPD2 consequent beter dan de anderen.

• Voor het Qwen3-1.7B model in wiskunde verhoogde OPD2 de gemiddelde score van 34,8 naar 54,6. Dat is een enorme sprong, waarbij het de op één na beste methode met meer dan 3 punten versloeg.
• Voor het Qwen3-4B model bereikte OPD2 een gemiddelde score van 70,3, terwijl de vorige beste (ExOPD) op 66,4 zat.
• Nog verrassender was dat het 4B model getraind met OPD2 beter presteerde dan het 8B model getraind met de oude methoden. Dit suggereert dat hoe je traint even belangrijk is als hoe groot je model is.

Ze testten de modellen ook in "denkende" modus, waarbij de modellen al vrij slim zijn en hun redeneerstappen tonen. Dit is moeilijker te verbeteren omdat de modellen al goed zijn. Toch slaagde OPD2 erin om toch nog extra prestaties uit de marge te persen. Bijvoorbeeld, op de HMMT25 wiskunde benchmark verbeterde het Qwen3-8B model zijn score van 44,3 naar 52,3 met OPD2, terwijl de andere methoden de score verslechterden of nauwelijks veranderden.

De methode werkte ook op Gemma4, een andere familie van modellen. Terwijl andere methoden moeite hadden of het model zelfs slechter maakten, verbeterde OPD2 de wiskundescores van 60,6 naar 67,8. Dit laat zien dat het idee van het gebruik van het "Delta Signal" niet slechts een toevalstreffer is voor één specifiek model; het lijkt een algemeen principe te zijn dat AI helpt om beter te leren denken.

Waarom dit ertoe doet

Het papier suggerekt dat de sleutel tot het leren van AI om te redeneren niet alleen het voeren van meer data is of het groter maken van de leraar. Het gaat erom precies te zijn over wat we aanleren. Door de specifieke veranderingen te isoleren die optreden wanneer een model leert te redeneren (de Delta), kunnen we die vaardigheid veel efficiënter overdragen.

De auteurs merken op dat deze methode computationeel efficiënt is. Het kost ongeveer 24-28% meer tijd om te trainen dan de standaard methode, omdat de computer het "Base" model op de achtergrond moet draaien om het verschil te berekenen. Echter, aangezien deze trainingssessies meestal kort zijn (vaak minder dan één volledige pass door de data), is deze kleine extra kostenpost de enorme prestatiewinst waard.

Kortom, OPD2 is als een meesterkok die beseft dat om een leerling de geheimen van een perfecte soep te leren, hij niet alleen "voeg zout toe" moet zeggen. Hij moet zeggen: "Voeg dit veel meer zout toe dan je gewoon doet, want dat is het verschil tussen een goede soep en een geweldige soep." Door op het verschil te focussen, leert de student het geheim sneller en beter. Het papier concludeert dat deze aanpak een belangrijke stap voorwaarts is in het slimmer, sneller en krachtiger maken van AI voor de complexe problemen van de toekomst.