On-Policy Self-Distillation without Any Supervision

Stel je een wereld voor waarin gigantische, digitale breinen — Large Language Models (LLM's) genoemd — leren om complexe puzzels op te lossen, zoals wiskundeproblemen. Een lange tijd hadden deze breinen een menselijke leraar nodig die over hun schouder meekijkte, fouten aanwees en de juiste antwoorden gaf. Dit is als een leerling die een toets maakt waarbij de leraar de juiste antwoorden fluistert voordat de leerling zelfs maar klaar is met de vraag. Maar wat als de leraar er niet was? Wat als het brein zichzelf moest leren? Dit is de grote vraag die onderzoekers zich stellen: Kan een model slimmer worden door simpelweg naar zijn eigen werk te kijken, zonder enige externe hulp?

Om het nieuwe idee in dit artikel te begrijpen, moet je twee dingen weten. Ten eerste is er een techniek genaamd "distillatie", wat lijkt op een leerling die probeert het denkproces van een meester te kopiëren. Meestal is de "meester" een aparte, grotere of slimmere AI. Ten tweede is er "on-policy" leren, wat betekent dat de leerling oefent met de exacte antwoorden die hij zelf genereert, in plaats van te studeren met oude, vooraf geschreven voorbeelden. De grote hindernis is altijd geweest dat zelfs wanneer het model zichzelf probeert te onderwijzen, het nog steeds een "gouden standaard" antwoord nodig heeft om te weten of het goed of fout is. Zonder die externe waarheid zou het model misschien gewoon zijn fouten blijven oefenen, waardoor het steeds met zelfvertrouwen maar foutieve antwoorden geeft.

Dit artikel introduceert een slimme truc genaamd U-OPSD (Unsupervised On-policy Self-Distillation). De onderzoekers ontdekten dat een model helemaal geen menselijke leraar of een "gouden" antwoordsleutel nodig heeft om te leren. In plaats daarvan kan het fungeren als een kamer vol identieke tweelingen die dezelfde toets maken. Als één tweeling een vreemd antwoord geeft, maar negen anderen het met een ander antwoord eens zijn, dan heeft de groep een "consensus" gevonden. Het artikel suggereert dat deze overeenstemming een sterk genoeg signaal is om te zeggen: "Oké, dit is waarschijnlijk de juiste weg."

Zo werkt de magie: Het model genereert veel verschillende pogingen (genaamd "rollouts") om een wiskundeprobleem op te lossen. Vervolgens houdt het een stemming. Als een meerderheid van de pogingen het eens is over een antwoord, wordt dat antwoord de "pseudo-oplossing" — een nep maar betrouwbare antwoordsleutel die volledig door het model zelf is gemaakt. Het model kijkt vervolgens naar de pogingen die verschillend waren van de meerderheid. Dit zijn de "foute" paden. Het model treedt op als leraar voor zichzelf, door de "foute" paden te laten zien hoe ze in het "juiste" pad kunnen veranderen, stap voor stap. Het is als een leerling die een lang, verwarrend essay heeft geschreven, beseft dat de meeste van zijn vrienden een helder, correct essay hebben geschreven, en vervolgens zijn eigen essay herschrijft om aan de logica van de groep te voldoen, maar alleen de delen aanpast waar hij van het pad af is geraakt.

De resultaten zijn behoorlijk verrassend. De onderzoekers hebben dit getest op verschillende moeilijke wiskundecompetities (zoals AIME en MATH500) met verschillende groottes van modellen (4 miljard en 8 miljard parameters). Ze ontdekten dat deze "zelflerende" methode, die geen enkele externe supervisie gebruikt, eigenlijk beter werkte dan methoden die vertrouwden op door mensen geverifieerde antwoorden in "non-thinking" modus (waarbij het model snel antwoordt). In deze modus verbeterden de zelfgeleerde modellen hun scores met 8,5% en 10,7% vergeleken met hun startpunt, waarmee ze zelfs de methoden versloegen die de "gouden" antwoorden gebruikten. Echter, in de "thinking" modus (waarbij het model de tijd neemt om te redeneren), waren de resultaten anders: de zelfgeleerde modellen presteerden gelijk aan of iets beter dan de gesuperviseerde methoden, waarbij ze de gesuperviseerde methoden nauwkeurig benaderden in plaats van ze te domineren.

Het artikel beargumenteert dat dit werkt omdat de eigen overeenstemming van het model een krachtig signaal is. Wanneer het model genoeg vertrouwen heeft om een meerderheidsstemming te hebben, weet het dat het op de goede weg is. Wanneer het met zichzelf in strijd is, is dat waar het leren plaatsvindt. De onderzoekers suggereren dat de flessenhals voor het slimmer maken van deze modellen niet een gebrek aan antwoordsleutels is, maar eerder het vermogen om de eigen inconsistenties op te merken en te corrigeren. Door deze "meerderheidsstemming"-strategie te gebruiken, kan het model evolueren en verbeteren op eigen kracht, waardoor een kamer vol verwarde tweelingen verandert in één enkele, slimmere genie.