Stel je voor dat je op zoek bent naar een verborgen schat op een uitgestrekt, mistig eiland. In de wereld van Kunstmatige Intelligentie zijn Large Language Models (LLM's) als ongelooflijk slimme ontdekkingsreizigers die kaarten kunnen lezen en kunnen raden waar de schat zich zou kunnen bevinden. Lange tijd was de beste manier om deze ontdekkingsreizigers te trainen hen een probleem te tonen, ze te laten raden, en hen alleen te belonen als hun ene beste gok perfect was. Deze methode, bekend als Reinforcement Learning (RL), is als een strenge coach die "Fout!" roept bij elke verkeerde gok en "Perfect!" bij het ene juiste antwoord. Het probleem is dat deze coach zo geobsedeerd raakt door het vinden van dat ene perfecte antwoord, dat de ontdekkingsreiziger stopt met ergens anders naar kijken. Ze stoppen met het verkennen van de mistige randen van het eiland waar andere schatten verborgen zouden kunnen liggen, en concentreren zich alleen op de ene plek waarvan ze denken dat die juist is.

Maar wat als de schat niet slechts één ding is? Wat als er veel verschillende manieren zijn om een wiskundig probleem op te lossen of een nieuwe wetenschappelijke ontdekking te doen? In deze "ontdekkingsdomeinen" is het niet genoeg om één perfecte gok te hebben; je hebt een breed net nodig om elke juiste oplossing te vangen. Hier komt een nieuw idee genaamd "test-time scaling" om de hoek kijken. In plaats van de AI alleen om één antwoord te vragen, vragen we het model om tientallen of zelfs honderden verschillende pogingen te genereren en te kijken of één van hen juist is. Het onderzoek dat je zojuist hebt gelezen, onderzoekt of onze strenge coach (RL) of een andere trainingsmethode beter is in het helpen van de ontdekkingsreiziger om een breed net uit te werpen. De onderzoekers ontdekten dat terwijl de strenge coach de ontdekkingsreiziger heel zelfverzekerd maakt in één specifiek punt, een andere methode genaamd Evolution Strategies (ES) de ontdekkingsreiziger nieuwsgierig en dwaalend houdt, wat ervoor zorgt dat als er ergens in de mist een oplossing bestaat, de ontdekkingsreiziger veel grotere kans heeft deze te vinden.

Het Papier: Voorbij de Beste Gok

Dit papier behandelt een lastig probleem bij het trainen van AI: hoe zorgen we ervoor dat een AI-model niet alleen heel goed wordt in het raden van het ene juiste antwoord, maar ook daadwerkelijk zijn opties openhoudt om elk juist antwoord te kunnen vinden? De auteurs, onderzoekers van Cognizant AI Lab en de University of Texas at Austin, vergeleken twee trainingsmethoden: de standaard Reinforcement Learning (RL) en een nieuwere aanpak genaamd Evolution Strategies (ES).

Denk aan Reinforcement Learning als een student die voor een toets leert door exact het antwoordmodel uit het hoofd te leren. Als de student een vraag goed heeft, krijgt hij een beloning; als hij het fout heeft, krijgt hij niets. Na verloop van tijd wordt de student een meester in die specifieke vraag, maar stopt hij met het begrijpen van de onderliggende concepten. In de AI-wereld veroorzaakt dit iets dat "distribution collapse" wordt genoemd. Het model wordt zo gefocust op zijn "beste gok" dat het stopt met het genereren van diverse antwoorden. Het is als een muzikant die slechts één noot speelt omdat dat de enige is waarvoor hij applaus krijgt, waardoor hij vergeet hoe hij een heel liedje moet spelen.

Evolution Strategies (ES) werkt daarentegen meer als een natuurlijk ecosysteem. In plaats van één enkel model te trainen, creëert ES een hele "populatie" van licht afwijkende versies van het model. Het past hun "hersenen" (gewichten) willekeurig aan, zoals de natuur genen laat muteren, en kijkt welke versies het beste presteren. Cruciaal is dat het niet alleen de enkele winnaar kiest en de rest wegwerpt; het leert van de hele groep. Dit houdt het "brein" van de AI flexibel en divers, waardoor het veel verschillende paden naar een oplossing kan verkennen.

De onderzoekers testten deze methoden op wiskundige problemen, variërend van eenvoudige rekenkunde tot complexe Olympiade-niveau uitdagingen, gebruikmakend van modellen van verschillende groottes (van 1,5 miljard tot 32 miljard parameters). Ze maten het succes met een metriek genaamd pass@k. Stel je voor dat je de AI vraagt om 100 verschillende antwoorden op een probleem te genereren. Pass@1 vraagt: "Is het allereerste antwoord correct?" Pass@k vraagt: "Is ten minste één van de 100 antwoorden correct?"

Dit is wat zij vonden:

1. De "Beste Gok" Valstrik
Toen de onderzoekers keken naar pass@1 (de enkele beste gok), waren de met RL getrainde modellen vaak erg goed. Ze waren scherp en zelfverzekerd. Echter, toen de onderzoekers het aantal gokken verhoogden naar k = 2, 8, 16 of zelfs 128, liepen de RL-modellen tegen een muur aan. Hun prestaties stopten met verbeteren. Sterker nog, voor sommige moeilijke problemen werden de RL-modellen zelfs slechter dan het oorspronkelijke, ongetrainde model wanneer ze veel kansen kregen om te raden. Het RL-model was zo nauw in zijn denken geworden dat het stopte met het vinden van correcte antwoorden die net even anders waren dan zijn "favoriete" antwoord.

2. De Kracht van Diversiteit
In contrast hiermee vertoonden de met ES getrainde modellen een ander patroon. Hoewel ze ook goed waren in het goed krijgen van de eerste gok, kwam hun echte superkracht naar voren naarmate het aantal gokken toenam. Terwijl de onderzoekers om steeds meer samples vroegen (tot 128), bleven de ES-modellen nieuwe, correcte oplossingen vinden. Het papier laat zien dat ES consistent hogere pass@k scores behaalde dan RL over alle modelgroottes en wiskundige benchmarks die ze hebben getest.

3. Waarom dit gebeurt
De auteurs onderzochten waarom dit gebeurde. Ze ontdekten dat RL-training de kennis van de AI de neiging heeft om te "snoeien" (pruning). Het verwijdert de paden die leiden tot correcte maar minder voorkomende antwoorden, waardoor sommige problemen zelfs onmogelijk worden om op te lossen, zelfs als de AI 100 keer probeert. De ES-methode behoudt echter de "breedte" van de kennis van de AI. Het leert niet alleen het juiste antwoord; het leert om veel deuren open te houden. Wanneer de onderzoekers keken naar de "entropie" van de AI (een maatstaf voor hoe divers de antwoorden zijn), zagen ze dat wanneer de RL-modellen faalden, ze zelfverzekerd maar fout waren (lage diversiteit). Wanneer de ES-modellen faalden, waren ze nog steeds divers en onzeker, wat betekent dat ze nog steeds aan het verkennen waren en een betere kans hadden om de juiste oplossing te vinden als ze meer tijd of rekenkracht zouden krijgen.

4. De Impact in de Praktijk
Het papier suggereert dat voor problemen waarbij we nieuwe dingen moeten ontdekren — zoals het oplossen van een moeilijk wiskundig bewijs, het schrijven van code of het vinden van een nieuw wetenschappelijk feit — het hebben van een model dat een grote verscheidenheid aan correcte oplossingen kan genereren, waardevoller is dan een model dat simpelweg heel goed is in één specifieke gok. Door ES te gebruiken, kunnen we betere resultaten behalen in deze ontdekkingsdomeinen omdat het model minder snel in een "lokale valstrik" terechtkomt en meer kans heeft om de globale oplossing te vinden.

Kortom, het papier betoogt dat als je wilt dat een AI een geweldige ontdekkingsreiziger is in het onbekende, je hem niet alleen moet trainen om de beste gokker van de dag te zijn. Je moet hem trainen om zijn opties open te houden, een beetje rond te dwalen en klaar te zijn om de schat te vinden, waar deze ook verborgen mag zijn. Evolution Strategies blijkt, zo blijkt wel, de betere coach te zijn voor dat soort avonturen.