ReCo: Reweighting GRPO Against Distributional Concentration

Stel je een wereld voor waarin computers niet alleen chatten, maar ook echt kunnen nadenken over complexe puzzels zoals wiskundeproblemen of programmeeruitdagingen. Dit is de grens van Kunstmatige Intelligentie, specifiek een vakgebied genaamd Reinforcement Learning (versterkend leren). Denk eraan als het trainen van een hond: je vertelt de hond niet alleen wat hij moet doen; je laat hem het proberen, en als hij gaat zitten, geef je hem een beloning. Als hij op de bank springt, doe je dat niet. Na verloop van tijd leert de hond te zitten omdat hij de beloning wil. In de AI-wereld geven we een "beloning" wanneer de computer een probleem correct oplost.

Een populaire manier om deze AI-"honden" te trainen is Group Relative Policy Optimization, of GRPO. Stel je voor dat je de AI vraagt om tien keer een wiskundeprobleem op te lossen. De AI genereert tien verschillende antwoorden. GRPO kijkt naar al die tien, ziet welke de "beloning" kregen (correct waren) en duwt de AI om meer te lijken op de exemplaren die succesvol waren. Het is een slimme truc die AI veel beter heeft gemaakt in redeneren. Maar er is een addertje onder het gras: soms, in zijn enthousiasme om de beloning te krijgen, wordt de AI te zelfverzekerd en stopt hij met het proberen van nieuwe dingen. Hij begint steeds dezelfde paar trucjes keer op keer te herhalen, waarbij hij andere slimme manieren negeert die net zo goed zouden kunnen werken.

Dit is de puzzel die een team onderzoekers van de Seoul National University besloot op te lossen. Ze merkten op dat hoewel GRPO de AI slimmer maakt in het snel oplossen van problemen, het de AI er ook minder creatief in maakt en de kans verkleint dat de AI het juiste antwoord vindt als je het veel kansen geeft om het te proberen. Ze noemden dit probleem "distributional concentration"—een chique manier om te zeggen dat de AI in een sleur terechtkomt, waarbij hij alleen de paden verkent die hij al als veilig beschouwt.

Om dit op te lossen, hebben de onderzoekers een nieuwe methode uitgevonden genaamd ReCo (Reweighting GRPO Against Distributional Concentration). Zo werkt het, met behulp van een eenvoudige analogie:

Stel je voor dat je een docent bent die een klas studenten beoordeelt die allemaal hetzelfde lastige wiskundeprobleem proberen op te lossen.

• De Oude Manier (GRPO): Je vraagt de klas om hun antwoorden op te schrijven. Als vijf studenten precies dezelfde oplossing opschrijven (omdat dat de meest populaire is), geef je die oplossing een enorme hoeveelheid aandacht. Je zegt tegen de hele klas: "Kijk! Vijf mensen deden dit! Iedereen moet dit doen!" Ondertussen wordt de ene student die een vreemde, creatieve methode probeerde die ook werkte, genegeerd omdat hij de enige was. De klas stopt met het proberen van nieuwe dingen en kopieert gewoon het populaire antwoord.
• De Nieuwe Manier (ReCo): De docent (ReCo) merkt deze bias op. Eerst beseft de docent dat als vijf studenten hetzelfde antwoord schreven, dat waarschijnlijk komt omdat dat antwoord makkelijk te vinden was, en niet noodzakelijkerwijs omdat het het enige goede antwoord is. Dus verlaagt de docent het belang van dat populaire antwoord. De docent zegt: "Oké, vijf van jullie hadden dit, maar omdat het zo algemeen was, telt het niet zoveel als een unieke oplossing." Dit voorkomt dat de klas blindelings de massa kopieert.
• De Tweede Truc: De docent kijkt ook naar hoe de studenten nadenken. Als een student voor een specifieke stap in zijn wiskunde voor 99% zeker is, zegt de docent: "Goed zo, je bent zelfverzekerd, maar word niet te hoogmoedig! Er is nog een kleine kans dat je het fout hebt, dus houd je brein open voor andere mogelijkheden." Maar als een student vastzit bij een splitsing in de weg waar hij niet zeker weet welke richting hij moet inslaan, geeft de docent een grote boost aan aanmoediging om die onzekerheid te verkennen. Dit voorkomt dat studenten zich te vroeg vastleggen op één enkele, rigide manier van denken.

Door deze twee trucs te gebruiken, verandert ReCo de manier waarop de AI leert. Het stopt de AI met het simpelweg onthouden van de "veilige" antwoorden en dwingt het om verschillende paden te blijven verkennen.

Het team testte deze nieuwe methode op enkele zeer moeilijke wiskundewedstrijden, zoals de AIME (American Invitational Mathematics Examination) en Olympiade-problemen. Ze gebruikten verschillende AI-modellen, waaronder modellen gebaseerd op Qwen en Llama. De resultaten waren veelbelovend. Wanneer ze de AI vroegen om het slechts een paar keer te proberen, presteerde ReCo net zo goed als de oude methode. Maar wanneer ze de AI veel kansen gaven om het te proberen (zoals het genereren van 64 verschillende antwoorden en het beste ervan kiezen), blonk ReCo uit. Het vond correcte antwoorden die de oude methode volledig miste.

Sterker nog, op sommige van de moeilijkste tests werd de oude methode (GRPO) zelfs slechter dan de oorspronkelijke, ongetrainde AI wanneer men het de kans gaf om het vele malen te proberen, omdat de AI zo nauwziend was geworden. ReCo hield de "geest" van de AI echter open. Het behield het vermogen om diverse oplossingen te vinden, waardoor het zelfs als de eerste paar pogingen falen, de AI een heel instrumentarium aan verschillende strategieën heeft om op terug te vallen.

Het team keek ook naar waarom dit gebeurde. Ze zagen dat onder de oude methode het "denkproces" van de AI erg repetitief werd, als een kapotte plaat die steeds hetzelfde liedje afspeelt. Onder ReCo bleef de AI unieke, gevarieerde benaderingen genereren, zelfs bij het oplossen van hetzelfde probleem. Het was alsoك kijken naar een student die, in plaats van alleen het tekstboek te kopiëren, diagrammen tekent, verschillende formules gebruikt en zelfs fysieke modellen bouwt om het concept te begrijpen.

Kortom, ReCo suggereert dat om AI echt slim te maken, we het niet alleen moeten belonen voor het snel krijgen van het juiste antwoord. We moeten het ook belonen voor het niet in een sleur raken. Door de AI voorzichtig aan te moedigen om waarde te hechten aan variatie en onzekerheid, vonden de onderzoekers een manier om deze digitale breinen nieuwsgierig, creatief en in staat om problemen op manieren op te lossen die we misschien niet hadden verwacht. Het is een herinnering aan het feit dat soms de beste manier om te leren is om je opties open te houden.