SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning

Grote taalmodellen zijn krachtige hulpmiddelen die complexe problemen kunnen oplossen, code kunnen schrijven en digitale omgevingen kunnen navigeren, maar ze worstelen vaak wanneer een taak een lange keten van redeneringen vereist. Stel je voor dat je een student vraagt om een moeilijk wiskundig probleem op te lossen of een meerstaps boodschappenreis te plannen. Als de student het uiteindelijke antwoord fout heeft, krijgt hij een simpel "onjuist" signaal. Deze feedback vertelt hem dat het resultaat slecht was, maar legt niet uit welke specifieke stap in zijn lange denkketen de fout heeft veroorzaakt. Was het een rekenfout halverwege? Een verkeerde aanname aan het begin? Zonder te weten waar de breuk ontstond, kan het model niet gemakkelijk leren om het de volgende keer beter te doen. Dit staat bekend als het credit assignment-probleem, een grote hindernis bij het aanleren van langdurige, complexe taken aan kunstmatige intelligentie.

Onderzoekers hebben geprobeerd dit op te lossen door modellen te laten reflecteren op hun eigen fouten, vergelijkbaar met een mens die een toets doorneemt om te begrijpen wat er misging. Echter, eerdere pogingen om deze zelfreflectie tijdens de training te gebruiken, waren vaak inefficiënt of instabiel. Ze leidden er soms toe dat het model in de war raakte door zijn eigen geaccumuleerde gedachten of faalden om het vage gevoel van "ik heb het fout gedaan" om te zetten in een concrete les voor elk woord dat het genereerde. Een nieuwe benadering genaamd Self-Reflective Policy Optimization, of SRPO, biedt een ander pad. In plaats van te wachten op een eindcijfer, leert deze methode het model om als zijn eigen leraar te fungeren door zijn voltooide pogingen te analyseren, precies te identificen waar het de fout in ging, en die inzichten te gebruiken om de volgende poging te sturen.

De onderzoekers achter SRPO, onder leiding van Jialong Liu en collega's, ontwierpen een systeem waarbij een taalmodel leert door terug te kijken naar zijn eigen werk. Het proces vindt plaats in twee afzonderlijke fasen. Eerst probeert het model een taak, zoals het oplossen van een wiskundig probleem of het navigeren door een virtuele winkel. Zodra de poging is voltooid, pauzeert het model om te reflecteren. Het beoordeelt de volledige sequentie van zijn acties en de uiteindelijke uitkomst, en schrijft vervolgens een korte, beknopte notitie waarin wordt samengevat wat er misging of welke belangrijke beslissingen correct werden genomen. Deze notitie, die de auteurs een "reflection patch" noemen, is geen lang essay maar een compacte set bruikbare tips, meestal slechts een paar opsommingstekens.

In de tweede fase probeert het model dezelfde taak opnieuw, maar dit keer begint het met de oorspronkelijke vraag plus de reflectienotitie die het zojuist heeft geschreven. Deze nieuwe combinatie fungeert als een gids, waardoor het model effectief een tweede kans krijgt met het voordeel van achteraf inzicht. Het model genereert een nieuwe, kwalitatief betere poging op basis van deze verrijkte context. Cruciaal is dat de onderzoekers deze tweede, betere poging niet gebruiken als het definitieve antwoord. In plaats daarvan gebruiken ze het als een leer-signaal. Ze vergelijken de nieuwe, verbeterde gedachten van het model met de oorspronkelijke, ongeleide gedachten. Door de verschillen tussen de twee te analyseren, creëert het systeem een dichte stroom van leersignalen. Elk woord in de oorspronkelijke poging van het model wordt beoordeeld: als een woord overeenkomt met de wijsheid van de reflectie, wordt het beloond; als het ervan afwijkt, wordt het gecorrigeerd. Dit transformeert een enkele "correct" of "incorrect" beoordeling aan het einde van een taak in duizenden kleine, specifieke lessen voor elk woord dat het model schreef.

Deze methode bleek opmerkelijk effectief. Het team testte SRPO op een verscheidenheid aan uitdagende benchmarks, waaronder geavanceerde wiskundige competities en complexe agent-taken die het navigeren door digitale omgevingen vereisen. Op een moeilijke wiskundetoets genaamd AIME'24 behaalde een model dat SRPO gebruikte een gemiddelde score van 73,3 procent (met een standaarddeviatie van ±1,4 over vijf onafhankelijke runs). Dit was een significante verbetering ten opzichte van andere leidende methoden en werd bereikt met slechts 8 procent van de training FLOPs die gewoonlijk voor soortgelijke trainingen nodig zijn. Het systeem blonk ook uit in langetermijn-taken, zoals WebShop, waar het 64,7 procent van de winkelmissies succesvol voltooide, en ALFWorld, waar het 76,8 procent van de huishoudelijke simulatietaken oploste. Deze resultaten suggereren dat door het vermogen tot reflectie te internaliseren, het model leerde om zijn eigen redeneerpad te corrigeren zonder dat een grotere, externe leraar nodig was om het te begeleiden.

De studie adresseerde ook een veelvoorkomende angst in kunstmatige intelligentie-onderzoek: dat het aanleren van een nieuwe vaardigheid aan een model ertoe kan leiden dat het vergeet wat het al wist. Wanneer de onderzoekers het model trainden op programmeertaken nadat het wiskunde had geleerd, hielp de SRPO-methode het model om 95,2 procent van zijn oorspronkelijke wiskundige vermogens te behouden. In contrast hiermee zagen andere methoden veel grotere dalingen in prestaties. Dit suggereert dat omdat het model leert van zijn eigen distributie van gedachten in plaats van een externe expert te imiteren, het een stabieler begrip van zijn eigen capaciteiten behoudt.

De onderzoekers waren zorgvuldig om te verifiëren dat het succes voortkwam uit de inhoud van de reflecties, en niet alleen uit de extra tekst die ze toevoegden. Ze testten het systeem door het te voeden met reflecties die gegenereerd waren voor volkomen andere problemen. Wanneer de reflectie niet overeenkwam met de taak, daalde de prestatie van het model terug naar het basisniveau, wat bewees dat de specifieke, relevante adviezen de drijvende kracht achter de verbetering waren. Ze ontdekten ook dat de reflecties beknopt moesten zijn; te lange of overdadige notities werkten de prestaties zelfs tegen, waarschijnlijk omdat ze ruis en verwarring introduceerden.

Uiteindelijk demonstreert SRPO dat een taalmodel bekwaam kan worden door zichzelf te bekritiseren en te sturen. Door schaarse, finale uitkomsten om te zetten in dichte, woord-voor-woord begeleiding, stelt de methode modellen in staat om complexe redeneerpatronen te leren met veel minder voorbeelden en minder rekenkracht dan voorheen mogelijk werd geacht. Het werk suggereert een toekomst waarin systemen van kunstmatige intelligentie continu hun eigen redeneerprocessen kunnen verbeteren, waardoor ze betrouwbaarder en efficiënter worden in het oplossen van de langdurige, ingewikkelde problemen die de werkelijkheid definiëren.