Grote taalmodellen zijn de krachtige motoren achter veel moderne kunstmatige intelligentiesystemen, in staat om tekst te genereren, problemen op te lossen en code te schrijven. Jarenlang hebben onderzoekers geprobeerd deze systemen slimmer te maken door ze te leren problemen stap voor stap door te denken, een methode die bekend staat als "chain of thought" (keten van gedachten). Het is echter moeilijk om een model goed te leren redeneren, omdat de computer vaak alleen weet of het uiteindelijke antwoord juist of onjuist is, en niet of de stappen die daarheen leidden logisch waren. Om dit op te lossen, hebben wetenschappers twee hoofdbenaderingen geprobeerd. De ene houdt in dat het model wordt getraind met beloningen pas aan het einde van een taak, wat instabiel en inefficiënt kan zijn. De andere gebruikt een aparte gids om elke afzonderlijke stap van het redeneerproces te controleren, maar het creëren van deze gids vereist meestal dure menselijke experts om duizenden voorbeelden te labelen, en de gids faalt vaak wanneer het model op nieuwe manieren begint te denken.

Een team van onderzoekers heeft een nieuw systeem geïntroduceerd genaamd AIRL-S dat deze twee benaderingen verenigt in een enkele, zelfverbeterende lus. In plaats van te vertrouwen op menselijke labels voor elke stap, leert het systeem zijn eigen interne gids te creëren door hoogwaardige voorbeelden van redeneren te observeren. Het gebruikt deze gids vervolgens om zowel het model te trainen als om te helpen zoeken naar de beste antwoorden tijdens het gebruik in de echte wereld. In tests over acht verschillende benchmarks die wiskunde, wetenschap en coderen omvatten, vonden de onderzoekers dat deze methode de prestaties van het model met gemiddeld negen procent verbeterde ten opzken van de startversie. Het resulterende systeem presteerde even goed als de meest geavanceerde commerciële modellen die beschikbaar zijn, zoals GPT-4o, zonder de kostbare menselijke supervisie die voorgaande methoden vereisten.

De kerninnovatie ligt in de manier waarop het systeem leert zijn eigen werk te beoordelen. Traditioneel, om een model stap voor stap te leren redeneren, zouden onderzoekers een "process reward model" nodig hebben — een apart programma dat is getraind op gegevens waarbij mensen elke correcte en incorrecte stap hebben gemarkeerd. Dit is traag en duur. De nieuwe methode omzeilt dit door gebruik te maken van een techniek genaamd adversarial learning (adversariële leerprocessen). Stel je voor dat het systeem een spel speelt waarbij het ene deel probeert redeneerstappen te genereren, en het andere deel probeert de gegenereerde stappen te onderscheiden van een set hoogwaardige referentievoorbeelden. Door deze competitie leert het systeem te herkennen wat een goede redeneerstap is zonder dat het expliciet door een mens wordt verteld wat het is. Deze geleerde gids, of beloningsmodel, wordt dicht en gedetailleerd, waardoor feedback wordt gegeven op elke afzonderlijke stap van het redeneerproces in plaats van alleen op het uiteindelijke resultaat.

Zodra het systeem deze interne gids heeft geleerd, gebruikt het deze op twee manieren tegelijkertijd. Ten eerste gebruikt het de gids om het hoofdmodel te trainen, wat het model aanmoedigt om betere stappen te nemen tijdens de leerfase. Ten tweede behoudt het dezelfde gids om als verifieerder te fungen tijdens de feitelijke probleemoplossingsfase. Wanneer het model wordt gevraagd een moeilijk probleem op te lossen, kan het veel verschillende mogelijke oplossingen genereren. De geleerde gids scoort vervolgens elke stap van deze potentiële oplossingen, waardoor het systeem het meest logische pad kan selecteren. Dit creëert een verenigde pijplijn waarbij het hulpmiddel dat wordt gebruikt om het model te onderwijzen, hetzelfde hulpmiddel is dat wordt gebruikt om het model te helpen denken tijdens een test. De onderzoekers hebben aangetoond dat deze gids robuust is; het werkt effectief, zelfs wanneer het wordt toegepast op verschillende modellen of verschillende zoekstrategieën, wat suggereert dat de geleerde kennis algemeen en overdraagbaar is.

De resultaten van deze aanpak werden gemeten over een breed scala aan uitdagende taken. De onderzoekers testten hun model op acht standaardbenchmarks, incluseet complexe wiskundige wedstrijden, wetenschappelijke redeneervragen en programmeeruitdagingen. Het model, dat begon als een standaard open-source taalmodel, verbeterde zijn gemiddelde nauwkeurigheid met negen procent na training met deze nieuwe methode. In specifieke wiskundige en wetenschappelijke taken was de verbetering zelfs hoger, bereikend tot dertien procent. Wanneer het werd vergeleken met andere modellen die waren getraind met dure menselijk gelabelde gegevens of andere geavanceerde reinforcement learning-technieken, presteerde dit nieuwe systeem consistent beter. Het evenaarde zelfs de prestaties van GPT-4o, een topmodel van commerciële aard, ondanks dat het aanzienlijk minder parameters heeft. Dit suggereert dat de kwaliteit van het redeneerproces, geleid door dit zelfgeleerde beloningssysteem, belangrijker is dan simpelweg het hebben van een groter model.

Een belangrijke bevinding van de studie is hoe de twee verschillende soorten leersignalen samenwerken. Het systeem combineert de gedetailleerde, stap-voor-stap feedback van zijn zelfgeleerde gids met de beloningen voor de uiteindelijke uitkomst van traditionele methoden. De onderzoekers ontdekten dat vertrouwen op slechts één type signaal minder effectief was. De stap-voor-stap gids hielp het model om betere redeneerpaden te verkennen, terwijl het signaal van de uiteindelijke uitkomst ervoor zorgde dat het model gefocust bleef op het krijgen van het juiste antwoord. Wanneer ze correct werden gebalanceerd, versterkten deze twee signalen elkaar, wat leidde tot stabielere training en betere resultaten. Bovendien toonde het systeem aan dat het deze geleerde gids kon gebruiken om diverse zoekmethoden te verbeteren, zoals die welke veel verschillende oplossingen tegelijk proberen of die een boom van mogelijkheden opbouwen. De gids was bijzonder effectief in complexe zoekscenario's waar het model de waarde van tussenliggende stappen moest evalueren om de beste keuze te maken.

De implicaties van dit werk strekken zich uit voorbij het simpelweg behalen van hogere scores op tests. Door de afhankelijkheid van dure menselijke annotaties voor stap-voor-stap redeneren weg te nemen, biedt deze methode een meer schaalbare en kosteneffectieve manier om kunstmatige intelligentie te verbeteren. Het suggereert dat modellen kunnen leren om hun eigen leraar te zijn, door hun redeneervermogen te verfijnen door hoogwaardige voorbeelden te observeren en tegen zichzelf te concurreren. De onderzoekers merkten op dat hun aanpak bijzonder geschikt is voor taken waarbij de uiteindelijke uitkomst automatisch kan worden geverifieerd, zoals wiskunde en programmeren. Hoewel de methode krachtig is, erkennen de auteurs dat deze momenteel steunt op deze verifieerbare uitkomsten en mogelijk verdere ontwikkeling vereist om open eindtaken aan te pakken waar geen enkel correct antwoord bestaat. Desalniettemin vormt het vermogen om training en inferentie-tijd zoeken te verenigen in één efficiënt systeem een belangrijke stap voorwaarts in het maken van grote taalmodellen tot meer betrouwbare en capabele redeneerders.