In de zoektocht naar het bouwen van machines die kunnen denken, hebben onderzoekers lang vertrouwd op een simpel principe: geef de computer meer tijd, en de kans is groot dat hij een beter antwoord vindt. Net zoals een menselijke wiskundige even kan pauzeren om een bewijs te verfijnen of een schaker een zet kan heroverwegen na een moment van reflectie, worden moderne kunstmatige intelligentiesystemen steeds vaker ontworpen om te pauzeren, te heroverwegen en te itereren. Deze benadering, bekend als inference-time computation (rekenen tijdens de inferentie), stelt modellen in staat om meerdere mogelijke paden van redenering te genereren, deze te evalueren en de meest veelbelovende te selecteren. Hoewel deze strategie effectief is gebleken voor grote taalmodellen, werkt een andere klasse machines—recurrent modellen—volgens een iets andere logica. Deze systemen lossen problemen op door herhaaldelijk een interne staat bij te werken, een soort mentaal kladblok, keer op keer. In plaats van veel aparte concepten te genereren om te vergelijken, verfijnen ze één enkel, evoluerend denkproces stap voor stap. De vraag die blijft hangen is of dit enkele draad van gedachten effectiever gestuurd kan worden terwijl het plaatsvindt, in plaats van het simpelweg zijn gang te laten gaan of vele verschillende startpunten te proberen.

Een team van onderzoekers aan de Universiteit van Tokio heeft een nieuwe manier voorgesteld om deze interne denkprocessen in realtime te sturen. Ze noemen hun methode Readout Feedback, een techniek die luistert naar de eigen tussenliggende gissingen van het model en die informatie gebruikt om de interne staat voorzichtig richting een correcte oplossing te duwen. Het kernidee is verrassend intuïtief: naarm matter een model dichter bij het oplossen van een puzzel komt, beginnen de interne representaties van de verschillende onderdelen van het probleem zichzelf te organiseren. Items die tot dezelfde categorie behoren, groeperen zich van nature, terwijl items die tot verschillende categorieën behoren, uit elkaar drijven. De onderzoekers ontdekten dat ze dit organiserende patroon konden detecteren en een subtiele kracht in het systeem konden injecteren om dit te stimuleren, waardoor het model effectief helpt de weg uit de verwarring te vinden zonder dat het opnieuw getraind hoeft te worden of meer rekenkracht nodig heeft.

Om dit idee te testen, paste het team hun methode toe op drie verschillende soorten recurrente redeneermodellen, elk met een unieke interne architectuur, en vroeg hen twee klassieke logische puzzels op te lossen: Sudoku en Maze. Bij Sudoku is het doel om een raster met getallen te vullen zodat elke rij, kolom en sectie alle cijfers van één tot negen bevat. Bij de Maze-taak moet het model het kortste pad vinden door een raster vol obstakels. De onderzoekers lieten deze modellen hun standaard oplossingsproces doorlopen, wat het herhaaldelijk bijwerken van hun interne staat honderden keren inhoudt, en vergeleken vervolgens de resultaten van het standaardproces met het proces dat is verbeterd met hun nieuwe feedbackloop. Ze ontdekten dat in vier van de zes combinaties van model en puzzel de feedbackmethode significant betere resultaten opleverde. In sommige gevallen loste het verbeterde model de puzzels op met een nauwkeurigheid die het standaardmodel niet kon bereiken, zelfs niet als het veel langer de tijd had gekregen of als de onderzoekers tientallen verschillende startpunten hadden geprobeerd.

Het mechanisme achter deze verbetering berust op het eigen vertrouwen van het model. Terwijl het model de puzzel verwerkt, genereert het voor elk mogelijke antwoord op elk moment een waarschijnlijkheid. De onderzoekers observeerden dat wanneer een model vastloopt of ronddwaalt, deze waarschijnlijkheden rommelig en ongestructureerd zijn. Echter, wanneer het model op de drempel van een oplossing staat, beginnen de waarschijnlijkheden voor de juiste antwoorden zich te aligneren, waardoor een duidelijk patroon ontstaat. De nieuwe methode maakt gebruik van dit patroon. Op specifieke momenten tijdens het oplossingsproces berekent het de afstand tussen de waarschijnlijkheidspatronen van verschillende delen van de puzzel. Als twee delen van de puzzel voorspeld worden om verschillende antwoorden te hebben, past het systeem een kracht toe die de interne staten uit elkaar duwt. Als ze voorspeld worden om hetzelfde te zijn, moedigt het het systeem aan om dicht bij elkaar te blijven. Dit creëert een zelfcorrigerende dynamiek die het model helpt uit doodlopende wegen te ontsnappen en veel sneller naar de juiste oplossing te convergeren.

De resultaten waren opvallend specifiek. Voor een van de modellen, een compact systeem ontworpen voor complexe redenering, verhoogde de feedbackmethode het succespercentage op Sudoku van ongeveer achttentachtig procent naar meer dan vierentwintig procent, een substantiële winst die werd behaald zonder de onderliggende code of trainingsdata van het model te wijzigen. Voor een ander model dat de Maze-puzzel aanpakte, stelde de methode het model in staat om een hoog niveau van nauwkeurigheid te bereiken met veel minder computationele stappen dan de standaardaanpak vereiste. Sterker nog, het verbeterde model presteerde soms beter dan het standaardmodel, zelfs wanneer het standaardmodel de tijd kreeg om honderden extra stappen te zetten of tientallen verschillende potentiële paden te bemonsteren. Dit suggereert dat de sleutel tot betere prestaties niet simpelweg meer werk verrichten was, maar het juiste soort werk doen door de interne dynamiek van het systeem actief te sturen.

De onderzoekers merkten echter zorgvuldig op dat deze methode geen universele oplossing is. In twee van de zes testgevallen leverde de feedbackloop geen meetbaar voordeel op, en in één specifiek geval maakte het nauwelijks een verschil omdat het model al op een bijna perfect niveau presteerde. Dit geeft aan dat de techniek het beste werkt wanneer het model in staat is het probleem op te lossen, maar moeite heeft met het effectief organiseren van zijn gedachten. Wanneer het model al zeer zelfverzekerd is of wanneer de interne structuur van het probleem zich niet leent voor dit soort clustering, heeft het feedbacksignaal weinig om op te reageren. De studie suggereert dat hoewel deze benadering een verborgen capaciteit binnen bestaande modellen ontsluit, het geen toverstaf is die elk type redeneerprobleem kan oplossen.

De implicaties van dit werk reiken verder dan alleen het oplossen van puzzels. Het biedt een nieuw perspectief op hoe kunstmatige intelligentie kan worden gecontroleerd tijdens het denkproces zelf. In plaats van uitsluitend te vertrouwen op brute kracht—meer stappen uitvoeren of meer opties bemonsteren—demonstreert deze methode dat een model gestuurd kan worden door zijn eigen tussenliggende signalen. Dit is vergelijkbaar met een persoon die een complex probleem oplost en, in plaats van opnieuw te beginnen wanneer hij vastloopt, even pauzeert om naar zijn huidige aantekeningen te kijken, beseft welke delen van zijn logica met elkaar conflicteren, en zijn denken daarop aanpast. De onderzoekers ontdekten dat deze closed-loop controle toegepast kon worden op 'frozen models', wat betekent dat systemen die al getraind zijn en niet langer leren, simpelweg door een laag van feedback toe te voegen tijdens de oplossingsfase.

Hoewel de huidige studie beperkt is tot specifieke soorten logische puzzels en kleinschaligere modellen, suggereren de bevindingen een veelbelovende richting voor de toekomst van redeneersystemen. De auteurs erkennen dat het toepassen van deze techniek op grote taalmodellen, die te maken hebben met enorme vocabulaire en complexe menselijke taal, een aanzienlijke uitdaging zal zijn en mogelijk andere aanpassingen vereist. Desalniettemin vormt het succes op deze gestructureerde taken een sterk bewijs dat de interne dynamiek van redeneermodellen een onderbenut potentieel bevat. Door te luisteren naar de eigen stem van het model en deze te gebruiken om de reis te begeleiden, hebben onderzoekers een manier gevonden om deze systemen effectiever te laten denken, waarmee ze bewijzen dat de beste manier om het redeneren van een machine te verbeteren soms niet is om het meer te leren, maar om het te helpen naar zichzelf te luisteren.