Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B

Het Grote AI Brein-Boost Experiment

Stel je voor dat je een zeer slimme maar licht afgeleide student hebt. Je geeft hem een moeilijke wiskundevraag en hij probeert deze op te lossen. Soms heeft hij het goed, soms heeft hij het fout. In de wereld van kunstmatige intelligentie proberen onderzoekers uit te vogelen hoe ze deze "studenten" (genaamd Large Language Models) beter kunnen laten nadenken zonder ze vanaf nul opnieuw te bouwen. Het populaire idee is geweest om de AI te vertellen om "harder na te denken". Dit betekent de AI vragen om zijn stappen te plannen, met zichzelf te discussiëren, zijn eigen fouten te bekritiseren of zijn antwoorden te herschrijven voordat hij ze inlevert. Het is alsof je een student zegt: "Schrijf niet alleen het antwoord; schrijf een heel essay over waarom je denkt dat dat antwoord juist is, controleer je werk en probeer het misschien nog een keer."

De grote vraag is: helpt al dat extra nadenken echt, of is het gewoon tijdverspilling? Het kernconcept hier is tokens. Denk aan tokens als de "woorden" of "eenheden inspanning" die een AI verbruikt. Elke keer dat de AI een woord schrijft, kost dat een token. Als een methode ervoor zorgt dat de AI 1.000 woorden schrijft om een probleem op te lossen dat in 100 woorden had kunnen worden opgelost, heeft het tien keer zoveel moeite gedaan. Het wetenschappelijke debat is of die extra inspanning komt door de strategie (zoals zelfkritiek) of simpelweg door het feit dat de AI meer woorden mocht schrijven. Als je een student tien keer zoveel papier geeft, krijgt hij misschien een beter cijfer omdat hij simpelweg meer ruimte had om het te proberen, niet omdat hij plotseling slimmer is geworden. Dit artikel zet uit om precies dat te testen: wanneer je verschillende strategieën precies dezelfde hoeveelheid papier (tokens) geeft, welke wint er dan echt?

Het Papier: Meer Samples, Minder Reflectie

Dit artikel, getiteld "Sample More, Reflect Less", is een massaal experiment ontworpen om het debat te beslechten over de vraag of AI moet "reflecteren" op zijn eigen werk om slimmer te worden. De onderzoekers namen zeven verschillende populaire methoden die AI "harder laten nadenken" — inclusief methoden waarbij de AI zichzelf bekritiseert, met kopieën van zichzelf discussieert, of probeert het beste antwoord uit een lijst te kiezen — en zetten deze af tegen een zeer eenvoudige, saaie baseline: herhaaldelijk samplen.

De baseline is als tien keer een munt opgooien en de kant te kiezen die het vaakst voorkomt. In AI-termen betekent dit de vraag tien keer te stellen en simpelweg het meest voorkomende antwoord te nemen. De onderzoekers zorgden ervoor dat elke methode exact hetzelfde aantal tokens (gegenereerde woorden) gebruikte, zodat het speelveld perfect gelijkwaardig was. Ze testten dit op drie verschillende groottes van AI-modellen (1,5 miljard, 3 miljard en 7 miljard parameters) met twee wiskunde-benchmarks (GSM8K en MATH-500) met elk 150 vragen.

De Grote Bevinding:
De resultaten waren verrassend. In bijna alle gevallen verloren de chique methoden die de AI lieten "reflecteren", "bekritiseren" of "ارgueren" het van de eenvoudige methode om de vraag simpelweg meerdere keren te stellen en de stemmen te tellen.

Wanneer de onderzoekers nauwkeurig keken naar waarom de chique methoden verloren, vonden ze een duidelijk patroon. De methoden die de AI vroegen om zijn eigen werk te beoordelen (zoals het herschrijven van zijn antwoord of het kiezen van het "beste" antwoord uit een lijst) presteerden consequent slechter dan de baseline. Bijvoorbeeld, op het kleinere 1,5 miljard-parameter model, scoorde een methode genaamd "Best-of-N" (waarbij de AI het beste van 8 antwoorden kiest) ongeveer 8 tot 11 procentpunten lager dan simpelweg de meest voorkomende stem tellen onder diezelfde 8 pogingen. Zelfs op het grotere 7-miljard model verdween het verschil: het verschil was statistisch ononderscheidbaar van nul, wat betekent dat de "rechter" niet langer duidelijk slechter was dan de "teller", en de straf niet langer onderscheidbaar was van nul.

Het artikel sluit de mogelijkheid expliciet uit dat "harder nadenken" door middel van zelfreflectie het magische ingrediënt is. In plaats daarvan suggereert het dat tokens uitgeven aan een andere poging een betere investering is dan tokens uitgeven aan zelfcorrectie — bij elke modelgrootte die de onderzoekers konden testen. Als je genoeg tokens hebt om één lang, kritisch essay over je antwoord te schrijven, kun je die tokens beter gebruiken om twee of drie nieuwe, onafhankelijke antwoorden te schrijven en simpelweg het populairste ervan te kiezen.

De "Ghost" Methode en de Les dat Grootte Ertoe Doet

Een van de meest speelse en onthullende onderdelen van het experiment betrof een methode genaamd Reflexion. Deze methode is bedoeld om als volgt te werken: de AI probeert een probleem op te lossen, en vraagt zichzelf dan: "Heb ik dit goed gedaan?" Als het "Nee" zegt, probeert hij het opnieuw. Als het "Ja" zegt, stopt hij.

De onderzoekers ontdekten een grappige glitch in het kleinste model (1.5B). Op dit piepkleine model zei de AI nooit "Nee". Hij beoordeelde elk van zijn eerste antwoorden als "correct", zelfs wanneer ze fout waren. Hierdoor werd de Reflexion-methode nooit echt geactiveerd om een herpoging te doen. Het stortte stilzwijgend in tot een enkele, goedkope poging. Omdat dit zo goedkoop was (het verbruikte geen extra tokens), leek het goed te presteren in vergelijking met de dure methoden. Maar toen de onderzoekers de AI dwongen om ongeacht wat hij dacht drie keer opnieuw te proberen, daalde de prestatie aanzienlijk, wat bewees dat de "reflectie"-mechanisme zelf eigenlijk de score schaadde.

Naarmate de modellen groter werden (van 1,5B naar 7B), begon de kloof tussen "stemmen tellen" en "de AI laten oordelen" te krimpen. Bij 7 miljard parameters was de AI goed genoeg in oordelen dat het niet langer schadelijk was; het verschil was niet langer onderscheidbaar van nul. De paper merkt echter op dat zelfs bij deze grootte de AI niet beter was in oordelen dan stemmen tellen; het werd alleen maar niet slechter. De onderzoekers suggereren dat voor een AI echt de "stemmen tellen"-methode te verslaan, het specifiek getraind moet worden om een rechter te zijn, in plaats van simpelweg gevraagd te worden om ter plekke te oordelen.

Wat Dit Betekent voor de Toekomst

Het artikel concludeert met een sterke boodschap voor iedereen die deze AI-systemen bouwt: Maak het niet te ingewikkeld. Als je een budget hebt aan tokens (woorden) om uit te geven, is de meest efficiënte manier om een correct antwoord te krijgen vaak het genereren van veel verschillende pogingen en het laten gelden van de meerderheid, in plaats van de AI te vragen zijn eigen werk te bekritiseren en te herschrijven.

De auteurs waarschuwen ook dat sommige methoden er op papier goed uit kunnen zien maar in de praktijk falen omdat ze hun werkelijke kosten "verbergen". Als een methode zelf beslist wanneer hij stopt (zoals Reflexion), kan hij direct stoppen en geld besparen, waardoor het efficiënt lijkt, maar voert hij niet echt het werk uit waarvoor hij is ontworpen.

Uiteindelijk suggereert deze studie dat voor wiskundige problemen met duidelijke goed-of-fout antwoorden, de "magie" van zelfreflectie een mythe is — op zijn minst voor de modellen die getest zijn. De krachtigste tool is niet een slimmere strategie; het is simpelweg vaker proberen. Zoals de onderzoekers het verwoordden: tokens uitgeven om een antwoord te overwegen is een slechtere besteding van die tokens dan ze te gebruiken voor een nieuwe poging. De AI hoeft niet te worden verteld om harder na te denken; hij heeft alleen meer kansen nodig om het te proberen.