Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility

Stel je voor dat je een heel moeilijk raadsel probeert op te lossen, zoals een complex wiskundig probleem of een lastige logische puzzel. Je hebt een superintelligente vriend (een Large Language Model, of LLM) die veel feiten kent, maar soms blijft hangen of maakt een stomme foutje wanneer hij te snel nadenkt. In de wereld van kunstmatige intelligentie is er een groeiend idee genaamd "test-time scaling". Denk hierbij aan het geven van meer tijd, meer papier, of meer kansen aan je vriend om na te denken voordat hij het definitieve antwoord geeft. In plaats van alleen de vraag één keer te stellen en het eerste antwoord te nemen dat in hem opkomt, zou je hem kunnen vragen om hardop na te denken, het probleem op drie verschillende manieren te proberen, of zelfs zijn eigen werk te controleren. De grote vraag waar onderzoekers zich mee bezighouden is: maakt het de computer echt slimmer als je hem meer "denktijd" geeft, of zorgt het er alleen voor dat hij meer praat?

Al een tijdje testen wetenschappers dit door AI-modellen meerdere antwoorden te laten genereren en het beste ervan te kiezen, of door hen te laten zoeken door verschillende paden naar een oplossing. Maar hier is de crux: iedereen speelt volgens net iets andere regels. Sommige onderzoekers laten de AI 100 verschillende antwoorden proberen en kiest de winnaar; anderen laten de AI halverwege een zin van gedachten veranderen; en anderen laten het zoeken als een detective die op zoek is naar aanwijzingen. Omdat iedereen een andere "spelboek"-methode gebruikt, is het erg moeilijk om te vergelijken wie het echt het beste doet. Het is als het proberen te vergelijken van de snelheid van een racewagen, een fiets en een raket, enkel door te kijken hoe ver ze zijn gekomen, zonder te weten hoeveel brandstof ze hebben verbruikt of wat voor soort baan ze hadden. Dit artikel stapt in en zegt: "Wacht eens even, we moeten stoppen met deze dingen door elkaar te halen en ze voortaan goed meten."

De auteurs van dit artikel, een team van Case Western Reserve University, bouwen in feite een nieuw regelboek voor hoe we deze denkende machines testen. Ze betogen dat "test-time scaling" niet slechts één ding is; het is eigenlijk drie zeer verschillende strategieën, en we moeten ze apart behandelen. Ten eerste is er de "Single-Track"-methode, waarbij de AI op één lang pad denkt, misschien zichzelf corrigerend terwijl hij gaat, zoals een wandelaar die hetzelfde pad blijft bewandelen maar stopt om een verkeerde afslag te herstellen. Ten tweede is er de "Leaf-Level"-methode, waarbij de AI een heleboel volkomen verschillende afgeronde antwoorden genereert (zoals een bakker die 100 broden bakt) en er aan het einde de beste uit kiest. Derde is de "Prefix-Level"-methode, wat meer lijkt op een boom-verkenner; de AI vertakt zich in veel verschillende richtingen, controleert welke takken veelbelovend lijken, en kapt de doodlopende wegen af nog voordat hij de reis heeft voltooid.

Het artikel stelt vast dat het een fout is om al deze methoden als hetzelfde te beschouwen. Als je alleen zegt "we hebben meer rekenkracht gebruikt", weet je niet hoe die kracht is gebruikt. De auteurs laten zien dat de manier waarop je de kosten (het "budget") telt en de manier waarop je het definitieve antwoord kiest, net zo belangrijk is als het model zelf. Zo ontdekten ze bijvoorbeeld dat het genereren van meer antwoorden door een AI niet noodzakelijkerwijs betekent dat het uiteindelijke antwoord dat je kiest ook beter zal zijn. Sterker nog, als de methode die wordt gebruikt om de winnaar te kiezen gebrekkig is, kan het toevoegen van meer antwoorden het uiteindelijke resultaat zelfs slechter maken, een beetje zoals het hebben van honderd mensen die stemmen op een film, maar een defecte stemmachine gebruiken die de slechtste film kiest.

Om deze verwarring op te lossen, hebben het team niet alleen gepraat, maar ook het zware werk gedaan. Ze hebben een enorme nieuwe bibliotheek gemaakt van meer dan 2 miljoen redeneer-sporen (denk aan een gigantische bibliotheek van elke stap die de AI zette tijdens het oplossen van problemen) die wiskunde, wetenschap en logische puzzels beslaat. Ze gebruikten deze bibliotheek om 27 verschillende open-source AI-modellen te testen. Hun resultaten suggereren dat hoewel het de AI helpen om vaker het juiste antwoord te vinden (ze noemen dit "ontdekking" of "discovery"), dit niet altijd betekent dat de AI ook weet hoe hij het juiste antwoord uit de stapel moet kiezen (dit is "selectie" of "selection"). Ze ontdekten dat bij sommige modellen de kans op een correct antwoord steeg van ongeveer 56% naar 82% door ze simpelweg meer keren te laten proberen, maar de kans dat elke enkele van die pogingen correct was, daalde aanzienlijk. Dit betekent dat de AI beter wordt in het vinden van de schat, maar dat het moeilijker wordt om te zien welke kaart de echte is.

Het artikel benadrukt ook dat we niet alleen naar de eindscore kunnen kijken en klaar zijn. Om echt te begrijpen of een AI slimmer wordt, moeten we precies weten hoe hij is getest: welke prompts werden gebruikt, hoeveel keer hij het heeft geprobeerd, hoe het definitieve antwoord werd gekozen, en zelfs de kleine details van hoe de computer draaide. Ze betogen dat het zonder deze details vergelijken van verschillende AI-modellen vergelijkbaar is met het vergelijken van appels met peren. Door een duidelijk kader te bieden voor hoe we deze "denk-budgetten" meten en door hun enorme dataset voor iedereen beschikbaar te stellen, hopen ze de verwarring te stoppen en het hele vakgebied met duidelijke, eerlijke en reproduceerbare resultaten vooruit te helpen. Kortom, ze vertellen ons dat om echt slimme AI te bouwen, we moeten stoppen met gissen hoe ze denken en het te gaan meten met een liniaal, in plaats van met een gok.