🤖 AI

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

Dit artikel daagt de aanname van stabiele rangschikkingen van grote taalmodellen uit door aan te tonen dat het variëren van de budgetten voor inferentie-tokens de prestaties en de volgorde van modellen significant verandert, waarbij niet-monotoon gedrag, rangschikkingsomkeringen en modelcomplementariteit worden onthuld die budget-geconditioneerde evaluatieprotocollen noodzakelijk maken.

Oorspronkelijke auteurs: Rodrigo Guedes de Souza, Alison R. Panisson

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rodrigo Guedes de Souza, Alison R. Panisson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een gigantische bibliotheek bent waar de boeken zijn geschreven door superintelligente robots die Large Language Models (LLM's) worden genoemd. Deze robots kunnen bijna alles lezen en vragen beantwoorden over wiskunde, wetenschap en geschiedenis. Een lange tijd probeerden mensen de "beste" robot te kiezen door ze simpelweg een vraag te stellen en te kijken wie als eerste het juiste antwoord gaf. Ze gingen ervan uit dat als Robot A beter was dan Robot B op één test, hij dat altijd zou zijn, ongeacht wat er gebeurde. Het was also[k] een race beoordelen door alleen te kijken naar wie als eerste de finish passeerde, zonder te geven om hoeveel tijd ze toegestaan werd om te rennen.

Maar hier komt de twist: deze robots "denken" niet direct instant. Ze schrijven hun antwoorden woord voor woord, als een lange keten van gedachten. De meer woorden ze mogen schrijven, hoe meer ze kunnen "denken" voordat ze een antwoord geven. Deze limiet op hoeveel woorden ze mogen schrijven, wordt een "token budget" genoemd. Denk aan het geven van een verschillende hoeveelheid tijd aan een student om een toets te maken. Sommige studenten hebben veel tijd nodig om een moeilijke puzzel op te lossen, terwijl anderen in de war kunnen raken als ze te veel tijd krijgen en gaan overdenken. De grote vraag voor wetenschappers is: blijft de "beste" robot de beste als we de tijdslimiet veranderen? Of verandert de winnaar afhankelijk van hoe lang we ze laten nadenken? Dit is precies wat de onderzoekers eruit wilden vinden.

Het "Overdenken"-probleem: Waarom meer tijd niet altijd beter is

In deze studie zetten de onderzoekers een grootschalig experiment op om te zien hoe vier verschillende AI-modellen presteerden op drie lastige tests: basisschoolwiskunde, competitieniveau-wiskunde en wetenschappelijke vragen op graduate-niveau. Ze lieten de modellen niet zoma van de vrije loop; ze dwongen hen te stoppen na specifieke hoeveelheden "denktijd" (gemeten in tokens). Ze testten zeven verschillende limieten, variërend van een piepkleine 64 tokens (zeer weinig denktijd) tot een enorme 4.096 tokens (veel denktijd).

Wat ze ontdekten, is dat het idee van een enkel "beste" model een mythe is. De ranglijsten van de modellen klapperden en veranderden volledig afhankelijk van hoeveel tijd ze kregen.

De "Overdenken"-verrassing
Je zou denken dat het een robot meer tijd geven om na te denken altijd helpt om het juiste antwoord te krijgen. Maar de onderzoekers ontdekten iets vreemds: soms zorgde het geven van meer tokens ervoor dat een model het antwoord juist fout kreeg. Ze noemen dit "overthinking" (overdenken).

Stel je een student voor die het antwoord op een wiskundeprobleem weet. Als je hem 10 minuten geeft, schrijft hij het correct op. Maar als je hem 30 minuten geeft, kan hij aan zichzelf gaan twijfelen, zijn antwoord veranderen en uiteindelijk met het verkeerde antwoord eindigen. De studie vond dat dit gebeurde bij ongeveer 3% tot 19% van de vragen. Erger nog, dit was geen probleem met de vragen zelf; het was specifiek voor elk robotmodel. Een vraag die één model liet "overdenken" en deed falen, kon perfect zijn voor een ander model. Het is zoals hoe de ene persoon nerveus kan worden als hij te veel tijd heeft om een toespraak voor te bereiden, terwijl een ander daar juist baat bij heeft.

De Grote Rangschikking-wisselingen
Vanwege dit fenomeen bleef de "winnaar" van de race veranderen.

Op de makkelijkere wiskundetest (GSM8K) was een groot model (LLaMA-3.3 70B) de kampioen wanneer ze een gemiddelde hoeveelheid tijd kregen (256 tokens). Maar zodra ze de modellen meer tijd gaven (tot 4.096 tokens), nam een kleiner model (GPT-OSS 20B) de leiding en bleef daar ook.
Op de moeilijkste wetenschapstest (GPQA) was het kleinste model (LLaMA-3 8B) zelfs het beste toen de tijd krap was (256–512 tokens). Maar naarmate de tijd toenam, haalden de grotere modellen in en eindigden ze zelfs gelijk op de eerste plaats.

Dit betekent dat als je vandaag een ranglijst bekijkt die zegt "Model X is de beste", die bewering alleen waar is voor een specifieke hoeveelheid tijd. Als je de tijdslimiet verandert, kan Model X plotseling de slechtste zijn.

De "Oracle"-kloof: Waarom we een slimme schakelaar nodig hebben
De onderzoekers vroegen zich ook af: "Als we magisch het perfecte model voor elke vraag konden kiezen, hoe veel beter zouden we dan scoren?" Ze bouwden een theoretische "Oracle" (een perfecte selector) die het beste model koos voor elke specifieke vraag en tijdslimiet.

De resultaten waren schokkend. Op de moeilijke wetenschapstest kon deze perfecte selector 27,8 procentpunt meer correcte antwoorden halen dan het enkel beste model dat alleen draait. Zelfs op de makkelijkere wiskundetests was de kloof aanzienlijk (tot 16,9 punten). Dit bewijst dat geen enkele robot goed is in alles. Soms is de kleine robot het beste, soms de grote, en soms zitten ze er allemaal naast.

Kunnen we een slimme schakelaar bouwen?
Het team probeerde een "router" te bouwen — een slim systeem dat naar een vraag kijkt en de tijdslimiet, en dan beslist welke robot de vraag moet beantwoorden.

Binnen hetzelfde type test: Wanneer ze de router trainden op wiskundeproblemen en testten op wiskundeproblemen, werkte het geweldig. Het gebruik van de "tijdslimiet" als aanwijzing hielp de router om de juiste robot te kiezen, wat de nauwkeurigheid verbeterde met 1,6 tot 5,7 punten.
Over verschillende tests heen: Maar toen ze probeerden dezelfde router te gebruiken om te schakelen van wiskunde naar wetenschap, raakte de router in de war. De "tijdslimiet"-aanwijzingen die werkten voor wiskunde, werkten niet voor wetenschap. Sterker nog, het gebruik van die aanwijzingen maakte de router zelfs slechter met 1,2 punten bij het wisselen van domein. Dit suggereert dat de relatie tussen "hoeveel tijd je hebt" en "het juiste antwoord krijgen" anders is voor elk onderwerp.

De Kernboodschap

De belangrijkste les uit dit papier is simpel maar krachtig: Er is niet één enkel "beste" AI-model. Het antwoord op de vraag "welk model is het beste?" hangt volledig af van "hoe lang je ze laat nadenken."

Als je een app bouwt voor een telefoon waarbij je de AI slechts een heel klein beetje tijd kunt geven, kan een klein, snel model jouw kampioen zijn. Als je een server runt waar je de AI urenlang kunt laten nadenken, kan een ander, groter model winnen. De oude manier van modellen rangschikken — gewoon één winnaar voor iedereen kiezen — is kapot. In plaats daarvan moeten we zeggen: "Model A is het beste voor korte antwoorden, Model B is het beste voor lange antwoorden, en soms, als je ze te veel tijd geeft, kunnen ze het gewoon verpesten."

De onderzoekers suggereren dat we in de toekomst moeten stoppen met het vragen om één enkele score en in plaats daarvan moeten rapporteren hoe modellen presteren bij verschillende tijdslimieten. En als we deze modellen effectief willen gebruiken, hebben we slimme systemen nodig die weten wanneer ze de kleine, snelle denker moeten oproepen en wanneer ze de grote, trage denker moeten oproepen — want de winnaar verandert op het moment dat de klok begint te tikken.

Technisch overzicht: Budgetafhankelijke rangschikkingen in LLM-evaluatie

Probleemstelling

Standaard evaluatie van Large Language Models (LLM's) gaat ervan uit dat modelrangschikkingen stabiel en invariant zijn voor condities tijdens de inferentie. Specifiek wordt verondersteld dat een model dat als "state-of-the-art" is aangemerkt op een benchmark (bijv. GSM8K, GPQA), zijn superioriteit behoudt ongeacht het budget voor token-generatie — het maximale aantal tokens dat een model mag produceren voordat het wordt afgebroken.

Dit artikel daagt die aanname uit. Het stelt dat het evaluatielandschap fundamenteel budgetafhankelijk is. Recente literatuur over de schaling van compute tijdens de testtijd suggereert dat een grotere toelage aan tokens de prestaties kan verbeteren, terwijl literatuur over "overthinking" suggereert dat extra tokens de nauwkeurigheid kunnen verslechteren. De kernvraag is echter of de interactie tussen deze effecten over verschillende modellen en taken heen nog niet gekwantificeerd is. Het kernprobleem is of modelrangschikkingen, item-moeilijkheidsgraad en modelcomplementariteit statische eigenschappen zijn of functies van het tokenbudget.

Methodologie

De auteurs voerden een systematisch onderzoek uit waarbij vier open-source reasoning modellen en drie reasoning benchmarks werden betrokken over zeven verschillende tokenbudgetten.

Modellen: Vier modellen variërend in parameteromvang over een orde van grootte: LLaMA-3 8B, Qwen-3 32B, LLaMA-3.3 70B, en GPT-OSS 20B.
Benchmarks: Drie datasets met toenemende moeilijkheidsgraad:
- GSM8K (1.319 wiskundeproblemen voor de basisschool).
- MATH-500 (500 competitie-niveau wiskundeproblemen).
- GPQA-Diamond (198 wetenschappelijke vragen op graduate-niveau).
Tokenbudgetten: Zeven niveaus variërend van 64 tot 4.096 tokens ( $b \in \{64, 128, 256, 512, 1024, 2048, 4096\}$ ).
Experimentele opzet: In totaal werden 56.476 individuele inferenties gegenereerd bij temperatuur $T=0$ voor determinisme.
Evaluatieprotocol:
- Afhandeling van afbreking (Truncation): De studie gebruikt een drieledige analyse om genuante fouten in redenering te onderscheiden van artefacten door afbreking:
  1. Alle items: Standaard scoring waarbij afgebroken outputs als onjuist worden gemarkeerd.
  2. Stop-only: De analyse beperken tot items waar een specifiek model de generatie heeft voltooid.
  3. Common non-truncated: Beperken tot items waar alle vier de modellen de generatie hebben voltooid, wat gepaard-vergelijkingen mogelijk maakt.
- Metrieken: Binaire correctheid (exact match), McNemar's test voor de significantie van rangschikking, Jaccard-gelijkenis voor modelovereenstemming, en Oracle gap-analyse (het verschil tussen een per-item oracle ensemble en het beste enkele model).

Belangrijkste bijdragen en bevindingen

1. Gedragstaxonomie op itemniveau

De auteurs classificeren de trajecten van model-item naar vier categorieën: always-correct, monotone-increasing, non-monotone, en always-wrong.

Non-monotoon gedrag: In tegenstelling tot de aanname dat meer tokens altijd helpen, vertonen 3,6–25,8% van de items non-monotoon gedrag (de nauwkeurigheid neemt af naarmate het budget toeneemt), wat staat voor "overthinking".
Modelspecifiteit: Dit fenomeen is grotendeels modelspecifiek. De cross-model overlap van non-monotone items is laag (6–14%), wat betekent dat een item dat overthinking triggert in het ene model, zelden ook in een ander model gebeurt. Dit impliceert dat "problematische" items niet simpelweg uit benchmarks verwijderd kunnen worden om het probleem op te lossen.
Validatie: Zelfs na het filteren van afbrekingsartefacten (door gebruik te maken van stop-only trajecten), blijven de non-monotone ratio's substantieel (bijv. 19,1% voor LLaMA-3 8B op GPQA), wat bevestigt dat overthinking een genuïne fout in de redenering is.

2. Statistisch significante rangschikkingsomkeringen

Modelrangschikkingen zijn niet stabiel; het "beste" model verandert afhankelijk van het budget.

GSM8K: LLaMA-3.3 70B leidt bij $b=256$ (62,4%), maar GPT-OSS 20B haalt het in bij $b=512$ en behoudt een significante voorsprong bij $b=4096$ (94,9% vs. 91,7%).
GPQA: Het kleinste model (LLaMA-3 8B) staat op de eerste plaats bij lage budgetten ( $b=256, 512$ ), wordt ingehaald door LLaMA-3.3 70B bij $b=1024$ , en wordt uiteindelijk gelijkgetrokken door GPT-OSS 20B bij $b=4096$ .
Significantie: Deze omkeringen zijn statistisch significant ( $p < 0,01$ via McNemar's test) over alle benchmarks heen, zelfs wanneer er gecontroleerd wordt voor afbreking op de gemeenschappelijke non-truncated sets.

3. Dynamiek van de Oracle Gap

Een oracle ensemble (dat per item het juiste model selecteert) onthult aanzienlijk potentieel voor verbetering via modelselectie.

Grootte: De oracle gap (oracle nauwkeurigheid minus het beste enkele model) varieert van +3,5 pp tot +27,8 pp.
Budgetafhankelijkheid:
- Op GSM8K is de gap non-monotoon, met een piek bij $b=256$ (+16,9 pp) omdat modellen verschillende items oplossen, en neemt deze af naarmate ze convergeren op makkelijkere items bij hogere budgetten.
- Op moeilijkere benchmarks (MATH-500, GPQA) groeit de gap monotoon, bereikend respectievelijk +12,8 pp en +27,8 pp bij $b=4096$ .
Complementariteit: Zelfs bij hoge budgetten lossen modellen fundamenteel verschillende subsets van items op (Jaccard-gelijkenis $\approx 0,74$ bij $b=4096$ ), wat wijst op persistente complementariteit.

4. Bewijs van concept voor Budget-bewuste Routing

De auteurs hebben XGBoost-classifiers getraind om items te routeren naar het beste model op basis van tekstkenmerken en het tokenbudget.

Prestaties over domeinen heen: Wanneer getraind op GSM8K+MATH-500 en getest op GPQA, behaalde de router +2,67 pp boven de "Best-Per-Budget" baseline, waarmee 14,1% van de oracle gap werd gevangen.
Kenmerkbelang: SHAP-analyse laat zien dat het tokenbudget het dominante kenmerk is (6,1 $\times$ belangrijker dan tekstkenmerken zoals de aanwezigheid van LaTeX).
Domeinspecificiteit: Hoewel budgetkenmerken de prestaties binnen een domein verbeteren (+1,6 tot +5,7 pp), schaden ze de cross-domein transfer (−1,2 pp). Dit geeft aan dat de relatie tussen budget en nauwkeurigheid domeinspecifiek is en niet direct generaliseert van wiskunde naar wetenschap.

Betekenis en Implicaties

Het artikel betoogt dat de vraag "welk model is het beste?" geen enkel antwoord heeft; het hangt af van het token-generatiebudget. De auteurs stellen drie actiegerichte implicaties voor:

Evaluatieprotocollen: Benchmarks zouden budget-geconditioneerde evaluatie moeten adopteren en rangschikkingen moeten rapporteren op meerdere budgetniveaus in plaats van een enkele statische score. Dit is cruciaal voor scenario's met beperkte middelen (bijv. mobiel, edge) waar genereuze budgetten onhaalbaar zijn.
Routeringssystemen: Modelselectie- en routeringssystemen moeten het tokenbudget behandelen als een primair signaal. Omdat de budget-nauwkeurigheidsmappings echter domeinspecifiek zijn, moeten routeringssystemen budgetsignalen combineren met domein-agnostische kenmerken of adaptatietechnieken.
Ensemble-mogelijkheden: De gedocumenteerde aanzienlijke oracle gaps vertegenwoordigen een concrete kans voor ensemble- en routeringsmethoden om de complementariteit van modellen te benutten, wat potentieel aanzienlijke prestatiewinsten oplevert ten opzien van single-model deployments.

De studie concludeert dat het evaluatielandschap van LLM's fundamenteel budgetafhankelijk is, waarbij modelrangschikkingen, item-moeilijkheidsgraad en complementariteit allemaal variëren als functie van de tokenlimiet tijdens de inferentie.