💬 NLP

ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning

Het artikel introduceert ReasonBench, een benchmarksuite die aantoont dat de redeneerprestaties van LLM's significante, gestructureerde instabiliteit vertonen bij herhaalde executies, waarmee wordt betoogd dat evaluaties op één enkel punt onvoldoende zijn en wordt gepleit voor distributiebewuste beoordeling om de afwegingen tussen kwaliteit, kosten en betrouwbaarheid nauwkeurig te vatten.

Oorspronkelijke auteurs: Nearchos Potamitis, Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Lars Klein, Akhil Arora

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nearchos Potamitis, Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Lars Klein, Akhil Arora

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Muntwerpen"-probleem

Stel je voor dat je een chef-kok inhuurt om een specifiek gerecht te maken. Je vraagt hem om het 30 keer te koken.

De Oude Manier: Je vraagt hem het één keer te koken, proeft het, en zegt: "Deze chef is een 9/10."
De Realiteit: Wanneer je hem vraagt het nog 30 keer te koken, is het gerecht de ene keer een 10/10, de andere keer een 4/10, en soms brandt de keuken zelfs af. Toch kan het gemiddelde er nog steeds uitzien als een 9/10.

Dit onderzoek stelt dat we onszelf voor de gek houden bij Large Language Models (LLM's) — de AI-hersenen achter chatbots — door alleen naar het gemiddelde te kijken.

De onderzoekers ontdekten dat zelfs wanneer je de AI vertelt om "greedy" te zijn (wat betekent dat hij altijd de meest voor de hand liggende, veilige keuze moet maken, zoals een robot zonder willekeur), de resultaten nog steeds wild heen en weer springen. De ene keer lost hij een wiskundeprobleem perfect op; de volgende keer faalt hij bij precies hetzelfde probleem.

Het Nieuwe Instrument: ReasonBENCH

Om dit te bewijzen, bouwden de auteurs een testlaboratorium genaamd ReasonBENCH. In plaats van een AI te vragen een probleem één keer op te lossen, lieten ze de AI hetzelfde probleem 30 keer achter elkaar oplossen. Dit deden ze voor:

12 verschillende AI-modellen (van bedrijven zoals OpenAI, Google, Anthropic, etc.).
10 verschillende denkstrategieën (zoals "Chain of Thought", "Tree of Thoughts", of simpelweg "Vragen en Antwoorden").
6 verschillende soorten taken (wiskundepuzzels, programmeren, gedichten schrijven, lastige vragen beantwoorden).

Belangrijkste Bevindingen (De "Aha!" Momenten)

1. De "Stabiliteitstaxonomie" (De Vier Soorten Chefs)

De onderzoekers realiseerden zich dat "instabiliteit" niet zomaar willekeurige ruis is. Er zit een patroon in. Ze creëerden een kaart met twee assen:

Global Noise (Globale Ruis): Hoeveel verandert de prestatie van de AI afhankelijk van welke taak je hem geeft? (Is het een specialist die alleen goed is in wiskunde maar faalt bij poëzie?)
Run Noise (Run-Ruis): Hoeveel verandert de prestatie van de AI wanneer je hem dezelfde taak twee keer geeft? (Is het een chef die een muntje opwerpt om te beslissen of de soep vandaag lekker smaakt?)

Ze vonden vier soorten systemen:

Stabiele Generalisten: Goed in alles, elke keer weer. (De betrouwbare chef).
Ruizige Generalisten: Goed in alles, maar hebben soms een slechte dag.
Stabiele Specialisten: Geweldig in één ding, verschrikkelijk in andere dingen, maar wel consistent.
Dubbel Ruizig: Onvoorspelbaar en inconsistent.

De Verrassing: Het type "denkstrategie" dat de AI gebruikt, voorspelt in welke categorie hij valt. Sommige strategieën zijn van nature chaotischer dan andere, ongeacht hoe slim het AI-model is.

2. De "Kosten vs. Kwaliteit" Valstrik

We denken vaak: "Als ik meer betaal voor een slimmere AI of een complexere denkmethode gebruik, krijg ik betere resultaten."
Het papier zegt: Niet noodzakelijkerwijs.

De Dure Mislukking: Sommige zeer dure, hoogwaardige modellen en complexe strategieën falen vaak vaker wanneer je ze meerdere keren uitvoert. Ze halen misschien gemiddeld het juiste antwoord, maar ze verbruiken ook veel geld (rekenkracht/compute) om daar te komen, en soms crashen ze gewoon.
De Goedkope Immuniteit: Verrassend genoeg zijn de goedkope, simpele methoden (zoals de AI direct iets vragen) "immuun" voor een specif kind soort falen. Ze kosten nooit een fortuin, dus zelfs als ze het antwoord fout hebben, hebben ze niet je geld verspild.
De Analogie: Stel je voor dat je een loterijticket koopt.
- Goedkope Methode: Je koopt een ticket van $1. Je verliest, maar je bent slechts $1 kwijt.
- Dure Methode: Je koopt een $1.000 "premium" ticket. Je kunt misschien groot winnen, maar je kunt ook de $1.000 verliezen. Het papier vond dat de dure tickets vaak vaker verliezen dan we denken, zelfs als ze af en toe groot winnen.

3. Waarom gebeurt dit? (Het is niet alleen "Willekeur")

Je zou kunnen denken: "Oh, de AI is gewoon dobbelstenen aan het gooien om woorden te kiezen."
De onderzoekers testten dit door de "dobbelsteenworp" uit te schakelen (de temperatuur op 0 zetten, wat de AI dwingt om deterministisch te zijn). De instabiliteit verdween niet.

Dit betekent dat het probleem niet alleen is dat de AI willekeurige woorden kiest. De instabiliteit komt door diepere problemen:

De API: De servers die de AI draaien, verplaatsen mogelijk op de achtergrond gegevens.
De Strategie: Sommige manieren van denken (zoals het doorzoeken van vele mogelijkheden) zijn inherent rommelig.
De Evaluator (De Beoordelaar): Als de AI zijn eigen werk moet beoordelen, en de beoordelaar is een beetje wankel, dan wordt het hele proces wankel.

Wat Moeten We Doen? (De Les)

Het papier suggereert dat we de manier waarop we AI beoordelen moeten veranderen:

Stop met het kijken naar enkelvoudige getallen: Zeg niet alleen "Model A heeft 85% nauwkeurigheid." Zeg: "Model A heeft 85% nauwkeurigheid, maar het schommelt elke keer dat je het uitvoert tussen 60% en 95%."
Controleer de "Gezamenlijke Mislukking": Wanneer je een AI implementeert, moet je weten: "Wat is de kans dat deze AI zowel duur EN fout is?" Het papier laat zien dat dure methoden veel vaker zowel duur als fout zijn dan goedkope methoden.
Verbeter de Evaluator, niet alleen de AI: Als je een complexe strategie gebruikt (zoals een zoekboom), is het belangrijkste wat je kunt doen om het stabiel te maken, ervoor zorgen dat de "rechter" (het deel dat het antwoord controleert) perfect is. Het verbeteren van de prompt of het AI-model zelf helpt minder dan het verbeteren van de rechter.

Samenvatting

ReasonBENCH is een waarschuwing. Het vertelt ons dat AI-redeneren als een weersysteem is, niet als een lichtknopje. Het staat niet alleen "aan" of "uit". Het fluctueert. Als we alleen naar het gemiddelde weerbericht kijken, kunnen we in een storm terechtkomen. We moeten naar de verdeling van de uitkomsten kijken om te weten of een AI echt betrouwbaar is of gewoon geluk heeft.

Technische Samenvatting: ReasonBench: Het (In)Stabiliteit van LLM-redeneren Benchmarked

Probleemstelling

Huidige benchmarks voor Large Language Model (LLM) redeneersystemen rapporteren prestaties als enkelvoudige punt-schattingen (bijv. een enkele nauwkeurigheidsscore). Echter, het artikel betoogt dat LLM-generatie een inherent stochastisch proces is. Zelfs onder greedy decoding ( $T=0$ ) kunnen identieke model–strategie–taakconfiguraties bij herhaalde executies merkbaar verschillende antwoorden, redeneerpaden en kosten produceren.

Het samenvoegen van deze run-niveau uitkomsten tot een enkel gemiddelde negeert de variantie die een betrouwbaar correct systeem onderscheidt van een systeem dat slechts in verwachting correct is. Deze variantie is niet louter een statistische hinder; het artikel demonstreert dat de best presterende strategie slechts 77% van de head-to-head runs wint tegen zijn dichtstbijzijnde concurrent, en het topmodel slechts 88% van de runs wint. Bij gevolg is een enkel geobserveerde score een systeem kan misleiden in de rangschikking, wat leidt tot suboptimale modelselectie en implementatiebeslissingen. Bovendien behandelt de bestaande literatuur bias (systematische fout) en variantie (stochastiek) vaak als gelijkwaardige eigenschappen, terwijl de LLM-evaluatie grotendeels alleen de eerste heeft gerapporteerd.

Methodologie: REASONBENCH

Om dit aan te pakken, introduceren de auteurs REASONBENCH, een benchmark-suite en open-source bibliotheek ontworig voor gecontroleerde multi-run evaluatie. Het framework ontkoppelt de redeneermethode, taakomgeving, modelinterface en evaluatiestatus, waardoor strategieën over taken en modellen kunnen worden herhaald zonder de experimentele opzet te wijzigen.

Experimentele Opzet:

Omvang: De studie evalueert 12 hedendaagse redeneermodellen (variërend van providers zoals OpenAI, Anthropic, Google, DeepSeek, etc.) en 10 representatieve redeneerstrategieën (inclusief IO, CoT, ReAct, Tree of Thoughts, Graph of Thoughts, etc.) over 6 diverse taken (Game of 24, HumanEval, HotpotQA, Humanity's Last Exam, SciBench, en Shakespearean Sonnet Writing).
Protocol: Elke configuratie wordt 30 onafhankelijke keren uitgevoerd. Deze steekproefomvang wordt gerechtvaardigd door een twee-fasen power-analyse om de detectie van betekenisvolle variantie en betrouwbare betrouwbaarheidsintervallen te waarborgen.
Metrieken: De studie behandelt kwaliteit en kosten als empirische distributies in plaats van punt-schattingen. Het introduceert twee primaire ruis-metrieken:
1. Global Noise: Legt cross-benchmark ongelijkmatigheid vast (structurele variabiliteit) na z-score normalisatie.
2. Run Noise: Legt binnen-benchmark stochastiek vast (instabiliteit bij herhaalde runs).
Variantie Decompositie: Een hiërarchische decompositie schrijft de score-variantie toe aan benchmark, systeem, itemstructuur en gebruik, waarbij de resterende onverklaarde variantie wordt geïsoleerd.

Belangrijkste Bijdragen

1. Instabiliteit is Gestructureerd, Niet Willekeurig

Het artikel stelt vast dat variantie substantieel, benchmark-afhankelijk en as-afhankelijk is. Door middel van een twee-componenten taxonomie (Global Noise vs. Run Noise) laten de auteurs zien dat:

Strategie-architectuur Voorspelt Stabiliteit: Deterministische executie onderdrukt Run Noise, terwijl zoek-gebaseerde executie dit juist versterkt. Het kwadrant waarin een strategie zich in de ruisruimte bevindt, is voorspelbaar door de architectuur.
Hiërarchische Toeschrijving: Ongeveer drie kwart van de score-variantie is gestructureerd (toe te schrijven aan interacties tussen benchmark, systeem en items), terwijl een hardnekkige residu onverklaard blijft door ontwerpfactoren.

2. Modellen en Strategieën zijn Niet-Vervangbare Assen

De studie behandelt modellen en strategieën als orthogonale assen die verschillende delen van de prestatiedistributie verschuiven:

Modellen verschuiven het plafond: De modelkeuze bepaalt de maximaal haalbare prestatie (capaciteit).
Strategieën verschuiven de procedure: De keuze van de strategie bepaalt de executie-variantie en de taak-specifieke sensitiviteit.
Kosten-Kwaliteit Ontkoppeling: Kosten en kwaliteit ontkoppelen asymmetrisch. Goedkope methoden zijn structureel immuun voor "joint cost-quality failure" (gelijktijdige hoge kosten en lage kwaliteit), terwijl dure methoden ongeacht hun gemiddelde nauwkeurigheid blootgesteld blijven aan dit risico.

3. Gecontroleerde Eliminatie van Bronnen

De auteurs testen systematisch potentiële bronnen van instabiliteit:

Decoding Temperatuur: Variantie blijft bestaan zelfs bij $T=0$ , wat uitsluit dat token-level sampling de dominante verklaring is.
Prompts en Parsers: Het verfijnen van prompts en parsers corrigeert bias (verbetert de gemiddelde kwaliteit) maar vermindert de run-to-run variantie niet.
Evaluator Kwaliteit: Het vervangen van heuristische evaluatoren door ground-truth oracles in zoek-gebaseerde strategieën vermindert zowel de gemiddelde kwaliteit als de variantie, wat de evaluator identificeert als een directe stabiliteitshefboom.
Redeneerinspanning (Reasoning Effort): Het verhogen van test-time compute (inspanning) verhoogt de kosten monotoon, maar verbetert de kwaliteit of vermindert de variantie niet betrouwbaar.

4. Open Infrastructuur

REASONBENCH biedt een modulaire bibliotheek met ontkoppelde abstracties (Method, Agent, Model, State, Environment) om reproduceerbare, distributie-bewuste evaluatie te faciliteren.

Belangrijkste Resultaten

Overlappende Distributies: Run-niveau distributies voor zowel strategieën als modellen overlappen substantieel. Bijvoorbeeld, op de HotpotQA benchmark hebben de beste strategie (FOA) en zijn dichtstbijzijnde concurrent (TOT-BFS) overlappende betrouwbaarheidsintervallen, en de topstrategie verslaat de runner-up slechts in 77% van de runs.
Ruis Taxonomie: Het plotten van systemen in de (Global Noise, Run Noise) ruimte onthult duidelijke kwadranten. Modellen concentreren zich de neiging te hebben op de anti-diagonaal (structurele ongelijkmatigheid en stochastische instabiliteit zijn anti-gecorreleerd), terwijl strategieën alle vier de kwadranten vullen op basis van hun architectuur.
Variantie Decompositie: In de strategie-as is 75,2% van de variantie gestructureerd; in de model-as is 73,3% gestructureerd. Pure herhalings-effecten verklaren slechts ~1% van de variantie, terwijl benchmark-systeem interacties en item-moeilijkheid domineren.
Kosten-Kwaliteit Asymmetrie: Dure methoden (bijv. DeepSeek R1, wat het duurste geteste model is) vertonen vaak hoge joint failure rates. Daarentegen overschrijden goedkope methoden (bijv. IO, COT) nooit de kosten-drempel, waardoor ze immuun zijn voor joint failure, zelfs als hun kwaliteit lager is.
Ineffectiviteit van Veelvoorkomende Oplossingen: De studie vindt dat standaard "oplossingen" zoals het verlagen van de temperatuur, het verfijnen van prompts of het verhogen van de redeneerinspanning de variantie niet verminderen. Alleen het verbeteren van de evaluator-getrouwheid en het vergroten van de model schaal (binnen een familie) tonen stabiliserende effecten.

Betekenis en Claims

Het artikel claimt dat instabiliteit een inherente eigenschap is van redeneersystemen, en niet een artefact van slecht experimenteel ontwerp. De auteurs stellen dat:

Stabiliteit is onderdeel van capaciteit: Een systeem dat een taak consistent oplost, heeft een ander capaciteitsprofiel dan een systeem dat deze slechts in verwachting oplost, zelfs als hun gemiddelden gelijk zijn.
Evaluatie moet evolueren: Single-number benchmarks zijn onvoldoende. Evaluatiepraktijken moeten verschuiven naar het rapporteren van distributies, betrouwbaarheidsintervallen en ruis-metrieken (Global en Run Noise).
Orthogonaliteit van assen: Modellen en strategieën moeten gezamenlijk worden ontwikkeld in plaats van als substituten te worden behandeld. Een benchmark-suite die modellen discrimineert, discrimineert mogelijk geen strategieën, en vice versa.
Risico-bewuste implementatie: Praktiseerders moeten budgetteren voor "joint cost-quality risk." Een nominaal betere maar duurdere methode kan domineren op gemiddelde kwaliteit, maar kan substantieel slechter zijn op het gebied van het risico op gelijktijdige hoge kosten en lage kwaliteit.

Het artikel concludeert door te pleiten voor "distributie-bewuste leaderboards" als een gemeenschappelijke standaard en suggereert dat toekomstig onderzoek zich moet richten op stabiliteit-bewuste routing en gezamenlijk ontwikkelde redeneersystemen die problemen matchen aan geschikte model-strategie paren.