🤖 AI

Measuring AI Reasoning: A Guide for Researchers

Dit artikel betoogt dat het evalueren van AI-redenering moet verschuiven van uitsluitend vertrouwen op de nauwkeurigheid van het eindantwoord naar een procesgerichte aanpak die de trouw en geldigheid van tussenliggende redeneersporen beoordeelt, aangezien adaptieve, meerstapszoektocht structureel verschilt van enkele doorlopen en essentieel is voor het diagnosticeren van modelgedrag.

Oorspronkelijke auteurs: Munachiso Samuel Nwadike, Zangir Iklassov, Kareem Ali, Rifo Genadi, Kentaro Inui

Gepubliceerd 2026-05-06

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Munachiso Samuel Nwadike, Zangir Iklassov, Kareem Ali, Rifo Genadi, Kentaro Inui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Beoordeel Niet Alleen het Antwoord

Stel je een student voor die een wiskundetoets maakt. Jarenlang hebben leraren alleen gekeken naar het laatste getal dat in het vakje staat om te beslissen of de student slim is. Als het antwoord "42" is, krijgt de student een A. Als het "43" is, krijgen ze een F.

Dit paper stelt dat dit een verschrikkelijke manier is om "redeneren" te meten.

Waarom? Omdat een student "42" kan krijgen om drie heel verschillende redenen:

Memoriseren: Ze zagen deze exacte opgave vorige week op een oefenblad en onthouden het antwoord gewoon.
Gokken/Patroonherkenning: Ze merkten op dat wanneer de vraag het woord "appel" bevat, het antwoord meestal "42" is, dus gokten ze.
Echte Redenering: Ze hebben daadwerkelijk de wiskunde stap voor stap uitgewerkt om het erachter te komen.

Als je alleen naar het eindantwoord kijkt, kun je het verschil niet zien tussen een genie dat het werk heeft gedaan en een bedrieger die het antwoordenlijstje heeft onthouden. De auteurs zeggen dat we moeten stoppen met het beoordelen van alleen het laatste vakje en moeten beginnen met het beoordelen van het werk dat op het kladblok staat.

De Drie Niveaus van "Slim"

Het paper splitst op hoe AI (en mensen) problemen oplossen in drie distincte niveaus. Denk hierbij aan verschillende manieren om naar een bestemming te komen:

1. Memoriseren (De "Flitskaart"-methode)

Wat het is: De AI ziet een vraag die ze eerder heeft gezien en spuugt het antwoord uit dat ze in haar geheugen heeft opgeslagen.
De Analogie: Het is als een papegaai die een zin herhaalt die hij op tv heeft gehoord. Hij begrijpt de betekenis niet; hij weet alleen dat wanneer je zegt "Wat is de hoofdstad van Frankrijk?", hij "Parijs" moet zeggen.
Het Probleem: Als je de papegaai de vraag achterstevoren vraagt ("Parijs is de hoofdstad van welk land?"), kan hij in de war raken. Hij denkt niet na; hij haalt gewoon een bestand op.

2. Begrip (De "Buikgevoel"-methode)

Wat het is: De AI verbindt punten op basis van patronen die hij miljoenen keren heeft gezien. Hij doet geen stap-voor-stap berekening, maar gebruikt "gezonde verstand"-associaties om het juiste antwoord te krijgen.
De Analogie: Stel je voor dat je rook ruikt en direct denkt aan "vuur". Je hebt geen wetenschappelijke analyse van verbranding uitgevoerd; je hersenen herkenden gewoon een patroon. De AI doet dit met woorden. Hij ziet "mensen" en "vol" en weet dat ze bij elkaar horen.
Het Probleem: Dit werkt voor eenvoudige vragen, maar het faalt wanneer het probleem een lange, complexe keten van logica vereist die de AI nog niet eerder heeft gezien.

3. Redeneren (De "Detective"-methode)

Wat het is: Dit is wat het paper zegt dat we eigenlijk willen meten. Het is een zoekproces. De AI moet een stap zetten, controleren of het goed is, een andere stap zetten, misschien terugkeren, en doorgaan totdat hij de oplossing vindt.
De Analogie: Dit is als een detective die een mysterie oplost. Ze kunnen de moordenaar niet zomaar raden. Ze moeten kijken naar het alibi, het wapen controleren, de getuige ondervragen en beseffen dat één aanwijzing niet klopt, dus gaan ze terug en proberen ze een ander pad. Het pad dat ze volgen, hangt af van de aanwijzingen die ze onderweg vinden.
De Sleutel: Het paper stelt dat echte redenering adaptief is. Je weet niet hoeveel stappen het zal kosten totdat je begint. Sommige puzzels kosten 3 stappen; anderen 30.

Het "Zwarte Doos"-Probleem

De auteurs wijzen op een grote technische hindernis. Moderne AI-modellen zijn als zwarte dozen die proberen een probleem in één grote sprong op te lossen (een "single forward pass").

De Beperking: Stel je voor dat je een doolhof probeert op te lossen door van het begin naar het einde te springen in één enorme sprong. Je kunt dat niet als het doolhof verandert terwijl je gaat.
De Realiteit: Huidige AI-architecturen zijn gebouwd om snel en parallel te zijn (vele dingen tegelijk doen). Ze worstelen met het "stoppen en nadenken"-werk dat nodig is voor complexe redenering, omdat ze niet gemakkelijk kunnen beslissen wanneer ze moeten stoppen of welke stap ze als volgende moeten zetten zonder vooruit te kijken.

De Oplossing: Geëxternaliseerde Sporen
Om dit op te lossen, stelt het paper voor dat we de AI dwingen om hardop te praten terwijl hij denkt. Dit wordt "het redeneerspoor externaliseren" genoemd (vaak "Chain of Thought" genoemd).

De Analogie: In plaats dat de AI alleen fluisterend het antwoord aan de leraar geeft, geven we hem een whiteboard. Hij moet elke stap opschrijven: "Eerst doe ik dit... oh wacht, dat is fout, laten we dat proberen..."
Waarom het helpt: Nu kunnen onderzoekers naar het whiteboard kijken. Ze kunnen zien of de AI daadwerkelijk het detective-werk heeft gedaan, of dat hij gewoon een nepverhaal heeft opgeschreven om slim te lijken.

Twee Nieuwe Regels voor Beoordeling

Het paper stelt voor dat als we naar het "whiteboard" (het redeneerspoor) gaan kijken, we het moeten beoordelen op twee specifieke dingen, niet alleen of het eindantwoord goed is.

1. Betrouwbaarheid (Vertelt het de waarheid?)

Het Probleem: Soms schrijft een AI een prachtig, logisch verhaal op het whiteboard, maar heeft hij eigenlijk eerst het antwoord geraden en het verhaal er alleen bij verzonnen om te matchen.
De Test: Als je een stap in het verhaal verandert (bijvoorbeeld: "Wat als het getal 5 was in plaats van 3?"), verandert het eindantwoord dan? Als het antwoord hetzelfde blijft, was het verhaal nep. Het redeneren was niet "betrouwbaar" ten opzichte van het antwoord.
Het Doel: We willen dat het verhaal het antwoord daadwerkelijk veroorzaakt, en het niet alleen versiert.

2. Geldigheid (Is de logica waterdicht?)

Het Probleem: De AI kan eerlijk zijn (hij heeft echt de stappen gebruikt om het antwoord te krijgen), maar de stappen kunnen verkeerd zijn.
De Test: Klopte de wiskunde? Hield de logica stand?
Het Doel: We willen dat de stappen feitelijk en logisch correct zijn, niet alleen geloofwaardig klinkend.

De "Contaminatie"-Valstrik

Het paper waarschuwt voor data-contaminatie. Dit gebeurt wanneer de AI per ongeluk heeft "gevalst" door de toetsvragen te memoriseren tijdens zijn training.

De Analogie: Stel je een student voor die per ongeluk het antwoordenlijstje heeft gezien voordat het examen begon. Ze halen 100%. Hebben ze het materiaal geleerd? Nee.
Het Punt van het Paper: Veel beroemde AI-benchmarks zijn "gecontamineerd". De AI redeneert niet; hij haalt gewoon het antwoordenlijstje op. Dit laat de AI slimmer lijken dan hij is. De enige manier om dit te vangen is door naar het redeneerspoor te kijken. Als het spoor kort en repetitief is, is het waarschijnlijk memoriseren. Als het een lange, adaptieve zoektocht is, is het waarschijnlijk echte redenering.

Samenvatting

Het paper is een gids voor onderzoekers met de boodschap: "Stop met gewoon tellen hoeveel antwoorden goed zijn. Begin te kijken naar hoe de AI daar is gekomen."

Kijk niet alleen naar de eindscore (Nauwkeurigheid).
Kijk wel naar het kladblok (Redeneersporen).
Controleer of het kladblok eerlijk is (Betrouwbaarheid).
Controleer of het kladblok correct is (Geldigheid).

Door dit te doen, kunnen we het verschil zien tussen een AI die echt aan het "denken" is en een die gewoon een zeer goede nabootser is.

Technische Samenvatting: Het Meten van AI-Redeneren: Een Gids voor Onderzoekers

Probleemstelling

Huidige evaluaties van Large Language Models (LLM's) vertrouwen steeds vaker op "redeneer"-benchmarks (bijv. MMLU, GSM8K, AIME, ARC-AGI), waarbij vooruitgang voornamelijk wordt gemeten aan de hand van de nauwkeurigheid van het eindantwoord (bijv. pass@1, exacte overeenkomst). De auteurs betogen dat deze metriek een ontoereikende en onderbepaalde proxy voor redeneren is. Hoge nauwkeurigheid kan worden bereikt via mechanismen die geen echt redeneren omvatten, zoals:

Memorisatie: Token-precies ophalen van eerder geziene feiten of definities.
Begrip: Token-niveau associaties en patroonvoltooiing zonder expliciete deductieve zoektocht.
Data-verontreiniging: Wanneer benchmark-items voorkomen in pre-training-data, kunnen modellen "spiergeheugen" of interpolatie aannemen in plaats van adaptieve berekening.

Bovendien faalt de nauwkeurigheid van het eindantwoord om te diagnosticeren hoe een model tot een oplossing komt, waardoor het moeilijk is om onderscheid te maken tussen echt meerstapsredeneren en het benutten van shortcuts. Daarnaast zijn standaard schaalbare architecturen (zoals Transformers) structureel beperkt in het uitvoeren van variabele diepte, input-afhankelijke berekeningen binnen één enkele forward pass, terwijl huidige evaluatiemethoden deze beperking vaak verdoezelen door uitsluitend te focussen op uitkomsten.

Methodologie en Theoretisch Kader

Het paper stelt een verschuiving voor van uitkomstgebaseerde evaluatie naar procesgebaseerde evaluatie, gebaseerd op een specifieke definitie van redeneren en een formele analyse van computationele limieten.

1. Het Definieren van Redeneren als Adaptieve Zoektocht

De auteurs definiëren redeneren niet als een statische input-output mapping, maar als een zoekproces.

Formalisatie: Redeneren wordt gemodelleerd als een sequentie van staatsovergangen $s_1 = f_1(x), s_2 = f_2(s_1), \dots, s_k = f_k(s_{k-1})$ .
Kernkenmerk: Zowel de keuze van de volgende overgangsfunctie als de stoptijd $k$ moeten input-afhankelijk zijn. De diepte van de berekening moet zich aanpassen aan de moeilijkheidsgraad van het specifieke geval.
Onderscheid met Begrip/Memorisatie:
- Memorisatie: Exacte ophaling van token-sequenties.
- Begrip: Lokale associaties en patroonvoltooiing (bijv. "mensen" $\to$ "bevolkte gebieden") zonder een variabele lengte deductieve keten.
- Redeneren: Vereist tussenstappen die sequentieel worden geselecteerd op basis van vorige staten totdat een stopconditie is bereikt.

2. Structurele Beperkingen van Vaste-Diepte Architecturen

Het paper betoogt dat standaard schaalbare architecturen (Transformers, Mamba-achtige SSM's) die opereren in één enkele forward pass, beperkt zijn tot vaste-diepte circuits (buiten de $TC^0$ complexiteitsklasse voor onbegrensde diepte). Ze kunnen geen input-afhankelijke stopconditie of variabele-diepte zoektocht natief implementeren zonder externe mechanismen. Bijgevolg is "intern" redeneren (latente staten) vaak ontoegankelijk of structureel beperkt door parallelisme-trade-offs, wat het een slechte interface maakt voor evaluatie.

3. De Noodzaak van Geëxternaliseerde Sporen

Om architecturale beperkingen te overwinnen en evaluatie mogelijk te maken, pleiten de auteurs voor geëxternaliseerde redeneersporen.

Definitie: Expliciete tussenstappen (tekst, symbolen, tool-logboeken) die door het model worden geproduceerd en die waarneembaar en inspecteerbaar zijn.
Redenering: Externalisatie maakt verificatie van het zoekproces mogelijk, waardoor onderzoekers kunnen beoordelen of het model daadwerkelijk de vereiste adaptieve berekening uitvoert in plaats van te gokken of te herinneren.

Belangrijkste Bijdragen

Het paper biedt vijf primaire bijdragen aan het veld van AI-evaluatie:

Evaluatie-gerichte Definitie van Redeneren: Het formaliseert redeneren als adaptieve, meerstapsberekening (zoektocht) waarbij diepte en structuur afhankelijk zijn van de input. Dit onderbouwt de noodzaak van procesbewijs in benchmarking.
Pleidooi voor Geëxternaliseerde Sporen: Het betoogt dat geëxternaliseerde sporen (waaronder maar niet beperkt tot natuurlijke taal Chain-of-Thought) de superieure interface zijn voor procesgebaseerde evaluatie, omdat ze tussenstappen blootleggen die kunnen worden gecontroleerd, vergeleken en geverifieerd.
Nieuwe Evaluatiedoelen (Betrouwbaarheid en Validiteit): Het stelt twee primaire metrieken voor redeneerevaluatie voor:
- Betrouwbaarheid (Faithfulness): Of het spoor de werkelijke tusseninformatie weerspiegelt waarop het model zich baseerde om tot het antwoord te komen (causale koppeling).
- Validiteit: Of de tussenstappen logisch correct zijn en consistent met de regels van het probleemdomein.
Comparatieve Analyse: Het zet procesgebaseerde evaluatie af tegen alternatieve visies, zoals het meten van redeneren via latente interne staten (onuitvoerbaar geacht voor black-box modellen), het afwijzen van externe sporen vanwege onbetrouwbaarheid (bestreden door aan te tonen dat betrouwbaarheid een onderzoeksdoel is, geen voorwaarde), en het vereisen van wereldmodellen (bestreden voor gesloten-werelddomeinen zoals wiskunde en logica).
Taxonomie van Capaciteiten: Het biedt een ordenend perspectief dat Memorisatie, Begrip en Redeneren onderscheidt, met name door te benadrukken hoe data-verontreiniging kan leiden tot een "instorting" waarbij beoogde redeneertaken worden opgelost via zwakkere regimes (begrip of memorisatie).

Resultaten en Bevindingen

Het paper presenteert geen nieuwe experimentele resultaten op specifieke modellen, maar synthetiseert bestaande literatuur om de theoretische argumenten te ondersteunen:

Benchmark-Loterij & Sensitiviteit: De nauwkeurigheid varieert sterk over gerelateerde taken, en geaggregeerde scores maskeren heterogeniteit.
Shortcuts Benutten: Studies tonen aan dat modellen hoge nauwkeurigheid kunnen bereiken via data-verontreiniging of benchmark-specifieke shortcuts zonder diep begrip.
Architecturale Limieten: Theoretisch werk (bijv. Merrill & Sabharwal) bevestigt dat vaste-diepte circuits niet kunnen generaliseren naar onbegrensde, input-afhankelijke zoekstappen, wat tussenliggende decoding (sporen) noodzakelijk maakt om Turing-volledige berekening te simuleren.
Problemen met Betrouwbaarheid: Hoewel sporen onbetrouwbaar kunnen zijn (post-hoc rationalisatie), toont recent werk aan dat betrouwbaarheid kan worden verbeterd via specifieke trainingsdoelen en testmethodes op basis van interventie, in plaats van een inherente tekortkoming van de methode te zijn.

Betekenis en Claims

Het paper positioneert zichzelf als een gids voor onderzoekers om fundamenteel te verschuiven in hoe redeneren wordt gemeten. De betekenis ligt in:

Diagnostische Kracht: Voorbijgaan aan "black box"-nauwkeurigheid om het debuggen van specifieke redeneerfouten en -succes mogelijk te maken.
Herdrukken van Vooruitgang: Betogen dat echte vooruitgang in redeneren niet alleen het juiste antwoord krijgen is, maar dit doen via een betrouwbare, geldige en adaptieve zoektocht.
Standaardisatie: Voorstellen van een concreet Bewijsniveausysteem voor rapportage:
- Niveau 0: Alleen uitkomst (zwak bewijs).
- Niveau 1: Spoor aanwezig maar niet geverifieerd.
- Niveau 2: Spoor geverifieerd (meten van validiteit en betrouwbaarheid).
Praktisch Protocol: Verschaffen van een kader voor benchmark-makers om instantiegeneratoren, verifiers en gestructureerde artifactformaten vrij te geven om procesgebaseerde evaluatie de standaard te maken in plaats van een uitzondering.

De auteurs concluderen dat het behandelen van de betrouwbaarheid en validiteit van redeneersporen als centrale criteria, in plaats van als bijbehorende interpretabiliteitszorgen, essentieel is voor het nauwkeurig meten van de redeneercapaciteiten van frontier AI-systemen.