🤖 AI

Reasoning Structure of Large Language Models

Dit artikel introduceert een schaalbare benchmark en pijplijn om ongestructureerde redeneersporen om te zetten in verifieerbare grafen, wat kwantitatieve analyse van de redeneerstructuur en -efficiëntie mogelijk maakt om faalmodi beter te diagnosticeren en modelgedrag te vergelijken voorbij traditionele nauwkeurigheids- en tokenaantalmetrieken.

Oorspronkelijke auteurs: Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

Gepubliceerd 2026-06-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee chefs aan het werk ziet om exact dezelfde taart te bakken. Beiden overhandigen je aan het einde een perfecte, heerlijke taart. Als je alleen naar het eindproduct kijkt, zou je kunnen denken dat ze allebei hetzelfde werk hebben verricht. Maar wat als de ene chef een nauwkeurig, stapsgewijs recept volgde, terwijl de andere door de keuken dwaalde, tien verschillende ingrediënten probeerde, een paar batches verbrandde en uiteindelijk per ongeluk de juiste mix vond?

Lamaal keken we bij het testen van AI "redeneermodellen" alleen naar de uiteindelijke taart (het antwoord) of naar hoeveel woorden ze gebruikten om het proces te beschrijven (tokencount). Dit paper betoogt dat dit is alsoof je een chef beoordeelt alleen op de smaak van de taart, waarbij je negeert of ze daadwerkelijk wisten hoe ze moesten koken of dat ze gewoon geluk hadden.

Hier is wat de onderzoekers deden om achter het gordijn te kijken, eenvoudig uitgelegd:

1. De Puzzel Speeltuin

In plaats van de AI een essay te laten schrijven of een vage raadsel te laten oplossen, gaven de onderzoekers ze een reeks van 21 verschillende logische puzzels (zoals "Tents", waarbij je tenten naast bomen moet plaatsen op basis van strikte regels). Deze puzzels zijn als een gecontroleerde sportschool voor de hersenen. Ze hebben duidelijke regels en je kunt niet valsspelen; je lost het op of je lost het niet op. De onderzoekers maakten deze puzzels steeds moeilijker, zoals het verhogen van het gewicht aan een halterstang.

2. Woorden omzetten in een Kaart

Wanneer een AI een puzzel oplost, schrijft hij meestal een lange stroom van gedachten op (een "trace"). De onderzoekers bouwden een speciaal hulpmiddel dat deze rommelige tekststroom neemt en deze omzet in een visuele kaart (een graaf).

Nodes (Punten): Elk punt is een enkele feit of bewering die de AI heeft gemaakt (bijv. "Er staat een boom op deze plek").
Edges (Lijnen): De lijnen verbinden de punten om te laten zien hoe één feit tot een ander leidde (bijv. "Omdat er hier een boom staat, moet er daar een tent staan").

Dit verandert een paragraaf tekst in een gestructureerd diagram dat je kunt meten.

3. De Nieuwe Scorekaart: "Redeneerefficiëntie"

De onderzoekers introduceerden een nieuwe metriek genaamd Efficiëntie ( $\eta$ ). Zie dit als het meten van hoe "geconcentreerd" het denken van de AI is.

Hoge Efficiëntie (De Laser): De kaart van de AI ziet eruit als een rechte, smalle tunnel. Het verzamelt de noodzakelijke feiten en beweegt direct naar de oplossing zonder te dwalen.
Lage Efficiëntie (De Mist): De kaart van de AI ziet eruit als een rommelig spinnenweb. Het verkent veel doodlopende wegen, herhaalt dezelfde feiten keer op keer en dwaalt rond de randen van het probleem voordat het (misschien) de oplossing vindt.

4. Wat Ze Ontdekten

Door deze kaart en de efficiëntiescore te gebruiken, ontdekten ze enkele verrassende dingen die de oude "eindantwoord"-score miste:

Meer Woorden $\neq$ Beter Denken: Alleen omdat een AI meer woorden gebruikt (tokens), betekent niet dat de AI beter denkt. Sterker nog, de onderzoekers ontdekten dat extra woorden vaak slechts het "dubbelchecken" van zichzelf waren of het rondjes draaien in cirkels, niet echt het oplossen van het probleem.
Het "Diffuse" Probleen: Sommige modellen zouden het juiste antwoord krijgen, maar hadden een zeer rommelige, verspreide kaart. Ze waren als een detective die de crimineel vindt, maar eerst 50 onschuldige mensen moest ondervragen. Andere modellen waren "geconcentreerd" en vonden het antwoord met een helder, direct pad.
De Muur van Moeilijkheid: Naarmate de puzzels moeilijker werden, begonnen de AI-modellen te falen. Zelfs toen de onderzoekers hen enorme hoeveelheden woorden (rekenkracht) lieten gebruiken, konden de modellen de moeilijkste puzzels nog steeds niet oplossen. Het blijkt dat het geven van de AI simpelweg meer tijd om te "denken" (meer tokens) de fundamentele tekortkomingen in het redeneren niet oplost.
Structuur Doet Er Toe: De "Efficiëntie"-score kon het verschil aangeven tussen een model dat slim en gefocust was versus een model dat gewoon gokte en probeerde, zelfs als beide hetzelfde eindresultaat behaalden.

De Kernboodschap

Dit paper geeft ons een nieuwe manier om naar het denken van AI te kijken. In plaats van alleen te vragen: "Heeft het het antwoord goed?", kunnen we nu vragen: "Hoe kwam het daar?"

Het is het verschil tussen een student die het antwoord uit het hoofd leert en een student die de wiskunde daadwerkelijk begrijpt. De onderzoekers hebben een hulpmiddel gebouwd om het "begrip"-gedeelte te zien door de logische stappen in kaart te brengen, waarmee ze bewijzen dat hoe een AI redeneert net zo belangrijk is als wat het antwoordt.

Technische Samenvatting: Redeneerstructuur van Large Language Models

Probleemstelling

Large Reasoning Models (LRMs) hebben indrukwekkende prestaties geleverd op complexe taken door het benutten van verhoogde test-time compute via lange Chain-of-Thought (CoT) traces. De huidige evaluatieparadigma's leunen echter zwaar op eendimensionale metrieken zoals de nauwkeurigheid van het eindantwoord en het aantal tokens. De auteurs stellen dat deze metrieken ontoereikend zijn omdat ze fundamenteel verschillende redeneergedragingen met elkaar verwarren. Identieke scores kunnen "diffuse exploratie" (inefficiënt, verspreid redeneren) verbergen versus "geconcentreerde deductie" (efficiënt, gestructureerd redeneren). Bovendien garandeert het simpelweg toewijzen van meer compute (tokens) niet automatisch betere prestaties, aangezien modellen vaak last hebben van "overthinking" of "trace-level collapse", waarbij extra tokens resulteren in verificatie-overhead in plaats van een verbeterde logische flow. Er is een gebrek aan schaalbare, gestructureerde methoden om het tussenliggende redeneerproces te analyseren voorbij de uiteindelijke output.

Methodologie

Het artikel introduceert een framework om ongestructureerde tekstuele redeneertraces om te zetten in gestructureerde, verifieerbare redeneergrafen, wat kwantitatieve analyse van de redeneertopologie mogelijk maakt.

1. Schaalbare Benchmark

De auteurs maken gebruik van een suite van 21 deterministische 2D-rasterpuzzels (bijv. Tents, Sudoku, Lightup, Galaxies) afgeleid van Simon Tatham's puzzelcollectie. Deze puzzels zijn gekozen vanwege hun "gemakkelijk te leren, moeilijk te beheersen" karakter, volledig gespecificeerde regels en unambiguous verificatie. De benchmark bevat vier moeilijkheidsgraden (Trivial, Human easy, Human normal, Human hard) met aanpasbare rastergroottes en aanwijzingsdichtheden, wat gecontroleerde schaalonderzoeken mogelijk maakt.

2. Graph Extraction Pipeline

De kerninnovatie is een pipeline die vrije tekst transformeert naar een gerichte acyclische graaf (DAG) $G = (V, E)$ :

Nodes (Claims): De pipeline extraheert "atomaire claims" (bijv. "Cel (3,1) is een tent") uit de redeneertrace. Claims worden gecategoriseerd op status (gesteld, afgeleid, voorlopig) en scope (hoofdlijn versus hypothetische takken).
Edges (Dependencies): De pipeline identificeert deductieve afhankelijkheden door premissen aan conclusies te koppelen. Dit wordt bereikt via een hybride aanpak die deterministische patroonherkenning combineert met LLM-gebaseerde extractie, gevolgd door regelextractie om claims te mappen aan specifieke logische puzzelregels.
Verificatie: Claims worden geverifieerd tegen een uitvoerbare puzzelomgeving. Statische claims (bijv. puzzelregels, uiteindelijke plaatsingen) worden deterministisch geverifieerd. Statusafhankelijke claims worden zorgvuldig behandeld om cascadefouten te voorkomen.

3. Redeneermetrieken

Op basis van de graafrepresentatie definiëren de auteurs verschillende metrieken:

Structurele Topologie: Metrieken zoals graafdiepte, diameter en het deel van de graaf dat de oplossing ondersteunt ( $|V_{sol}|/|V|$ ).
Redeneerflow-efficiëntie ( $\eta$ ): Dit is de primaire bijdrage. De auteurs modelleren het redeneerproces als een absorberende Markov-keten op de DAG. Ze berekenen de "structurele entropie" ( $H_{str}$ $H_{s t r}$ ) van de logische flow, die meet hoe verspreid de aandacht van het model is over de graaf.
$\eta = \frac{\log |V| - H_{str}(G)}{\log |V| - \log |C^*|}$
Waarbij $|V|$ $∣ V ∣$ het totaal aantal claims is, $H_{str}(G)$ $H_{s t r} (G)$ de structurele entropie is, en $|C^*|$ $∣ C^{*} ∣$ de grootte van de minimale claimset vereist voor de oplossing.
- $\eta \approx 1$ duidt op hoogst geconcentreerd redeneren (lage entropie, flow geconcentreerd op het oplossingspad).
- Een lagere $\eta$ duidt op diffuus redeneren (hoge entropie, flow verspreid over perifere of redundante claims).

Belangrijkste Resultaten

Het framework werd toegepast om frontier- en open-source modellen (GPT-5, Qwen3 235B, DeepSeek V3.2, Kimi K2) te evalueren over de puzzlesuite.

Nauwkeurigheid vs. Structuur: Naarmate de puzzelmoeilijkheid toeneemt, daalt de nauwkeurigheid scherp voor alle modellen (bijv. GPT-5 daalt van 83,8% naar 5,7%), terwijl de tokencounts significant stijgen (van ~4k naar ~60k). Echter, een toename in tokengebruik correleert niet met verbeterde redeneerkwaliteit.
Tokencount is een Slechte Proxy: De studie vindt dat de tokencount in essentie ongecorreleerd is met de redeneerefficiëntie ( $\eta$ ) ( $r = -0,05$ ). Extra tokens manifesteren zich primair als verhoogde verificatie-overhead ( $|V_{ver}|/|V_{sol}|$ ) in plaats van het uitbreiden van de kern van de oplossingsketen.
Efficiëntie onderscheidt Gedrag: De metriek $\eta$ $η$ slaagt erin om modellen en gedragingen te onderscheiden die nauwkeurigheid en tokencount met elkaar verwarren.
- Geconcentreerd vs. Diffuus: Modellen met een hogere $\eta$ vertonen een geconcentreerde logische flow. Modellen met een lagere $\eta$ vertonen "graph bloat" via vertakkingen, zijpaden en redundante structuren.
- Foutmodi: Gefaalalde traces zijn substantieel minder efficiënt (lagere $\eta$ met >50%) en spreiden het redeneren over grotere, meer diffuse grafen, waarbij de eerste fout eerder optreedt.
- Correlaties: Hogere efficiëntie correleert positief met de nauwkeurigheid van claims en het deel van de graaf dat de oplossing ondersteunt. Het correleert ook met een latere diepte van de eerste fout.
Schaallimieten: Zelfs met enorme tokenbudgetten blijft het moeilijkste regime grotendeels onopgelost, wat wijst op fundamentele beperkingen in de huidige redeneerschaalbaarheid die niet worden opgelost door simpelweg meer compute toe te wijzen.

Betekenis en Claims

Het artikel beweert een praktisch hulpmiddel te bieden voor het diagnosticeren van foutmodi en het vergelijken van redeneerstructuren die traditionele metrieken missen.

Voorbij Nauwkeurigheid: Het werk laat zien dat structurele metingen (specifiek $\eta$ ) verschillen onthullen in hoe oplossingen worden geproduceerd, zelfs wanneer modellen dezelfde nauwkeurigheid of vergelijkbare tokenbudgets behalen.
Diagnostisch Nut: Door traces om te zetten in verifieerbare grafen, stelt het framework onderzoekers in staat om onderscheid te maken tussen "oplossen" en "dwalen" of excessieve verificatie. Het helpt bij het identificeren van vroege foutcascades en inefficiënte gedragingen.
Generaliseerbaarheid: Hoewel de claimextractie specifiek is voor puzzels, is de structurele laag (graafconstructie, Markov-keten analyse en de $\eta$ -metriek) domein-agnostisch. De auteurs suggereren dat dit framework uitgebreid kan worden naar elke setting met verifieerbare tussenstappen, zoals wiskundig redeneren (symbolische verificatie) en codegeneratie (unit tests).
Toekomstige Impact: De auteurs stellen dat als extractie voldoende betrouwbaar wordt, graafgebaseerde signalen zoals $\eta$ als aanvullende feedback kunnen dienen in post-training (bijv. het vormgeven van beloningen) om oplossingsgericht redeneren te stimuleren terwijl de correctheid behouden blijft.

Het artikel hanteert een bescheiden houding en erkent beperkingen zoals de afhankelijkheid van LLM's voor extractie (wat variantie kan introduceren, hoewel stabiliteitscontroles een lage variantie laten zien) en de noodzaak van domeinspecifieke claimdefinities. Het presenteert de metriek als een diagnostisch instrument in plaats van een enkele leaderboard score.