💬 NLP

ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces

Dit artikel introduceert ReasoningFlow, een framework dat complexe, niet-lineaire traces van large reasoning models (LRM's) omzet in fijnmazige gerichte acyclische grafen om hun discoursstructuren te analyseren, waarbij wordt onthuld dat LRM's structureel vergelijkbare redeneerpatronen vertonen over verschillende modellen heen en dat de meeste foutieve stappen geen invloed hebben op de uiteindelijke antwoorden.

Oorspronkelijke auteurs: Jinu Lee, Shivam Agarwal, Amruta Parulekar, Siddarth Madala, Dilek Hakkani-Tur, Julia Hockenmaier

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinu Lee, Shivam Agarwal, Amruta Parulekar, Siddarth Madala, Dilek Hakkani-Tur, Julia Hockenmaier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een genie in de wiskunde ziet een complexe puzzel oplossen. Ze schrijven het antwoord niet simpelweg in een rechte lijn op. In plaats daarvan praten ze tegen zichzelf: "Wacht, dat getal lijkt niet te kloppen," "Laat me een ander pad proberen," "O, ik zie het, ik heb hier een fout gemaakt, laat me teruggaan," en "Oké, nu ben ik er zeker van."

Lange tijd zagen computers die probeerden deze "denkprocessen" (redeneringssporen genoemd) te begrijpen alleen een rechte lijn tekst. Ze konden het terugkeren (backtracking), de zelfcorrecties en de doodlopende wegen niet zien. Ze zagen alleen een rommelige paragraaf.

Dit artikel introduceert ReasoningFlow, een nieuwe manier om deze rommelige gedachten in kaart te brengen als een duidelijk, visueel stroomdiagram (specifiek een Directed Acyclic Graph, of DAG). Denk aan het omzetten van een chaotische stroom van bewustzijn in een metromap waarbij elke halte een gedachte is, en elke lijn laat zien hoe de ene gedachte tot de andere leidt.

Hier is wat de onderzoekers hebben ontdekt, eenvoudig uitgelegd:

1. De Kaart: Gedachten omzetten in een stroomdiagram

De onderzoekers bouwden een systeem om deze lange, kronkelende redeneringssporen op te splitsen in kleine stukjes (nodes/knopen) en lijnen (edges/verbindingen) tussen hen te tekenen om te laten zien hoe ze verbonden zijn.

De Knopen (Haltes): Ze identificeerden 8 soorten "stops" op de kaart. Sommige zijn voor Planning (beslissen wat de volgende stap is), sommige voor Redeneren (het doen van de wiskunde of logica), sommige voor Reflectie (controleren of ze het goed hebben), en sommige voor Aannames (een "wat als"-scenario proberen).
De Verbindingen (Spoorwegen): Ze tekenden 14 verschillende soorten sporen. Sommige sporen laten een logische stap voorwaarts zien ("infer"), sommige laten een plan uitvoeren ("execute"), en sommige laten een "terugkeer" (backtrack) zien waar de denker beseft: "Wacht, dit pad is fout," en terugspringt om iets anders te proberen.

2. De Ontdekking: Ieders Kaart Ziet Er Zelfde Uit

Het team testte dit op vijf verschillende AI-modellen (sommige zeer nieuwe "redeneer"-modellen, sommige oudere) binnen taken op het gebied van wiskunde, wetenschap en argumentatie.

De Bevinding: Hoewel deze AI-modellen door verschillende bedrijven zijn gebouwd en op verschillende data zijn getraind, zagen hun "denkkaarten" er verrassend vergelijkbaar uit. Het is alsoals hoe een mens uit New York en een mens uit Tokio beide een vergelijkbare mentale kaart kunnen gebruiken om een doolhof op te lossen, zelfs als ze verschillende talen spreken. De structuur van hoe ze denken, wordt gestandaardiseerd.

3. De "Zelfcorrectie"-Superkracht

Een van de meest interessante dingen die ze ontdekten, is hoe deze AI-modellen met fouten omgaan.

Lokale Verificatie: In plaats van te wachten tot het allerlaatste moment om te controleren of het hele antwoord klopt, controleren ze hun werk tijdens het proces. Ze vangen kleine fouten direct op en herstellen ze.
Het "Oeps"-Moment: Het paper vond dat wanneer een AI zegt: "Wacht, dat lijkt niet te kloppen," en van gedachten verandert, die verandering meestal de sleutel is tot het juiste antwoord. Het model is zichzelf actief aan het "sturen" om fouten in realtime te vermijden.

4. De "Ghost" Fouten

Dit is misschien wel de meest verrassende bevinding.

De Mythe: Mensen dachten vroeger dat als een AI een fout maakte in stap 3, het uiteindelijke antwoord definitief fout zou zijn.
De Realiteit: De ReasoningFlow-kaarten lieten zien dat de meeste fouten "geesten" (ghosts) zijn. De AI kan een fout maken, dit beseffen, terugkeren naar een eerder punt, en dat foute pad volledig negeren. Het uiteindelijke juiste antwoord is gebouwd op een andere reeks stappen.
De Analogie: Stel je voor dat je naar een feestje rijdt. Je neemt een verkeerde afslag, beseft het, draait om en neemt de juiste weg. Je komt op tijd aan bij het feestje. Als iemand alleen naar je GPS-geschiedenis kijkt, ziet die de verkeerde afslag en zegt: "Je bent gefaald!" Maar de ReasoningFlow-kaart laat zien dat de verkeerde afslag een doodlopend spoor was dat je uiteindelijke aankomst niet heeft beïnvloed.

5. De "Black Box" versus het "Script"

Ten slotte keken de onderzoekers naar hoe de interne "hersenen" van de AI (mechanistische afhankelijkheden) overeenkomen met de woorden die het schrijft (discourse structure).

De Bevinding: Ze ontdekten een disconnect. Alleen omdat de interne wiskunde van de AI zegt dat "Stap A leidde tot Stap B", betekent dit niet dat de tekst die relatie altijd duidelijk weerspiegelt. Het "verhaal" dat de AI vertelt (de tekst), komt niet altijd perfect overeen met de "bedrading" aan de binnenkant. Het is alsoals het script van een goochelaar (de tekst) dat de geheime mechanica (de bedrading) achter de truc niet perfect uitlegt.

Samenvatting

ReasoningFlow is een nieuwe tool waarmee we de "metromap" van het denken van een AI kunnen zien. Het laat ons zien dat:

AI-modellen een vergelijkbare "denkstijl" ontwikkelen over verschillende merken heen.
Ze erg goed zijn in het opmerken van hun eigen fouten terwijl ze denken, en niet pas aan het einde.
De meeste fouten die ze maken tijdelijke doodlopende wegen zijn die het uiteindelijke antwoord niet verpesten.
Wat de AI zegt (de tekst) niet altijd perfect overeenkomt met wat er binnenin zijn brein gebeurt.

Dit helpt onderzoekers te begrijpen hoe deze modellen problemen oplossen, in plaats van alleen maar te kijken of ze het juiste antwoord geven of niet.

Technische Samenvatting: ReasoningFlow: Discoursstructuren voor het begrijpen van de redeneerpaden van LLM's

Probleemstelling

Grote Redeneermodellen (LRM's) genereren uitgebreide redeneerpaden die gekenmerkt worden door niet-lineaire gedragingen, zoals backtracking, zelfcorrectie en iteratieve verificatie. Hoewel deze gedragingen cruciaal zijn voor complexe probleemoplossing, compliceren ze de evaluatie en monitoring van het redeneerproces. Bestaande evaluatiemethoden vertrouwen vaak op stapsgewijze correctheid, wat foutieve stappen kan markeren, zelfs wanneer het uiteindelijke antwoord correct is dankzij latere zelfverificatie. Bovendien ontbreekt het huidige raamwerken voor de analyse van redeneerstructuren aan de expressiviteit om fijnmazige, op zinsniveau gebaseerde discoursrelaties te vangen, of zij falen in het valideren van hun annotatieschema's met inter-annotator overeenstemming. Traditionele methoden voor discoursparsing (bijv. Rhetorical Structure Theory) zijn ontworpen voor goed georganiseerde teksten en zijn niet geschikt voor de doelgerichte, vaak van links naar rechts lopende causale afhankelijkheden die kenmerkend zijn voor autoregressieve LLM-traces.

Methodologie

De auteurs introduceren ReasoningFlow, een raamwerk ontworpen om de fijnmazige discoursstructuren van LRM-redeneerpaden te annoteren door deze om te zetten in Gerichte Acyclische Grafen (DAG's).

Annotatieschema

ReasoningFlow definieert een schema bestaande uit 8 typen knopen en 14 typen randen:

Typen knopen: Het schema bevat drie kernfunctionele typen—Reasoning (deductie, berekening), Planning (introductie van toekomstige inhoud) en Reflection (evaluatie van correctheid of uiten van zekerheid). Het definieert ook vijf gespecialiseerde subtypes van Reasoning-knopen: Fact, Restatement, Assumption, Example en Conclusion. Knopen zijn aaneengesloten, niet-overlappende fragmenten, doorgaans zinnen, hoewel complexe zinnen met verschillende functionele rollen worden opgesplitst.
Typen randen: Randen vertegenwoordigen semantische relaties die stromen van eerdere naar latere stappen. Ze worden gecategoriseerd in vier groepen: Reason (bijv. infer, execute, restate), Plan (bijv. proceed, verify), Reflect (bijv. positive, uncertain, negative) en Validate (bijv. support, attack).

Datasetconstructie

Handmatige Annotatie: Om het schema te valideren, hebben de auteurs handmatig 31 redeneerpaden (2,1k stappen) geannoteerd over domeinen als wiskunde, natuurkunde en scheikunde. Twee annotatoren per pad bereikten een hoge inter-annotator overeenstemming (Krippendorff's $\alpha > 0,8$ ) voor zowel knopenclassificatie als randdetectie/classificatie.
Automatische Annotatie: Met behulp van het gevalideerde schema schaalden de auteurs op naar automatische annotatie van 1.260 paden (247,7k stappen) gegenereerd door vijf modellen (Qwen2.5-32B-Inst, QwQ-32B, DeepSeek-V3, DeepSeek-R1, GPT-oss-120B) over drie taken: AIME 2024 (Wiskunde), GPQA-Diamond (Wetenschap) en ArgKP (Argumentatie). De pipeline maakte gebruik van LLM's (Gemini-3-Flash en Gemini-3-Pro) voor segmentatie, classificatie en randdetectie, met handmatige controle van een subset om de kwaliteit te waarborgen.

Analyseframework

De auteurs gebruikten de ReasoningFlow-grafen om het volgende te analyseren:

Structurele gelijkenissen tussen modellen en domeinen met behulp van Principal Component Analysis (PCA) op tripletdistributies (knoop-rand-knoop).
Fijnmazige redeneergedragingen zoals lokale verificatie, sentiment van zelfreflectie en op aannames gebaseerd redeneren (bewijs door tegenspraak, DFS).
De causale relatie tussen foutieve stappen en uiteindelijke antwoorden.
De afstemming tussen mechanistische causale afhankelijkheden (gemeten via attention masking) en taalniveau-discoursstructuren.

Belangrijkste Bijdragen en Resultaten

1. Structurele Gelijkenis Tussen Modellen

Ondanks dat ze getraind zijn op verschillende basismodellen en potentieel niet-overlappende post-training data, vertonen verschillende LRMa (QwQ, DeepSeek-R1, GPT-oss) structureel vergelijkbare redeneerpaden. De Jensen-Shannon divergentie tussen de tripletdistributies van redeneermodellen is aanzienlijk lager dan die van hun niet-redenerende basismodel-tegenhangers, wat suggereert dat de redeneercapaciteit een gedeeld structureel patroon induceert.

2. Fijnmazige Redeneergedragingen

ReasoningFlow onthult diverse gedragingen die niet door grovere raamwerken worden gevangen:

Lokale Verificatie: LRMa zijn frequent bezig met lokale verificatie (het corrigeren van tussenliggende stappen halverwege het pad) in plaats van alleen globale verificatie van het uiteindelijke antwoord. Correcties worden significant vaker gebruikt als premissen voor het uiteindelijke antwoord dan de oorspronkelijke foutieve verklaringen.
Zelfreflectie-sentiment: Er is een sterke correlatie tussen het sentiment van reflectieknopen (positief, onzeker, negatief) en de werkelijke kwaliteit (correctheid) van de gereflecteerde stap. Positieve reflecties correleren met een hogere correctheid (78,1%), terwijl negatieve reflecties correleren met een lagere correctheid (45,6%).
Aanname-afhandeling: Het framework identificeert patronen voor bewijs door tegenspraak en depth-first search (DFS), waarbij doelbewuste hypothetische redenering wordt onderscheiden van normale fouten.

3. Foutpropagatie en Getrouwheid

Een cruciale bevinding is dat de meeste foutieve stappen in LRMa niet causaal verantwoordelijk zijn voor incorrecte uiteindelijke antwoorden.

Ongeveer 79,6% van de foutieve knopen is niet verbonden met het uiteindelijke antwoord (ongebruikt).
Ongeveer 6,0% van de fouten is verbonden met het uiteindelijke antwoord maar leidt tot een correcte conclusie (verwaarloosde fouten), wat aangeeft dat het model de fout succesvol heeft hersteld of genegeerd.
Slechts 14,4% van de foutieve knopen propageert causaal naar incorrecte uiteindelijke antwoorden.
Dit suggereet dat stapsgewijze evaluatiemethoden die paden filteren op basis van tussenliggende fouten mogelijk te conservatief zijn, aangezien veel fouten "ongebruikt" of "verwaarloosd" zijn binnen het redeneerproces.

4. Mechanistische versus Discours Misalignment

Het artikel stelt vast dat mechanistisch gemeten causale afhankelijkheden (met behulp van "Thought Anchors" via attention masking) de taalniveau-discoursrelaties niet getrouw reflecteren. De voorspellende kracht van attention-gebaseerde causale scores is niet significant beter dan simpelweg de $K$ meest recente knopen selecteren, wat wijst op een kloof tussen de interne causale mechanismen van het model en de oppervlakte-discoursstructuur.

Betekenis

Het artikel positioneert ReasoningFlow als een noodzakelijk instrument voor het begrijpen van het "taalkundige deel" van de causale redeneerprocedure in LRMa. Door een fijnmazig, gevalideerd annotatieschema te bieden, maakt het mogelijk:

Verbeterde Monitorbaarheid: Het identificeren van specifieke gedragingen zoals lokale verificatie en zelfreflectie maakt betere monitoring van interne modelovertuigingen mogelijk.
Verfijnde Evaluatie: Het aantonen dat de meeste fouten niet naar het uiteindelijke antwoord propageren, daagt de effectiviteit uit van puur stapsgewijze foutfiltering in Best-of-N sampling of Process Reward Models.
Overbruggen van Mechanistische en Semantische Kloven: Het benadrukken van de discrepantie tussen mechanistische afhankelijkheden en discoursstructuren wijst op een cruciaal gebied voor toekomstig onderzoek naar het meer getrouw maken van LRMa.

De auteurs stellen de dataset (1,3k paden) en code beschikbaar om verder onderzoek naar de redeneercapaciteiten van LRMa te faciliteren, waarbij een menselijk interpreteerbare lens wordt geboden voor het bestuderen van hoe redeneergedragingen ontstaan en functioneren.