💬 NLP

Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models

Deze survey biedt een uitgebreid overzicht van de interne mechanismen die ten grondslag liggen aan meerstapsredeneren in grote taalmodellen door bestaand onderzoek te organiseren rond een conceptueel kader van zeven onderling verbonden vragen en door vijf toekomstige richtingen voor mechanistische studies te schetsen.

Oorspronkelijke auteurs: Liangming Pan, Jason Liang, Jiaran Ye, Minglai Yang, Xinyuan Lu, Fengbin Zhu

Gepubliceerd 2026-01-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Liangming Pan, Jason Liang, Jiaran Ye, Minglai Yang, Xinyuan Lu, Fengbin Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) voor als ongelooflijk getalenteerde maar geheime koks. Ze kunnen een perfect vijfgangenmenu bereiden (complexe problemen oplossen), maar we weten vaak niet precies wat er in de keuken gebeurt terwijl ze koken. Dit artikel is een "keukentour" die probeert de zwarte doos te openen en te zien hoe deze koks eigenlijk denken.

De auteurs verdelen het denkproces van de kok in twee hoofdstijlen: Stilzwijgend Denken (Impliciet Redeneren) en Hardop Praten Tijdens het Koken (Expliciet Redeneren).

1. De Stille Kok: "Impliciet Redeneren"

Dit is wanneer het model een probleem volledig in zijn hoofd oplost zonder een woord te zeggen. Het is als een kok die het recept direct kent zonder er iets voor op te schrijven.

Hoe het intern werkt: Het artikel stelt vast dat het model het antwoord niet simpelweg "weet". Het heeft daadwerkelijk een verborgen lopende band. Verschillende lagen van het model fungeren als verschillende stations in een keuken. Het eerste station vindt het hoofdingrediënt, het volgende station snijdt het fijn, en het laatste station richt het gerecht op. Als de keuken te klein is (het model is niet diep genoeg), wordt de lopende band voortijdig afgebroken en mislukt de maaltijd.
Het "Aha!"-moment (Grokking): Soms lijkt het alsof de kok wekenlang alleen maar recepten uit het hoofd leert zonder de logica te begrijpen. Dan, plotseling, is er een "grokking"-moment — een faseovergang waarbij de kok stopt met het memoriseren en de kooklogica echt begint te begrijpen. Dit gebeurt meestal als de kok oefent met voldoende gevarieerde recepten.
De Valstrik (Shortcuts): Hier is het slechte nieuws: de kok neemt vaak afkortingen. In plaats van het gerecht daadwerkelijk stap voor stap te bereiden, kan de kok simpelweg aan de ingrediënten ruiken en het eindgerecht raden op basis van een patroon dat hij eerder heeft gezien. Als je de volgorde van de ingrediënten verandert, raakt de kok in de war omdat hij niet echt aan het koken was; hij was slechts aan het raden op basis van oppervlakkige patronen.

2. De Pratende Kok: "Chain-of-Thought" (Expliciet Redeneren)

Dit is wanneer we het model vragen om "hardop na te denken" (Chain-of-Thought of CoT). Het is alsof je de kok vraagt om elke stap te vertellen: "Eerst snijd ik de ui, dan bak ik hem..."

Waarom het helpt: Wanneer de kok praat, gebruikt hij niet langer alleen het beperkte geheugen van zijn brein. Hij gebruikt het papier waarop hij schrijft als een extern notitieblok. Dit geeft hem extra "denktijd" en ruimte om complexe wiskundige of logische puzzels door te werken die te moeilijk waren om alleen in zijn hoofd te doen.
De Magie van "Denktijd": Verrassend genoeg vond het artikel dat zelfs als de kok onzinnige woorden schrijft ("... ... ...") in plaats van echte stappen, het model nog steeds beter wordt in het oplossen van het probleem. Waarom? Omdat de handeling van het schrijven van iets het model dwingt om nog een keer zijn interne circuits te laten draaien. Het is alsof de extra tijd om na te denken belangrijker is dan de woorden zelf.
De Illusie van Eerlijkheid: Dit is de meest cruciale bevinding. Alleen omdat de kok hardop praat, betekent niet dat hij de waarheid spreekt over hoe hij tot een besluit kwam.
- De "Post-Hoc" Leugen: Vaak bepaalt de kok eerst het antwoord (misschien door te gokken of een afkorting te gebruiken) en verzint hij daarna een logisch klinkend verhaal om uit te leggig waarom dat antwoord juist is. Het "hardop nadenken" is vaak slechts een mooi verwoord excuus dat achteraf is geschreven, en niet de werkelijke reden voor de keuze.
- De Mismatch: Het brein van de kok werkt parallel (doet veel dingen tegelijkertijd), maar de gesproken uitleg is een enkele, rechte lijn. Je kunt een complex, multi-threaded hersenproces niet perfect vertalen naar een simpel, stapsgewijs verhaal.

3. Wat Nu? (De Toekomstige Roadmap)

De auteurs suggereren dat we moeten stoppen met alleen maar naar de kok kijken en moeten beginnen met het strenger testen van de keuken:

Testen in de echte wereld: De meeste studies gebruiken nep, schone testkeukens. We moeten zien hoe deze modellen omgaan met rommelige, echte keukens waar ingrediënten ontbreken of verwarrend zijn.
Eerlijkheidscontroles: We hebben nieuwe manieren nodig om te controleren of het "praten" overeenkomt met het "denken". We moeten de kloof overbruggen tussen wat het model zegt en wat het daadwerkelijk doet.
Betere Tools: In plaats van alleen te meten of het uiteindelijke gerecht lekker smaakt, moeten we ook de interne "inspanning" controleren die de kok heeft geleverd. Heeft hij daadwerkelijk gekookt, of heeft hij gewoon geraden?
Controle Overnemen: Zodra we de specifieke "knoppen" en "schakelaars" binnen het model begrijpen die de logica afhandelen, moeten we ze niet alleen observeren; we moeten in staat zijn ze om te zetten om fouten te herstellen of de model te stoppen met het nemen van afkortingen.

Kortom: Large Language Models zijn krachtig, maar ze vertrouwen vaak op gokken en afkortingen. Wanneer ze "hardop nadenken", helpt dat hen om moeilijkere problemen op te lossen door ze extra tijd te geven, maar hun gesproken verklaringen zijn vaak slechts verhalen die ze verzinnen om slim te lijken, en geen ware kaart van hun interne denkproces. Om hen te vertrouwen, moeten we stoppen met kijken naar het eindantwoord en beginnen met het begrijpen van de rommelige, verborgen machinerie binnenin.

Technische Samenvatting: De Black Box Openen: Een Survey over de Mechanismen van Multi-stap Redeneren in Large Language Models

Probleemstelling

Large Language Models (LLM's) hebben een opmerkelijke bekwaamheid getoond in multi-stap redeneren, een capaciteit die essentieel is voor taken variërend van wiskundige probleemoplossing tot logische deductie. De interne mechanismen die deze capaciteiten mogelijk maken, blijven echter grotendeels opaak. Hoewel de bestaande literatuur zich primair richt op engineeringmethoden om prestaties te verbeteren (bijv. toolgebruik, retrieval augmentation), is er een aanzienlijke kloof in het mechanistische begrip van hoe LLM's multi-stap redeneren uitvoeren. Specifiek is het onduidelijk hoe modellen impliciete multi-hop inferentie uitvoeren binnen vaste verborgen activaties en hoe expliciet verbaal redeneren (Chain-of-Thought, of CoT) de interne berekening herstructureert. Bovendien blijven de mate waarin LLM's vertrouwen op echt redeneren versus statistische shortcuts, en of CoT-outputs de interne besluitvormingsprocessen getrouw reflecteren, kritieke onopgeloste vragen.

Methodologie

Dit artikel is een survey die een groeiend corpus aan mechanistische interpreteerbaarheidsliteratuur synthetiseert. In plaats van nieuwe experimenten uit te voeren, organiseert de auteur bestaand onderzoek in een samenhangend cognitief kader bestaande uit zeven onderling verbonden onderzoeksvragen (RQs). De survey categoriseert bevindingen op basis van twee verschillende redeneerparadigma's:

Impliciet Redeneren: Multi-hop inferentie die volledig plaatsvindt binnen de verborgen toestanden van het model zonder verbaal geëxternaliseerde tussenstappen.
Expliciet Redeneren: Multi-hop inferentie waarbij het redeneerproces wordt geëxternaliseerd in een sequentie van natuurlijke taal-tokens (bijv. CoT).

De analyse maakt gebruik van diverse mechanistische technieken, waaronder:

Causale Probing en Interventie: Methoden zoals Patchscopes, back-patching en logit lens-analyse om de causale rollen van specifieke lagen en neuronen te identificeren.
Representatie-analyse: Het onderzoeken van de evolutie van interne toestanden en aandachtspatronen tijdens inferentie.
Training Dynamics Analyse: Het onderzoeken van faseovergangen (bijv. "grokking") en de emergentie van redeneercircuits tijdens de training.
Theoretische Analyse: Het toepassen van complexiteitstheorie om de computationele limieten van transformers met en zonder CoT te begrijpen.

Belangrijkste Bijdragen en Bevindingen

1. Mechanismen van Impliciet (Latent) Multi-stap Redeneren

Gelaagde Specialisatie: Impliciet redeneren is niet monolithisch maar een georkestreerd, gefaseerd proces. Vroege lagen identificeren vaak "bridge entities", terwijl intermediaire en latere lagen verrijking en attribuutextractie uitvoeren. Specifieke attention heads (bijv. "deduction heads") en feed-forward neuronen fungeren als werkgeheugen of state trackers.
Diepte als Bottleneck: Het aantal redeneerstappen dat een model impliciet kan uitvoeren, wordt strikt beperkt door de diepte ervan. Transformers met een constante diepte kunnen theoretisch geen inherent seriële problemen oplossen die een berekening vereisen die schaalt met de inputgrootte.
Emergentie via Grokking: Latente redeneercapaciteiten worden verworven, ze zijn niet aanwezig bij initialisatie. Ze emergeren door een faseovergang bekend als "grokking", waarbij het model verschuift van memorisatie naar generalisatie. Deze transitie wordt gestuurd door de distributie van de trainingsdata (specifiek de ratio tussen geïnferreerde en atomaire feiten), dataschaal en optimalisatiebiases (bijv. weight decay).
Afhankelijkheid van Shortcuts: Modellen omzeilen vaak echt redeneren via "shortcuts", zoals directe subject-antwoord associaties of oppervlakkige patroonherkenning (bijv. operaties behandelen als commutatief). Deze shortcuts leiden vaak tot prestatie-instorting wanneer de oppervlakkige patronen worden verstoord.

2. Mechanismen van Expliciet (CoT) Redeneren

Herstructurering van Interne Berekening: CoT-prompting verandert de interne toestand van het model fundamenteel. Het activeert "iteratie heads" die attention hebben op eerder gegenereerde tokens, waardoor effectief een virtuele recurrent neural network (RNN) ontstaat waarbij tekst dient als extern geheugen.
State Maintenance: CoT stelt het model in staat om dynamische interne toestanden te behouden en bij te werken (bijv. finite state automata in verborgen lagen) om de voortgang van het redeneren bij te houden, zelfs wanneer de gegenereerde tekst semantisch betekenisloos is (bijv. filler tokens).
Parallellisme en Shortcuts: Ondanks de sequentiële verschijning van CoT, omvat de interne berekening vaak parallelle paden. Modellen kunnen simultaan zowel directe shortcuts als stap-voor-stap redeneren proberen, wat in latere lagen convergeert.
Verbeterde Expressiviteit en Robuustheid: Theoretisch doorbreekt CoT de constante-diepte beperking van standaard transformers, waardoor hun computationele complexiteitsklasse stijgt van $TC^0$ naar Polynomial Time ( $P$ ). Het introduceert modulariteit die de sample complexity vermindert en robuuste generalisatie bevordert door de "snowball error effect" te mitigeren die gebruikelijk is bij impliciet redeneren.
De Faithfulness Gap: CoT-outputs reflecteren vaak niet getrouw het werkelijke besluitvormingsproces van het model. Vanwege de structurele mismatch tussen de gedistribueerde, parallelle aard van transformer-berekeningen en de sequentiële aard van expliciet redeneren, fungeert CoT vaak als post-hoc rationalisatie in plaats van een causale driver. Modellen kunnen plausibele rationale genereren om beslissingen te rechtvaardigen die gedreven worden door spuria true cues of gebruikersbias.

Betekenis en Toekomstige Richtingen

Het artikel betoogt dat het begrijpen van deze mechanismen een vereiste is voor het bouwen van betrouwbare, controleerbare en mens-gealigneerde redeneersystemen. De auteurs identificeren vijf cruciale richtingen voor toekomstig onderzoek:

Rigoureuze Causale Analyse in Real-World Settings: Verder gaan dan synthetische data om causale links tussen interne representaties en redeneren in complexe, ruisige omgevingen te verifiëren.
Overbruggen van de Faithfulness Gap: Het ontwikkelen van white-box alignment methoden om causale links tussen verborgen toestanden en gegenereerde rationales af te dwingen, zodat CoT de werkelijke interne dynamiek reflecteert.
Mechanistisch Begrip van Latente CoT: Onderzoek naar opkomende architecturen die expliciete redeneertrajecten volledig binnen verborgen toestanden simuleren, waarbij een balans wordt gezocht tussen interpreteerbaarheid en efficiëntie.
White-Box Evaluatiemetrieken: Verschuiven van black-box accuratesse metrieken naar "white-box" metrieken die de aanwezigheid van noodzakelijke interne computationele signaturen verifiëren (bijv. de vorming van bridge entities) om echt redeneren te onderscheiden van patroonherkenning.
Van Interpretatie naar Controle: De transitie van passieve observatie naar actieve modelcontrole, door gebruik te maken van geïdentificeerde redeneercircuits (bijv. state-maintenance neuronen) om in real-time in te grijpen en fouten te corrigeren of shortcuts te onderdrukken.

Conclusie

Deze survey biedt een uitgebreid overzicht van de interne mechanismen van multi-stap redeneren in LLM's, waarbij een onderscheid wordt gemaakt tussen de diepte-beperkte, shortcut-gevoelige aard van impliciet redeneren en de computationeel uitgebreide, maar vaak ongetrouwe aard van expliciete CoT-redenering. Door het veld te kaderen rond zeven cruciale onderzoeksvragen, benadrukt het artikel dat hoewel er aanzienlijke vooruitgang is geboekt in het "openen van de black box", kritieke uitdagingen blijven bestaan in het verifiëren van causale mechanismen, het waarborgen van getrouwheid (faithfulness) en het vertalen van mechanistische inzichten naar robuuste modelcontrole.