💬 NLP

Integrated and Cross-Architecture Interpretation of LLM Reasoning

Dit artikel introduceert het Integrated, cross-Architecture Reasoning (IAR)-kader, dat bandbreedte-gekalibreerde Mutual Information Peak-analyse combineert met Deep-Thinking Ratio-overlapping en Jaccard-stabiliteitsmetrieken om een geïntegreerde, generaliseerbare methode te bieden voor het interpreteren van redeneerpatronen in verschillende grote taalmodelarchitecturen en domeinen.

Oorspronkelijke auteurs: Leonardo Matthew Yauw, Wei-Bin Kou, Yujiu Yang

Gepubliceerd 2026-05-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leonardo Matthew Yauw, Wei-Bin Kou, Yujiu Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een goochelaar ziet die een complexe truc uitvoert. Je kunt het eindresultaat zien (het konijn in de hoed) en de mondelinge uitleg van de goochelaar horen ("Kijk nu goed terwijl ik het konijn eruit haal..."). Maar je kunt de geheime bewegingen die binnenin de hoed plaatsvinden of het interne denkproces van de goochelaar niet zien.

Al geruime tijd proberen onderzoekers uit te vinden hoe Large Language Models (LLM's) "denken" om moeilijke problemen op te lossen, zoals wiskundige vergelijkingen of programmeerpuzzels. Ze kunnen de woorden zien die de AI opschrijft (de "redeneringsketen"), maar het daadwerkelijke mentale werk dat zich binnenin het brein van de computer afspeelt, blijft een zwarte doos.

Dit artikel, getiteld "Geïntegreerde en cross-architecturale interpretatie van LLM-redenering", stelt een nieuwe manier voor om een kijkje in die zwarte doos te nemen. De auteurs, Leonardo Matthew Yauw, Wei-Bin Kou en Yujiu Yang, betogen dat het bekijken van slechts één aanwijzing niet voldoende is. In plaats daarvan hebben ze een drie-delige detectivekoffer gebouwd die IAR (Integrated, Architecture-agnostic Reasoning) heet, om te begrijpen hoe verschillende AI-modellen redeneren.

Hier is hoe hun methode werkt, uitgelegd met eenvoudige analogieën:

De drie aanwijzingen van de IAR-detectivekoffer

De onderzoekers beseften dat eerdere methoden waren als het proberen een mysterie op te lossen met slechts de helft van het bewijsmateriaal. Ze combineerden drie verschillende "sondes" om het volledige plaatje te krijgen:

1. De "Aha!"-momentdetector (MIP)

De analogie: Stel je voor dat je naar een lezing luistert. Het grootste deel van de tijd vult de spreker alleen maar de tijd. Maar af en toe zegt hij iets dat perfect aansluit bij het antwoord. Dat specifieke woord is een "Aha!"-moment.
De wetenschap: Het team gebruikt een tool genaamd Mutual Information Peak (MIP). Deze scant de output van de AI om specifieke woorden (tokens) te vinden die de meeste informatie dragen over het juiste antwoord.
De valkuil: Om dit te laten werken op verschillende soorten AI-modellen, moesten ze de tool "kalibreren", net als het scherpstellen van een cameraobjectief, zodat het bij sommige modellen niet wazig wordt en bij anderen niet te scherp.

2. De "Diep nadenken"-tracker (DTR)

De analogie: Stel je voor dat een student een wiskundeprobleem oplost. Sommige stappen zijn makkelijk en gebeuren direct (oppervlakkig denken). Andere stappen vereisen dat de student pauzeert, op zijn hoofd krabt en diep nadenkt voordat hij iets opschrijft (diep denken).
De wetenschap: Ze gebruiken een tool genaamd Deep-Thinking Ratio (DTR). Dit meet hoeveel "rekenwerk" er binnenin de lagen van het model plaatsvindt voordat er uiteindelijk een woord wordt gekozen. Als een woord pas wordt besloten nadat het model het door vele diepe lagen heeft verwerkt, is het een "diep nadenken"-token.

3. De "Consistentie"-controle (Jaccard Stability)

De analogie: Als je een student drie keer dezelfde moeilijke vraag stelt, gebruikt hij dan precies dezelfde sleutelschreden om het op te lossen? Als dat zo is, begrijpt hij het concept waarschijnlijk echt. Als hij elke keer anders gokt, is hij misschien gewoon gelukkig.
De wetenschap: De onderzoekers stellen de AI drie keer hetzelfde probleem met lichte variaties. Ze controleren of de "Aha!"-woorden (uit stap 1) elke keer op dezelfde plekken verschijnen. Als dat zo is, is de redenering stabiel en echt. Als ze sterk veranderen, is de redenering misschien een toevalstreffer.

De grote ontdekking: De aanwijzingen samenvoegen

Het meest opwindende resultaat van het artikel is wat er gebeurt als je deze aanwijzingen combineert.

Het "Filter"-effect:
De onderzoekers ontdekten dat de "Aha!"-woorden (MIP) bijna altijd een kleine, speciale subset vormen van de "Diep nadenken"-woorden (DTR).

Zie het zo: Stel je voor dat een fabriek 1.000 onderdelen (diepe gedachten) produceert. De meeste zijn gewoon standaardonderdelen. Maar slechts 50 daarvan zijn de kritieke tandwielen die de machine daadwerkelijk laten werken.
De MIP-tool fungeert als een filter dat die 50 kritieke tandwielen vindt in de stapel van 1.000 diepe gedachten.
Waarom dit belangrijk is: Voorheen dachten mensen dat "Diep nadenken" betekende "Goed redeneren". Dit artikel toont aan dat het feit dat een model hard nadenkt niet betekent dat het goed nadenkt. Je hebt het "Aha!"-filter nodig om de juiste harde gedachten te vinden.

Testen over verschillende modellen heen

Het team testte dit niet op slechts één AI. Ze testten het op drie verschillende modellen (Qwen-7B, Qwen-14B en Llama-8B) over vier soorten taken: Wiskunde, Programmeren, Logica en Alledaags gezond verstand.

De resultaten:

Universeel patroon: Het "Filter"-effect (waarbij de kritieke "Aha!"-woorden een klein deel vormen van de diepe gedachten) werkte op dezelfde manier bij alle drie de modellen, zelfs al waren ze verschillend gebouwd. Dit suggereert een universele manier waarop AI-modellen redeneren.
Gelukkig versus echt: Ze konden het verschil zien tussen een model dat een probleem echt oploste en een model dat geluk had.
- Echte redenering: Het model vond enkele, zeer specifieke "Aha!"-woorden en hield zich consequent aan deze.
- Gelukkige gok: Het model produceerde veel "Aha!"-woorden, maar deze waren verspreid, inconsistent en kwamen niet overeen bij verschillende pogingen.
De "stille" falen: Soms krijgt het model het antwoord verkeerd maar produceert het toch een redeneringsketen. Het team ontdekte dat in deze gevallen de "Aha!"-woorden ontbraken of onstabiel waren.

Wat dit betekent (en wat niet)

Wat het artikel beweert:

We kunnen nu zien waar en hoe AI-modellen redeneren door te kijken naar specifieke woorden en hoe diep het model daarover nadenkt.
Deze methode werkt over verschillende soorten AI-modellen heen, niet alleen bij één specifiek merk.
We kunnen onderscheid maken tussen een model dat een probleem echt begrijpt en een model dat gewoon gokt of hallucineert.

Wat het artikel NIET beweert:

Het zegt niet dat dit AI in de toekomst slimmer zal maken.
Het claimt niet dat dit kan worden gebruikt om menselijke geestelijke gezondheid of klinische problemen te diagnosticeren.
Het belooft niet dat we nu direct de redeneringsfouten van de AI kunnen "repareren"; het geeft ons gewoon een betere manier om ze te zien.

Samenvatting

Zie dit artikel als het uitvinden van een nieuw paar brillen. Voorheen zagen we, toen we keken naar een AI die een wiskundeprobleem oploste, een wazige massa woorden. Met deze nieuwe brillen (het IAR-kader) kunnen we duidelijk de specifieke momenten zien waarop de AI zijn echte werk doet, onderscheid maken tussen een briljante inzage en een gelukkige gok, en bevestigen dat deze "denkstijl" een fundamenteel onderdeel is van hoe deze machines werken, ongeacht welk merk ze zijn.

Technische Samenvatting: Geïntegreerde en Kruisarchitecturale Interpretatie van Redenering in Groot Taalmodellen

1. Probleemstelling

De interpreteerbaarheid van redenering in Groot Taalmodellen (LLM's) wordt gehinderd door een fundamentele asymmetrie: terwijl gegenereerde redeneerketens (uitvoer) waarneembaar zijn, blijven de interne computationele trajecten die deze voortbrengen ondoorzichtig. Bestaande methoden voor interpreteerbaarheid lijden onder twee primaire beperkingen:

Isolatie van Probes: Huidige methoden vertrouwen op enkele probes die slechts gedeeltelijke inzichten bieden. Mutual Information Peaks (MIP) identificeren tokens met een hoge informatie-inhoud met betrekking tot het gouden antwoord op de uitvoerlaag, maar negeren de diepte van de berekening die nodig is om ze te produceren. Omgekeerd meet de Deep-Thinking Ratio (DTR) de computationele diepte via divergentie tussen lagen, maar reageert op te veel tokens om op zichzelf te dienen als een discriminerend signaal voor de relevantie van redenering.
Gebrek aan Kruisarchitecturale Validatie: Eerdere analyses zijn vaak beperkt tot één modelfamilie, waardoor het moeilijk is om fundamentele eigenschappen van redenering te onderscheiden van architecturale artefacten.

2. Methodologie: Het IAR-kader

De auteurs stellen het Integrated, Architecture-agnostic Reasoning (IAR)-kader voor, een geünificeerde pijplijn die redenering analyseert langs drie assen: relevantie voor redenering, computationele diepte en ruisbestendigheid.

2.1 Isolatie van Cruciale Redeneertokens (Uitvoerlaag)

Het kader isoleert eerst tokens die cruciaal zijn voor redenering met behulp van een Bandbreedte-gekalibreerde MIP:

HSIC-schatting: De Mutual Information (MI) tussen de uitvoerrepresentatie van een token en de embedding van het gouden antwoord wordt geschat met de Hilbert–Schmidt Onafhankelijkheidscriterium (HSIC) met een Gaussische RBF-kern.
Bandbreedte-calibratie: Om kerninstorting (verzadiging van gelijkenissen) te voorkomen, wordt de kernbandbreedte ( $\sigma$ ) per architectuur gekalibreerd. Voor Qwen-modellen wordt een vaste $\sigma=50$ gebruikt; voor Llama-8B wordt een per-probleem mediaanheuristiek toegepast op basis van afstanden tussen verborgen toestanden.
Piekdetectie: Een niet-parametrische Tukey IQR-regel identificeert "cruciale redeneertokens" ( $P_q$ ) waarbij de MI hoger is dan $Q3 + 1,5 \times IQR$ .

2.2 Analyse van Kruislaag Trajecten (Computationele Diepte)

Het kader traceert vervolgens de computationele diepte van deze tokens met behulp van DTR:

Jensen–Shannon-divergentie (JSD): De divergentie tussen de voorspellende verdeling van elke verborgen laag en de uiteindelijke laag wordt berekend.
Stabilisatielaag: Een token wordt gedefinieerd als DTR-diep als zijn voorspellende verdeling alleen stabiliseert (JSD < drempel) in de bovenste lagen van het netwerk.
Overlap-analyse: Het kader voert een overlap-analyse op set-niveau uit tussen de MIP-set ( $P_q$ $P_{q}$ ) en de DTR-diepe set ( $D_q$ $D_{q}$ ). Het test twee hypothesen:
- Onafhankelijkheid ( $H_1$ ): MIP's zijn verspreid over diepe en ondiepe tokens.
- Bevatting ( $H_2$ ): $P_q \subseteq D_q$ , wat impliceert dat MIP's een schaarse, voor redenering relevante subset zijn van computationeel diepe tokens.

2.3 Validatie van Kwaliteit van Redenering (Ruisbestendigheid)

Om te verifiëren dat geïdentificeerde tokens echte redenering weerspiegelen en niet stochastische artefacten, hanteert het kader een Drie-weg Jaccard-stabiliteitsmetriek:

Stochastische Generatie: Voor elk probleem worden drie onafhankelijk gezaaide redeneerketens gegenereerd.
Stabiliteitsmetriek ( $J_3$ ): De doorsnede van MIP-sets over de drie generaties wordt gedeeld door hun vereniging.
Taxonomie: Problemen worden gecategoriseerd als Echt (correct en stabiele MIP-structuur), Geluk (correct maar onstabiele MIP-structuur) en Stil (incorrect) op basis van correctheid en $J_3$ .
Discriminatie: Geaggregeerde MIP-statistieken (aantal pieken, ratio, intensiteit) worden getest om te zien of ze Echte problemen onderscheiden van Geluk/Stille problemen met behulp van Mann–Whitney U-tests.

3. Experimentele Opstelling

Modellen: Drie redeneringsmodellen uit de DeepSeek-R1-Distill-familie: Qwen-7B, Qwen-14B en Llama-8B.
Domeinen: Wiskunde (GSM8K), Code (MBPP), Logica (BBH Booleaanse Expressies) en Alledaags Verstand (CommonsenseQA).
Decoding: Deterministisch (greedy) voor detectie/overlap-analyse; Stochastisch (sampling, $T=0,7$ ) voor stabiliteit en kwaliteitsdiscriminatie.

4. Belangrijkste Resultaten

De experimenten leveren vier primaire bevindingen op over de drie architecturen en vier domeinen:

Detecteerbaarheid (RQ1): Bandbreedte-gekalibreerde MIP-detectie is haalbaar over architecturen heen, maar toont conditionele gevoeligheid. Llama-8B vertoont uniforme detectie over alle domeinen. Qwen-modellen tonen een splitsing: hoge detectie op symbolische taken (wiskunde, code) maar bijna nul detectie op natuurlijke-taaktaken (logica, alledaags verstand) voor Qwen-7B, toegeschreven aan interacties tussen embeddendimensie en kernbandbreedte.
Bevatting (RQ2): De Bevattingshypothese ( $H_2$ ) wordt sterk ondersteund. Door MIP geïdentificeerde tokens vormen een subset met hoge precisie (Token-Pool Precisie $\approx 0,82$ ) van DTR-diepe tokens. Dit bevestigt dat voor redenering cruciale tokens computationeel intensief zijn, en dat MIP fungeert als een interpreteerbaar filter op de bredere set van diepe tokens.
Stabiliteit (RQ3): Hoewel het bestaan van MIP's steekproefstabiel is (het binaire evenement van pieken detecteren is reproduceerbaar), is de specifieke identiteit van MIP-tokens steekproefgevoelig (lage Jaccard-stabiliteit, $J_3 \approx 0,09–0,28$ ). Dit suggereert dat de kwaliteit van redenering moet worden beoordeeld via geaggregeerde statistieken in plaats van specifieke token-identiteiten.
Kwaliteitsdiscriminatie (RQ4): Geaggregeerde MIP-statistieken onderscheiden Echte redenering van Gelukkige gokken. Tegen-intuïtief vertonen Echte problemen minder, schaarsere en zwakkere MIP's dan Gelukkige. Dit ondersteunt een visie van "redeneer-economie" waarbij ware oplossingen vertrouwen op een paar scherpe ankers, terwijl gelukkige trajecten diffuse, hoog-volume MI-activiteit produceren. Deze discriminatie is overdraagbaar over architecturen, hoewel effectgroottes variëren (sterkst in Qwen-14B).

5. Betekenis en Bijdragen

De auteurs claimen de volgende bijdragen:

Geünificeerd Kader: Het introduceert IAR, een paradigma dat redenering gezamenlijk onthult via relevantie, diepte en robuustheid, en voorbijgaat aan geïsoleerde probes.
Compositional Inzicht: Het stelt vast dat MIP en DTR geen concurrerende metrieken zijn, maar compositional; MIP filtert de computationeel diepe tokens geïdentificeerd door DTR om de voor redenering relevante subset te vinden.
Kruisarchitecturale Generalisatie: Het biedt het eerste bewijs van een overdraagbaar redeneerpatroon (MIP-bevatting binnen DTR-diepe tokens) over verschillende modelfamilies (Qwen en Llama) en schalen.
Methodologische Strengh: Het demonstreert de noodzaak van multi-seed stochastische evaluatie en bandbreedte-calibratie om architecturale artefacten te vermijden, en verfijnt het begrip van "denktokens" in LLM's.

De auteurs concluderen dat hoewel individuele token-identiteiten onstabiel zijn, de geaggregeerde statistische eigenschappen van redeneersporen een robuust, architectuur-invariant signaal bieden voor het onderscheiden van echte redenering van stochastisch succes.