💬 NLP

Intention Collapse: Intention-Level Metrics for Reasoning in Language Models

Dit artikel introduceert „intentie-inzinking” als een raamwerk voor het analyseren van redeneren in taalmodellen door middel van het meten van interne toestanden vóór generatie via entropie, effectieve dimensionaliteit en herstelbaarheidsmetingen, waarbij wordt aangetoond dat chain-of-thought-prompting heterogene interne onzekerheidsregimes induceert en dat latent kennis herstelbaar kan blijven, zelfs wanneer de uiteindelijke gedragsnauwkeurigheid afneemt, met name in meerkeuzeformaten.

Oorspronkelijke auteurs: Patricio Vera

Gepubliceerd 2026-01-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Patricio Vera

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op het punt staat een toespraak te houden. Voordat je je mond opent, zoemt je hersenen met een chaotische storm van herinneringen, halfgevormde argumenten, emoties en potentiële woordkeuzes. Het is een rijke, rommelige, hoogdimensionale wolk van "intentie".

Maar wanneer je eindelijk spreekt, laat je niet de hele wolk los. Je kiest één specifieke zin. Je comprimeert die enorme interne storm tot een enkele, lineaire reeks woorden.

Dit paper stelt dat Large Language Models (LLM's) precies hetzelfde doen. De auteurs noemen dit proces "Intentiecompressie" (Intention Collapse).

Hieronder volgt een uitleg van hun bevindingen, met behulp van eenvoudige analogieën.

1. Het kernidee: Het "pre-speech"-moment

De meeste mensen kijken naar het antwoord van een AI en oordelen op basis van de uiteindelijke woorden. Maar dit paper stelt dat we moeten kijken naar wat er binnen de "hersenen" van de AI gebeurt, net voordat het het allererste woord kiest.

Denk eraan als een fotograaf die een foto maakt.

Het tafereel: De complexe, 3D-wereld (de interne staat van de AI).
De foto: Het platte, 2D-beeld (de tekstoutput).
De compressie: Het moment dat de sluiter klikt. Informatie gaat verloren. De 3D-diepte wordt afgeplat tot 2D-pixels.

De auteurs wilden het "Tafereel" (de interne staat) meten om te zien of we konden voorspellen of de "Foto" (het antwoord) goed of slecht zou zijn, en hoe verschillende prompting-technieken dat tafereel veranderen.

2. De drie "gezondheidscontroles" voor de geest van de AI

Om deze interne staat te meten, creëerden de auteurs drie eenvoudige metrieken. Beschouw deze als vitale tekens voor de intentie van de AI:

Intentie-entropie (de "verwarring"-meter):
- Analogie: Stel je voor dat je op een kruispunt staat. Als je precies weet welke kant je op moet, is je "entropie" laag. Als je geen idee hebt en even waarschijnlijk links, rechts of rechtdoor gaat, is je entropie hoog.
- In de AI: Dit meet hoe verspreid de waarschijnlijkheid van de AI is voor het volgende woord. Lage entropie betekent dat het er zeer zeker van is; hoge entropie betekent dat het onzeker is of veel opties overweegt.
Effectieve dimensionaliteit (de "rijkdom"-meter):
- Analogie: Stel je een schilderij voor. Is het een eenvoudige stickfigure (lage dimensionaliteit), of is het een complex, gedetailleerd landschap met vele lagen van betekenis (hoge dimensionaliteit)?
- In de AI: Dit meet hoeveel "ruimte" de interne gedachten van de AI innemen. Zijn zijn gedachten eenvoudig en smal, of complex en veelzijdig?
Herstelbaarheid (de "verborgen kennis"-meter):
- Analogie: Stel je een student voor die het antwoord op een wiskundeprobleem weet, maar het verkeerde cijfer neerschrijft omdat hij zenuwachtig werd. Als je in zijn hoofd kon kijken, zou je zien dat hij het wist.
- In de AI: De onderzoekers trainden een eenvoudige "probe" (een mini-detector) om naar de interne staat van de AI te kijken en te raden of het uiteindelijke antwoord correct zou zijn. Als de probe correct kan raden, betekent dit dat de AI de juiste informatie intern had, zelfs als het faalde deze neer te schrijven.

3. Het experiment: "Chain-of-Thought" testen

"Chain-of-Thought" (CoT) is een populaire truc waarbij je tegen een AI zegt: "Denk stap voor stap na voordat je antwoordt." Iedereen neemt aan dat dit de AI slimmer maakt. De onderzoekers testten dit op drie verschillende AI-modellen (Mistral, LLaMA, Qwen) over drie soorten taken (Wiskunde, Abstract Redeneren en Wiskundige Woordproblemen).

Ze vergeleken drie condities:

Baseline: Geef gewoon het antwoord.
CoT: Denk stap voor stap na.
Babbelen: Schrijf een lange, doorgaande stroom van bewustzijn (om te zien of het meer schrijven helpt, of dat het denken helpt).

4. De verrassende bevindingen

Bevinding 1: "Stap voor stap denken" is niet altijd beter.

Wiskunde (vrij antwoord): CoT werkte geweldig. De nauwkeurigheid steeg aanzienlijk.
Abstract redeneren (meervoudige keuze): CoT maakte het eigenlijk slechter. De AI presteerde slechter wanneer het gedwongen werd om "hardop na te denken" dan wanneer het gewoon een direct antwoord gaf.
De conclusie: Een AI dwingen om zijn redenering te verbaliseren, kan het soms verwarren, vooral wanneer het uit een lijst van opties moet kiezen (A, B, C, D).

Bevinding 2: Verschillende AI's "denken" anders.
Bij het gebruik van CoT veranderde de interne "Verwarring" (Entropie) op verschillende manieren voor verschillende modellen:

Mistral: Wordt zekerder (lagere entropie). Het versmalt zijn focus.
LLaMA: Wordt onzekerder (hogere entropie). Het opent zijn mogelijkheden.
De conclusie: Er is geen enkele manier waarop "redeneren" er binnen een AI uitziet. Het "denken" van het ene model lijkt op de "verwarring" van een ander model.

Bevinding 3: De AI kent misschien het antwoord, maar faalt het te zeggen.
Dit is het meest interessante deel. In sommige gevallen (zoals Qwen bij de taak Abstract Redeneren) toonde de interne staat van de AI hoge Herstelbaarheid. De "probe" kon gemakkelijk zien dat de AI het juiste antwoord kende. Echter, het uiteindelijke geschreven antwoord van de AI was verkeerd.

Analogie: Het is als een bestuurder die de weg perfect kent (hoge interne kennis), maar per ongeluk op het laatste moment de verkeerde kant op draait (mislukte compressie).
De conclusie: Het probleem is niet altijd dat de AI kennis mist. Soms is het probleem de "compressie" – de laatste stap van het omzetten van die kennis in een specifiek formaat (zoals een letter voor meervoudige keuze) is waar de fout plaatsvindt.

Bevinding 4: Babbelen is geen denken.
De "Babble"-controle (gewoon veel onzin schrijven) produceerde niet dezelfde interne veranderingen als CoT. Dit bewijst dat CoT niet alleen gaat om het langer maken van de output; het verandert daadwerkelijk de interne structuur van de gedachten van de AI.

Samenvatting

Het paper suggereert dat we stoppen met het bekijken van AI-antwoorden als simpelweg "goed" of "fout". In plaats daarvan moeten we kijken naar de Intentiecompressie – het moment waarop de AI beslist om te spreken.

Soms helpt het vragen aan een AI om "hardop na te denken" om zich te focussen (lagere entropie).
Soms zorgt het ervoor dat het te veel nadenkt en verward raakt (hogere entropie).
Soms kent de AI de waarheid intern, maar faalt het om deze correct uit te drukken in het vereiste formaat.

Door de "pre-speech"-staat te meten, kunnen we beter begrijpen waarom een AI faalt, in plaats van alleen te weten dat het faalde.

Technische Samenvatting: Intentie-inzinking: Intentieniveau-metrieken voor redeneren in taalmodellen

Probleemstelling
Het paper adresseert het structurele verband tussen de rijke, hoogdimensionale interne toestanden van Large Language Models (LLM’s) en de discrete, lineaire tokenreeksen die ze produceren. De auteurs formaliseren deze veel-tot-een-koppeling als intentie-inzinking: de onomkeerbare projectie van een interne intentieruimte $I$ (de pre-generatie latent toestand) naar een externe taalruimte $L$ . Bestaande technieken voor het verbeteren van redeneren (bijv. Chain-of-Thought, zelfverfijning) worden vaak uitsluitend beoordeeld op basis van de uiteindelijke nauwkeurigheid, waardoor het onduidelijk blijft hoe deze methoden de interne toestand vóór de generatie herschikken. Het kernprobleem is het ontbreken van een verenigd kader om de informatieve en geometrische eigenschappen van de pre-inzinkingstoestand $I$ te meten en om te bepalen wanneer het herschikken van $I$ de prestaties ten goede of ten kwade komt, met name over verschillende responsformaten heen.

Methodologie
De auteurs operationaliseren intentie-inzinking door de intentietoestand $I$ te definiëren als de verzameling van verborgen representaties op de laatste promptpositie, direct voordat het eerste uittoekentoken wordt geselecteerd. Zij stellen drie modelagnostische, computationeel goedkope metrieken voor die op $I$ worden berekend:

Intentie-entropie ( $H_{int}(I)$ ): De Shannon-entropie van de volgende-token-verdeling op het moment vóór de inzinking, die de concentratie of diffusie van de directe voortzetting van het model meet.
Effectieve dimensionaliteit ( $d_{eff}(I)$ ): De participatieratio van PCA-eigenwaarden over pre-inzinking verborgen toestanden, die de geometrische rijkdom van de intentierepresentatie vastlegt.
Herstelbaarheid van latent kennis ($Recov(I; Z)$): De AUROC van lineaire proeven die op $I$ zijn getraind om taakuitkomsten te voorspellen (bijv. juistheid van het antwoord), wat de informatie kwantificeert die aanwezig is vóór de inzinking, maar mogelijk niet wordt uitgedrukt in de uiteindelijke output.

Experimenteel ontwerp
Het kader wordt geëvalueerd in een $3 \times 3$ empirisch onderzoek:

Modellen: Mistral-7B-Instruct, LLaMA-3.1-8B-Instruct en Qwen-2.5-7B-Instruct.
Benchmarks: GSM8K (vrije respons wiskunde), ARC-Challenge (meervoudige keuze abstract redeneren) en AQUA-RAT (meervoudige keuze wiskunde).
Inferentieregimes: Baseline (direct antwoord), Chain-of-Thought (CoT) en Babble (een woordrijkheidscontrole die ongerelateerde stream-of-consciousness-tekst genereert).
Protocol: $n=200$ items per cel; greedy decoding ( $T=0$ ) om de effecten van prompt-conditie te isoleren; extractie van $I$ strikt vóór de eerste tokengeneratie.

Belangrijkste resultaten

Formaat-afhankelijke effectiviteit van CoT: CoT is niet universeel voordelig. Het levert grote nauwkeurigheidsverbeteringen op GSM8K (vrije respons) op voor alle modellen, maar verslechtert de prestaties consistent op ARC-Challenge (meervoudige keuze) en levert gemengde resultaten op AQUA-RAT. Dit suggereert dat het wijzigen van de pre-inzinkingstoestand geen betrouwbare uiteindelijke discrete toezegging garandeert onder alle responsformaten.
Heterogene entropieregimes: CoT induceert distincte entropieverschuivingen ten opzichte van de baseline ( $\Delta H = H_{int}(CoT) - H_{int}(Base)$ ). Mistral vertoont lagere pre-inzinking-entropie onder CoT ( $\Delta H < 0$ ), terwijl LLaMA hogere pre-inzinking-entropie vertoont ( $\Delta H > 0$ ). Dit benadrukt significante heterogeniteit in hoe verschillende modelfamilies interne onzekerheid tijdens het redeneren beheren.
Dissociatie van signaal en nauwkeurigheid: Herstelbaarheid ($Recov$) kan dissociëren van gedragsnauwkeurigheid. In sommige instellingen (bijv. Qwen op ARC-Challenge) blijft de probe AUROC significant boven toeval, ondanks verslechterde CoT-nauwkeurigheid. Dit geeft aan dat informatieve interne signalen in $I$ kunnen bestaan, maar niet betrouwbaar worden omgezet in correcte discrete beslissingen, met name in meervoudige-keuzeformaten.
Woordrijkheidscontrole: De Babble-controle bevestigt dat CoT-effecten niet slechts het gevolg zijn van outputlengte; Babble reproduceert niet de metriek-prestatierelaties die onder CoT worden waargenomen.

Betekenis en bijdragen
Het paper stelt dat intentie-inzinking een verenigend perspectief biedt voor het redeneren over LLM-gedrag, waarbij diverse inferentiemethoden worden herformuleerd als interventies op een gemeenschappelijk object ( $I$ ). Belangrijke bijdragen omvatten:

Conceptuele brug: Het verbinden van literatuur over het ophalen van latente kennis, pre-generatie-adequaatheid en onzekerheidsschatting via de specifieke grens van de pre-inzinkingstoestand.
Diagnostisch nut: Het demonstreren dat interne scheidbaarheid (herstelbaarheid) en betrouwbaarheid van uiteindelijke toezegging distincte fenomenen zijn. Het kader verklaart waarom modellen het antwoord kunnen "kennen" (hoge $Recov$) maar falen in het correct outputten ervan (lage nauwkeurigheid) door formaat-geïnduceerde toezeggingsfalen.
Onderzoeksagenda: Het voorstellen van concrete richtingen voor adaptieve inferentie, zoals toestand-afhankelijke decoderingsbeleid (aanpassen van sampling op basis van $H_{int}$ ) en early-exit-strategieën (gebruik van $Recov$ om onnodige berekeningen te vermijden), waardoor intentie-inzinking wordt omgezet in een praktisch hulpmiddel voor het optimaliseren van test-time compute.

De auteurs handhaven een bescheiden scope, waarbij zij opmerken dat hun bevindingen correlatief zijn en beperkt tot tekst-only benchmarks en specifieke modelfamilies. Zij benadrukken dat intentie-inzinking een structurele analogie is en geen claim van bewuste intentie in LLM’s.

1. Het kernidee: Het "pre-speech"-moment

2. De drie "gezondheidscontroles" voor de geest van de AI

3. Het experiment: "Chain-of-Thought" testen

4. De verrassende bevindingen

Samenvatting

Meer zoals dit