💬 NLP

PRISM: A Dual View of LLM Reasoning through Semantic Flow and Latent Computation

Het paper introduceert PRISM, een raamwerk dat de redenering van grote taalmodellen analyseert door zowel de semantische stroom van gegenereerde tokens als de latente berekening in de modellagen te combineren, waardoor systematische patronen in succesvolle en mislukte redeneertrajecten zichtbaar worden.

Oorspronkelijke auteurs: Ruidi Chang, Jiawei Zhou, Hanjie Chen

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ruidi Chang, Jiawei Zhou, Hanjie Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groot taalmodel (zoals een slimme AI) een moeilijke wiskundetoets moet maken. Tot nu toe keken onderzoekers alleen naar het eindresultaat: "Is het antwoord 2 of 3?" Als het antwoord goed is, denken we: "Gefeliciteerd, de AI is slim." Als het fout is, denken we: "Jammer, de AI is dom."

Maar wat gebeurt er tussen die twee momenten? Hoe denkt de AI eigenlijk?

Het paper PRISM (een nieuwe tool van onderzoekers) zegt: "Wacht eens, we kijken alleen naar het eindantwoord, maar we missen het hele verhaal." PRISM kijkt naar twee dingen tegelijk:

Het verhaal dat de AI schrijft (de woorden die we zien).
Het gedachteproces in de machine (de onzichtbare berekeningen die erachter gebeuren).

Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen.

1. Twee camera's op één film

Stel je voor dat je een film bekijkt van iemand die een puzzel oplost.

Camera 1 (Het zichtbare): Je ziet de persoon praten. "Oké, ik heb de getallen hier... laten we ze optellen... wacht, dat klopt niet..." Dit is wat we zien in de tekst.
Camera 2 (Het onzichtbare): Je ziet de hersenen van de persoon. Je ziet hoe de gedachten flitsen, hoe ze twijfelen, hoe ze een idee laten vallen en een nieuw oppakken. Dit is wat er gebeurt in de "diepe lagen" van de computer.

Tot nu toe hadden we alleen Camera 1. PRISM zet Camera 2 erbij. Het kijkt naar hoe de "hersenactiviteit" van de AI verandert terwijl hij van de ene zin naar de andere gaat.

2. De vier rollen in het toneelstuk

PRISM verdeelt het denken van de AI in vier hoofdrollen, net als in een toneelstuk:

De Regisseur (Setup): "Oké, laten we eerst kijken wat de opdracht is."
De Rekenaar (Computation): "Laten we de getallen uitrekenen."
De Controleur (Verification): "Wacht, klopt dit wel? Laten we het nog eens checken."
De Presentator (Final Answer): "Het antwoord is 42."

PRISM kijkt naar hoe de AI van rol wisselt.

Bij een slimme AI: De Rekenaar doet zijn werk, de Controleur checkt snel, en de Presentator komt met het antwoord.
Bij een AI die vastloopt: De AI raakt in een doolhof. De Controleur begint te twijfelen, roept de Rekenaar terug, de Rekenaar maakt een fout, de Controleur wordt nerveus, en ze blijven in een cirkel ronddraaien zonder ooit de Presentator te laten spreken. Dit noemen ze "overthinking" (te veel nadenken).

3. Waarom sommige AI's "dom" lijken

Het paper ontdekte iets interessants over fouten:

De "Te-veel-nadenker": Deze AI's komen vaak wel op een antwoord, maar twijfelen er daarna zo lang over dat ze het vergeten of veranderen. Ze blijven in de "Controleur"-rol hangen.
De "Te-snel-afmaker": Deze AI's springen te snel naar de "Presentator"-rol. Ze zeggen: "Het antwoord is 42!" en stoppen, terwijl ze eigenlijk nog niet hadden uitgerekend of het klopte.

PRISM laat zien dat deze twee soorten fouten heel verschillend zijn in hun "gedachtepatroon", zelfs als ze beide tot een fout antwoord leiden.

4. De kracht van de "Prompt" (De instructie)

Soms geven we de AI een instructie, zoals: "Wees kort en krachtig" of "Denk eerst aan drie verschillende oplossingen."

Als we zeggen "Wees kort", breekt PRISM het denken op in kleine stukjes. De AI springt sneller tussen rekenen en controleren, maar maakt misschien minder diepe berekeningen.
Als we zeggen "Denk aan drie paden", ziet PRISM dat de AI echt heen en weer springt tussen verschillende denkpaden. Het is alsof je de AI een kaart geeft in plaats van alleen een opdracht.

Waarom is dit belangrijk?

Voorheen zagen we alleen of de AI "winnen" of "verliezen" op de toets. Met PRISM kunnen we nu zien waar de AI vastloopt.

Is het omdat hij niet goed rekent?
Is het omdat hij te veel twijfelt?
Is het omdat hij te snel ophoudt?

Dit helpt onderzoekers om AI's niet alleen slimmer te maken, maar ook om te begrijpen waarom ze slimmer worden. Het is alsof we van een dokter die alleen kijkt of de patiënt dood of levend is, veranderen in een dokter die een röntgenfoto maakt om te zien welke botbreuk er precies is, zodat hij de juiste pleister kan plakken.

Kortom: PRISM is een bril die ons laat zien hoe een AI echt denkt, niet alleen wat hij zegt. Het helpt ons om de "gedachten" van de machine te begrijpen, in plaats van alleen naar het eindantwoord te staren.

1. Het Probleem

Grote Taalmodellen (LLMs) lossen complexe problemen op door multi-stap redeneertraces (Chain-of-Thought) te genereren. Bestaande analyses van deze redeneerprocessen zijn echter vaak eenzijdig en kijken naar slechts één van twee perspectieven:

Expliciet perspectief: De volgorde van tokens in de gegenereerde tekst over verschillende redeneerstappen heen (semantische flow).
Implicit perspectief: De verborgen toestandvectoren (hidden-state vectors) binnen één enkele generatiestap over de verschillende lagen van het model heen (interne berekening).

Er ontbreekt een unified framework dat beide niveaus gelijktijdig analyseert om te begrijpen hoe redenering evolueert over tijd (stappen) en diepte (lagen). Bestaande methoden vertrouwen vaak alleen op de eindnauwkeurigheid, wat weinig inzicht geeft in hoe het model tot een antwoord komt of waarom het faalt.

2. Methodologie: PRISM Framework

PRISM (Probabilistic Reasoning Inspection through Semantic and Implicit Modeling) is een diagnostisch framework dat redeneertraces modelleert als gestructureerde processen. Het combineert een expliciete en een impliciete fase via een brugmatrix.

A. Data Voorbewerking

Genereerde tokens worden opgedeeld in redeneerstappen ( $s_1, \dots, s_T$ ) op basis van lege regels.
De hidden-state representaties van het eerste token van elke stap worden geëxtraheerd voor elke transformer-laag ( $L$ ).
Deze vectoren worden genormaliseerd en geprojecteerd via PCA om de dimensie te reduceren voor stabiele schattingen.

B. Expliciete Fase: Semantische Stroom

Deze fase modelleert de overgangen tussen redeneerstappen als een Markov-keten.

Categorieën: Elke stap wordt geklasseerd in één van vier semantische rollen:
1. SR (Setup & Retrieval): Probleem opzetten.
2. AC (Analysis & Computation): Berekenen en analyseren.
3. UV (Uncertainty & Verification): Twijfelen en controleren.
4. FA (Final Answer): Het definitieve antwoord.
Model: Een $m$ -de orde Markov-keten schat de overgangskansen tussen deze categorieën op basis van empirische data.

C. Impliciete Fase: Latente Berekeningsregimes

Deze fase analyseert de interne computatie binnen elke stap.

GMM: Voor elke semantische categorie wordt een Gaussian Mixture Model (GMM) getraind op de laag-voor-laag hidden states. Dit identificeert "latente regimes" (computationele modi) die binnen een stap actief zijn.
Doel: Het vaststellen van de interne structuur die een semantische stap realiseert (bijv. hoe een "Verificatie"-stap intern wordt berekend).

D. De Brugmatrix (Cross-Step Bridge)

Dit is het kerninnovatiepunt dat de twee fasen verbindt.

Een brugmatrix ( $J$ ) modelleert hoe de exit-toestand (laatste laag) van stap $t-1$ de entry-toestand (eerste laag) van stap $t$ beïnvloedt, rekening houdend met de overgang tussen semantische categorieën.
Dit maakt het mogelijk om te analyseren hoe de interne computatie van de vorige stap de volgende stap en de daaropvolgende semantische overgang vormgeeft.

D. Training

Het model wordt getraind via een Expectation-Maximization (EM) procedure in twee fasen:

Fase 1: Training van de GMM-parameters (zonder brugmatrix) om een warme start te krijgen voor de regimes.
Fase 2: Gezamenlijke training van de GMM-parameters en de brugmatrix om de afhankelijkheid tussen opeenvolgende stappen te leren.

3. Belangrijkste Resultaten & Inzichten

De auteurs hebben PRISM getest op vier open-source redeneermodellen (o.a. Bespoke-Stratos, OpenThinker, Qwen3, Llama-3.1-Nemotron) en vier benchmarks (MATH-500, AIME-2024, GPQA-Diamond, WebInstruct).

A. Dynamiek van Redeneertraces

Zelflussen: Redenering wordt gedomineerd door zelf-overgangen in de "Analysis & Computation" (AC) fase.
Verificatievalstrikken: Foutieve trajecten komen vaker vast te zitten in de "Uncertainty & Verification" (UV) fase. Ze gaan sneller naar UV, maar hebben moeite om terug te keren naar AC, wat leidt tot onproductieve controlelussen.
Start en Einde: Bijna alle trajecten beginnen met Setup (SR), en het bereiken van een eindantwoord vereist gemiddeld 22 stappen, ongeacht de huidige rol.

B. Falen en Overdenken (Overthinking)

PRISM onderscheidt twee soorten falen die zich anders gedragen dan alleen "juist" of "onjuist":

Langdurig falen (Overthinking): Deze trajecten bereiken een kandidaat-antwoord vroeg, maar blijven erover nadenken (herhaaldelijk terugkeren naar FA en dan weer weggaan). Ze vertonen een patroon van "overthinking".
Kortdurend falen (Premature Commitment): Deze trajecten stoppen te snel met redeneren na het zien van een antwoord ("premature commitment").

Interne Structuur: Fouten tonen verschillende interne computatieregimes. Bijvoorbeeld, bij onjuiste verificatiestappen worden andere regimes in de vroege en late lagen van het transformer-model geactiveerd vergeleken met correcte stappen.

C. Prompting en Interventie

PRISM toont aan dat prompt-strategieën de redeneerflow fundamenteel veranderen, niet alleen de nauwkeurigheid:

"Wees beknopt" (Concise): Fragmenteert de berekening. Het reduceert lange AC-zelflussen en verhoogt de overgang naar verificatie, wat leidt tot kortere, afwisselende blokken in plaats van continue berekening.
"Verken meerdere paden" (Multi-path): Promoot een sterke cyclische beweging tussen berekening en verificatie. Dit voorkomt dat het model vastloopt in onproductieve lussen en stimuleert een meer exploratieve houding.

4. Bijdragen

Unificatie van perspectieven: PRISM is het eerste framework dat expliciete semantische flow en impliciete computationele regimes in één probabilistisch model combineert.
Diagnostisch inzicht: Het identificeert systematische patronen in falende trajecten (zoals de "sticky state" van verificatie en de dichotomie tussen overdenken en te vroeg stoppen).
Analyse van Prompting: Het biedt een methode om prompt-optimatie te evalueren op basis van interne dynamiek en semantische overgangen, in plaats van alleen op eindnauwkeurigheid.
Interpreteerbaarheid: Het maakt de "black box" van LLM-redenering zichtbaar door te koppelen wat het model zegt (semantiek) aan hoe het dit intern berekent (latent regimes).

5. Betekenis en Toekomst

PRISM positioneert zich als een praktisch hulpmiddel voor het analyseren en diagnosticeren van redeneerprocessen in LLMs. Door te laten zien dat fouten vaak structurele oorzaken hebben (zoals vastlopen in verificatielussen of verkeerde interne regimes), biedt het een weg voor toekomstige optimalisaties. In plaats van alleen te kijken naar of een antwoord correct is, kunnen ontwikkelaars nu ingrijpen op het niveau van de redeneerflow en de interne computatiestaten om robuustere redeneermodellen te creëren.

Beperkingen: Het framework is afhankelijk van externe semantische labeling en ongesuperviseerde clustering, wat ruis kan introduceren. De evaluatie is beperkt tot een selectie van modellen en benchmarks. PRISM is primair een analytisch instrument en optimaliseert niet direct de prestaties, maar de inzichten kunnen wel leiden tot betere training of fine-tuning strategieën.