💬 NLP

Reasoning Models Know What's Important, and Encode It in Their Activations

Dit onderzoek toont aan dat modelactivaties meer informatie bevatten dan de tekst van redeneerstappen zelf, omdat modellen een interne, generaliseerbare representatie van de belangrijkheid van een stap coderen die niet correleert met oppervlakkige kenmerken.

Oorspronkelijke auteurs: Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom de "gedachten" van een AI belangrijker zijn dan wat hij hardop zegt

Stel je voor dat je een wiskundig raadsel oplost. Je schrijft een lang verhaal op papier: je probeert verschillende dingen, maakt misschien een paar fouten, twijfelt, en schrijft uiteindelijk de oplossing op.

Soms is dat hele verhaal nodig om tot het antwoord te komen. Maar vaak? Vaak is er maar een klein stukje van dat verhaal echt belangrijk. De rest is gewoon "gepraat" om de tijd te vullen, of het herhalen van dingen die je al wist.

Dit is precies wat onderzoekers van dit paper hebben onderzocht bij moderne kunstmatige intelligenties (LLMs). Ze wilden weten: hoe weet een AI welke stappen in zijn redenering echt belangrijk zijn, en welke je gewoon weg kunt laten?

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

1. Het probleem: Het lange verhaal vs. de echte kern

AI's lossen complexe problemen op door een "redenatieketen" te schrijven. Dat is een lange lijst van stappen.

Stap 1: "Laten we kijken naar de getallen..."
Stap 2: "Hmm, misschien moet ik dit vermenigvuldigen..."
Stap 3: "Oh, wacht, dat was een fout, laten we het anders proberen..."
...
Stap 50: "Het antwoord is 42."

De onderzoekers vroegen zich af: Welke van die 50 stappen zijn echt nodig? Als je stap 3 en 15 zou weglaten, zou de AI dan nog steeds het juiste antwoord krijgen?

2. De twee manieren om te kijken

De onderzoekers keken op twee manieren naar deze stappen:

Manier A: De tekst lezen (De "oppervlakte").
Dit is alsof je kijkt naar wat de AI hardop zegt. Je leest de zin en denkt: "Klinkt dit belangrijk?" of "Is dit een fout?"
- Vergelijking: Dit is alsof je probeert te raden wat iemand denkt door alleen naar zijn lippen te kijken. Soms zegt iemand "Ik weet het niet", terwijl hij het antwoord al in zijn hoofd heeft.
Manier B: De interne "gedachten" lezen (De "activaties").
Dit is alsof je kijkt naar de elektrische signalen in de hersenen van de AI terwijl hij schrijft.
- Vergelijking: Dit is alsof je een stethoscoop op de borst van de AI legt. Je hoort niet wat hij zegt, maar je voelt de hartslag en de spanning. De onderzoekers ontdekten dat deze interne signalen veel meer vertellen dan de tekst zelf.

3. Het grote geheim: De AI "weet" het al

Het meest verrassende resultaat van dit paper is dit:

De AI weet al welke stap belangrijk is, voordat hij de volgende zin schrijft.

Stel je voor dat je een spoorboekje tekent. De AI schrijft een zin. Op dat exacte moment, in zijn interne "hersenen" (de activaties), is er al een klein lampje dat oplicht: "Dit is een cruciale stap!" of "Dit is onzin, dit kunnen we weglaten."

Zelfs als de AI in de tekst schrijft: "Laten we eens nadenken..." (wat vaak onbelangrijk is), weten zijn interne signalen al dat dit een "vullende" stap is. Als hij een echte berekening doet, zijn de interne signalen heel anders.

De analogie:
Het is alsof een acteur een toneelstuk speelt.

De tekst (Tokens): De woorden die hij zegt. Soms zegt hij "Ik ben bang" terwijl hij eigenlijk heel zelfverzekerd is.
De activaties: De spierspanning, de adembeweging en de blik van de acteur. Hierin zie je de echte emotie en intentie. De onderzoekers ontdekten dat je de "echte" betekenis van de scène beter kunt begrijpen door naar de spierspanning te kijken dan naar de tekst.

4. Waarom is dit belangrijk?

Dit onderzoek heeft drie grote gevolgen:

Betere efficiëntie: Als we weten welke stappen echt belangrijk zijn (via de interne signalen), kunnen we die "onbelangrijke" stappen weglaten. Dat maakt de AI sneller en goedkoper, omdat hij minder hoeft te rekenen.
Eerlijkheid: Soms lijkt een AI heel slim omdat hij een lang, logisch verhaal schrijft. Maar als je naar de interne signalen kijkt, zie je dat hij eigenlijk op het toeval vertrouwt of dat hij "doet alsof". We kunnen dus beter controleren of een AI echt redeneert of gewoon praat.
Universiteit: Het bleek dat dit "weten wat belangrijk is" in alle verschillende AI-modellen hetzelfde werkt. Of het nu een klein model is of een groot model, ze hebben allemaal deze interne "belangrijkheids-meter".

Conclusie

De boodschap van dit paper is simpel: Kijk niet alleen naar wat een AI zegt, maar luister naar wat hij denkt.

De tekst die we zien is vaak maar het topje van de ijsberg. De echte intelligentie, de echte "weten wat belangrijk is", zit diep verborgen in de interne signalen van de machine. Om AI echt te begrijpen, moeten we dus niet alleen naar de tekst kijken, maar naar de "hersenen" erachter.

Titel: Reasoning Models Know What's Important, and Encode It in Their Activations

Auteurs: Yaniv Nikankin et al. (Technion, University of Zagreb, MIT, Harvard)

1. Probleemstelling

Grote Taalmodellen (LLMs) lossen complexe taken vaak op door lange ketens van redeneringen (reasoning chains) te genereren, bestaande uit vele tussenstappen. Niet alle stappen in deze ketens zijn even belangrijk: sommige zijn cruciaal voor het bereiken van het juiste antwoord, terwijl andere overbodig, redundant of onnauwkeurig zijn.
De centrale vraag is: Hoe kunnen we bepalen welke stappen echt belangrijk zijn, en waar is deze informatie opgeslagen?
Traditionele benaderingen kijken naar de gegenereerde tokens (de tekst zelf). Dit paper onderzoekt of de interne activaties van het model (latent representations) meer informatie bevatten over de belangrijkheid van een stap dan de tokens zelf.

2. Methodologie

De auteurs gebruiken een causale benadering gebaseerd op verwijderbaarheid (removability) om de belangrijkheid van redeneerstappen te definiëren en te meten.

A. Definitie van Belangrijkheid

Een stap wordt als "belangrijk" beschouwd als het verwijderen ervan de kans verkleint dat het model het juiste antwoord bereikt. Dit wordt gemeten via twee metrieken:

Sufficiency (Voldoende): Het percentage van de gegenereerde antwoorden dat correct is na het verwijderen van een stap (of reeks stappen).
Attainability (Bereikbaarheid): Hoe natuurlijk de resterende keten is voor het model (gemeten via perplexiteit), zodat het model niet "in de war" raakt door plotselinge sprongen in de logica.

B. Identificatie van de Kern-Redenering

Om de minimale set van essentiële stappen te vinden, gebruiken de auteurs een gierige (greedy) procedure om een "core reasoning subsequence" ( $T^*$ ) te identificeren. Ze vergelijken drie methoden om stappen te rangschikken voor verwijdering:

Token-based: Een extern LLM (Gemini-2.5-Pro) beoordeelt de tekst van de stappen.
Activation-based: Het model zelf wordt gebruikt om de invloed van stappen op het antwoord te berekenen via gradient attribution (de gradient van de output-kans ten opzichte van de input-embeddings van een stap).
Random: Een willekeurige rangschikking als baseline.

C. Detectie van Intern Representatie (Probing)

Om te testen of modellen een intern concept van "belangrijkheid" hebben, trainen ze binary classification probes (MLP's) op de latent activations van individuele stappen.

Doel: Voorspellen of een stap "verwijderbaar" of "belangrijk" is.
Input: Activaties van het model (residual stream) voor een specifieke stap, inclusief de volledige context (de prompt en alle voorgaande stappen).
Vergelijking: Ze vergelijken dit met methoden die alleen kijken naar tokens (TF-IDF, semantische embeddings) of externe LLM-judges.

D. Experimentele Opzet

Modellen: 5 verschillende reasoning-modellen (o.a. GPT-OSS-20B, DeepSeek-R1-Distill-Qwen in verschillende maten, Olmo-3-7B-Think).
Datasets: HARP (Human Annotated Reasoning Problems) en MATH-500.
Focus: Wiskundige redenering.

3. Belangrijkste Resultaten

A. Activaties zijn superieur aan Tokens

De activation-based methode identificeert consistent een kleinere set van stappen die voldoende is om het juiste antwoord te genereren, vergeleken met de token-based methode (gebaseerd op een extern LLM).

Dit suggereert dat de interne latent informatie nauwkeuriger is dan wat er aan de oppervlakte (in de tokens) zichtbaar is.

B. Modellen coderen belangrijkheid intern (Pre-hoc)

De probes trainen op de activaties van een stap kunnen met hoge nauwkeurigheid (≥80%) voorspellen of die stap belangrijk is, zelfs voordat de volgende stappen zijn gegenereerd.

Dit betekent dat het model een intern concept van "belangrijkheid" heeft dat al bestaat voordat het de rest van de redenering afmaakt.
Token-only benaderingen (zoals TF-IDF of semantische embeddings) presteren aanzienlijk slechter (≤60%), zelfs met volledige context.

C. Generalisatie en Distributie

Cross-Model Generalisatie: Een probe getraind op de activaties van Model A kan de belangrijkheid van stappen in Model B voorspellen met hoge nauwkeurigheid. Dit suggereert dat het concept van "belangrijkheid" universeel is en niet model-specifiek.
Gedistribueerde Representatie: De informatie over belangrijkheid is niet gelokaliseerd in één specifieke laag of tokenpositie. Het is verspreid over de diepte van het model (alle lagen) en vereist de combinatie van alle lagen voor de beste prestaties.

D. Geen Correlatie met Oppervlaktekenmerken

De belangrijkheid van een stap correleert nauwelijks met oppervlaktekenmerken zoals:

De positie van de stap in de keten.
De lengte van de stap.
Het aantal getallen of rekenoperaties.
Specifieke categorieën (zoals "planning" of "verificatie").
Dit bevestigt dat het interne concept van belangrijkheid een abstracte, niet-superficiële eigenschap is.

4. Bijdragen en Conclusies

Interne Representatie van Belangrijkheid: Het paper bewijst dat reasoning-modellen een intern, abstract concept van "stap-belangrijkheid" coderen in hun latent activaties, onafhankelijk van wat er in de gegenereerde tekst staat.
Superioriteit van Latent Analyse: Het analyseren van model-activaties biedt een veel betrouwbaarder (faithful) perspectief op het redeneerproces dan het analyseren van tokens alleen. Tokens kunnen misleidend zijn (bijv. "performative" stappen die eruitzien alsof ze belangrijk zijn, maar verwijderbaar zijn).
Implicaties voor Interpretability: Om echt te begrijpen hoe LLMs redeneren, moeten onderzoekers kijken naar de "model internals" en niet alleen naar de output.
Toepassingsmogelijkheden: Deze bevindingen kunnen leiden tot efficiëntere inferentie door het automatisch verwijderen van overbodige stappen (pruning) op basis van interne signalen, zonder de nauwkeurigheid te verliezen.

5. Significatie

De studie daagt de huidige praktijk uit om redeneringsketens puur op tekstniveau te analyseren. Het toont aan dat modellen meer "weten" dan ze zeggen. De ontdekking dat dit concept van belangrijkheid al aanwezig is voordat de volgende stappen worden gegenereerd, suggereert dat het redeneerproces in het model intern gestructureerd is rondom een hiërarchie van noodzakelijke informatie, die niet altijd expliciet wordt uitgedrukt in de gegenereerde tekst. Dit opent nieuwe wegen voor het verbeteren van de betrouwbaarheid (faithfulness) en efficiëntie van reasoning-modellen.