🤖 machine learning

When Chain-of-Thought Fails, the Solution Hides in the Hidden States

Dit onderzoek toont aan dat individuele tokens in een 'chain-of-thought' proces cruciale probleemoplossende informatie bevatten die, zelfs als de volledige redenering fout is, via activatie-patching gebruikt kan worden om het juiste antwoord te herstellen.

Oorspronkelijke auteurs: Houman Mehrafarin, Amit Parekh, Ioannis Konstas

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Houman Mehrafarin, Amit Parekh, Ioannis Konstas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vriend hebt die een ingewikkelde wiskundesom moet oplossen. Hij pakt een kladblok en begint hardop zijn stappen uit te leggen: "Eerst doe ik dit, dan dat, want..." Maar aan het einde van zijn verhaal roept hij ineens het verkeerde antwoord. Je denkt: "Wat een prutser, zijn hele uitleg klopte niet!"

Maar wat als ik je vertel dat die vriend, terwijl hij aan het praten was, in zijn hoofd wel het juiste antwoord wist, maar dat hij het alleen niet goed wist op te schrijven?

Dit wetenschappelijke onderzoek ("When Chain-of-Thought Fails...") heeft precies dat onderzocht bij AI-modellen zoals ChatGPT.

De Kern: De "Gedachten" vs. de "Woorden"

Wanneer een AI een moeilijke som oplost, gebruikt hij vaak een techniek die we Chain-of-Thought (CoT) noemen: hij schrijft zijn tussenstappen op. Het lijkt alsof de AI "denkt" door te schrijven.

De onderzoekers wilden weten: Zijn die geschreven stappen echt nodig om tot het antwoord te komen, of is het gewoon een soort "uitleg achteraf" die de AI geeft om er slim uit te zien?

Om dit te testen, gebruikten ze een soort "digitale hersenoperatie" (ze noemen dit activation patching).

De Analogie: De Kapotte Radio

Stel je een radio voor die een liedje probeert af te spelen, maar hij kraakt en geeft een vals antwoord. De onderzoekers deden het volgende:

Ze lieten de AI de som "nadenken" (de bron).
Ze lieten de AI de som ook direct proberen te beantwoorden (de doelgroep), wat meestal mislukt.
Vervolgens "plakten" ze een klein stukje van de interne elektrische signalen (de verborgen gedachten) uit de eerste poging in de tweede poging.

De ontdekking? Zelfs als de AI een foutieve uitleg opschreef, zat het juiste antwoord vaak nog verstopt in de "elektrische signalen" van de woorden die hij net had gebruikt. Door die signalen te "stelen" en in de nieuwe poging te stoppen, wist de AI ineens wél het juiste antwoord!

Wat hebben ze precies ontdekt? (In gewone taal)

De AI weet het vaak al, maar kan het niet verwoorden: Zelfs als de AI een foutieve uitleg geeft, zitten de juiste bouwstenen voor het antwoord vaak nog wel in zijn "geheugen" (de hidden states). De fout zit hem in de vertaling van gedachte naar tekst.
Werkwoorden zijn de helden, cijfers zijn de boosdoeners:
- Als je de signalen van werkwoorden (zoals "optellen", "verwijderen", "blijven over") steelt, krijgt de AI een enorme boost en kan hij de som weer logisch oplossen.
- Als je de signalen van de cijfers zelf steelt, gebeurt er bijna niets. De cijfers zijn als losse puzzelstukjes zonder lijm; de werkwoorden zijn de lijm die de logica bij elkaar houdt.
Korter is vaak beter: De onderzoekers ontdekten dat je geen hele lange verhalen van de AI nodig hebt. Met slechts een paar "gepikte" signalen kan de AI het antwoord al geven. Een hele lange uitleg is dus vaak een beetje verspilling van tijd en energie.

Waarom is dit belangrijk?

Dit onderzoek laat zien dat AI-modellen veel slimmer zijn "onder de motorkap" dan ze laten zien in hun tekstballonnetjes.

In de toekomst kunnen we AI's misschien veel efficiënter maken. In plaats van dat een AI een heel boek moet schrijven om een som op te lossen, kunnen we leren hoe we die "verborgen, slimme signalen" direct kunnen gebruiken. We hoeven de AI niet te dwingen om hardop te praten om slim te zijn; we moeten alleen leren hoe we zijn interne "gefluister" beter kunnen begrijpen.

Technische Samenvatting: Wanneer Chain-of-Thought Faalt, Verbergt de Oplossing Zich in de Hidden States

1. Probleemstelling

Chain-of-Thought (CoT) prompting is een krachtige techniek waarbij Large Language Models (LLM's) tussenstappen genereren om complexe redeneertaken op te lossen. Er bestaat echter een fundamentele onduidelijkheid: zijn deze gegenereerde tekstuele tussenstappen (tokens) daadwerkelijk computationeel nuttig voor het berekenen van het antwoord, of dienen ze slechts als een "uitleg" (explanatory) achteraf? Een cruciaal probleem is dat CoT-redeneringen vaak fouten bevatten, terwijl het model soms toch het juiste antwoord zou kunnen weten. Het onderzoek richt zich op de vraag of de hidden states (interne activaties) van CoT-tokens informatie bevatten die voldoende is om het correcte antwoord te herstellen, zelfs wanneer de gegenereerde tekst onjuist is.

2. Methodologie

De auteurs maken gebruik van een mechanistische causale analyse via een techniek genaamd activation patching. Het experimentele design is als volgt:

Source Run (CoT): Het model krijgt een prompt die CoT stimuleert (bijv. "denk stap voor stap"). De residual hidden states van elk token op elke laag worden opgeslagen.
Target Run (Direct Answer): Het model krijgt een prompt die direct om het antwoord vraagt zonder tussenstappen (bijv. "geef alleen het antwoord"). Dit leidt meestal tot een foutief antwoord.
Interventie (Patching): Op een gekozen laag $l$ wordt de hidden state van het laatste token in de target run vervangen door de opgeslagen hidden state van een specifiek token uit de source run. Daarna laat men het model de rest van het antwoord genereren.
Evaluatie: Door te variëren in welke laag en welk token wordt "gepatcht", meten de onderzoekers de causale bijdrage van specifieke tokens aan de nauwkeurigheid van het uiteindelijke antwoord.
Dataset & Modellen: De analyse is uitgevoerd op de GSM8K (wiskundige redenering) benchmark met de modellen LLaMA 3.1 8B en Qwen 2.5 7B.

3. Belangrijkste Bijdragen

Identificatie van herstelbare informatie: Het aantonen dat CoT-tokens informatie coderen die de correcte oplossing kan forceren, zelfs als de tekstuele redenering fout is.
Token-rol analyse: Een categorisering van tokens (zoals werkwoorden, entiteiten, operatoren, getallen) om te bepalen welke semantische rollen de meeste taakrelevante informatie dragen.
Localisatie van redeneerinformatie: Het in kaart brengen van de distributie van deze informatie over de lagen (depth) en de positie binnen de redeneerketen (position).
Efficiëntie-inzicht: Het bewijs dat een volledige, lange CoT-keten niet noodzakelijk is om een correct antwoord te genereren; een enkele gepatchte state kan een kort en correct antwoord uitlokken.

4. Resultaten

Hoge Patch-nauwkeurigheid: De patch accuracy (het vermogen om het juiste antwoord te herstellen) is extreem hoog (>99%) en overtreft zowel de directe antwoord-methode als de originele (soms foutieve) CoT-trace.
Correct vs. Incorrect: In correcte CoT-runs is de informatie breed en dicht verspreid over de lagen. In incorrecte runs is de informatie veel schaarser en minder consistent, wat suggereert dat redeneerfouten ontstaan wanneer de taakrelevante signalen worden overstemd door foutieve representaties.
Laag- en Positiedistributie: De meest nuttige informatie bevindt zich in de midden- tot late lagen van het model. Bovendien is de informatie het meest effectief in de vroege stadia van de CoT-keten; naarmate de keten vordert, neemt de informatiedichtheid voor het eindantwoord af.
Semantische Rollen:
- Taal-tokens (werkwoorden en entiteiten) zijn zeer effectief in het sturen van het model naar een correcte redenering (Full CoT).
- Wiskundige tokens (getallen, operatoren) coderen vaak alleen "antwoord-nabije" informatie; ze leiden vaak tot een direct getal zonder redenering, wat minder vaak tot het juiste antwoord leidt.
Output-efficiëntie: Gepatchte outputs zijn vaak veel korter dan de originele CoT, maar behouden een zeer hoge nauwkeurigheid. Dit suggereert dat de "essentie" van het probleem in de hidden states zit, zonder de noodzaak voor uitgebreide tekstuele uitleg.

5. Betekenis en Conclusie

Dit onderzoek verandert ons begrip van hoe LLM's redeneren. Het bewijst dat redeneren een intern proces is dat los kan staan van de gegenereerde tekst. De tekstuele CoT is slechts een oppervlakteverschijnsel; de werkelijke "oplossende" informatie zit dieper in de verborgen representaties.

Implicaties:

Efficiëntie: We kunnen mogelijk kortere en snellere redeneermethoden ontwikkelen die gebruikmaken van de interne representaties in plaats van lange tekstuele ketens.
Betrouwbaarheid: Het biedt een nieuwe manier om te begrijpen waarom modellen falen (bijv. door het identificeren van momenten waarop de taakrelevante informatie in de hidden states verloren gaat).
Interpretabiliteit: Het biedt een mechanistisch inzicht in de causale structuur van redenering in transformermodellen.