🤖 AI

The Shape of Wisdom: Decision Trajectories in Language Models

Dit artikel analyseert 9.000 beslissingstrajecten over drie taalmodellen om te onthullen dat juistheid en stabiliteit onderscheidende eigenschappen zijn, waarbij wordt aangetoond dat aandachtmechanismen primair stabiele juiste antwoorden aansturen terwijl specifieke tekstsegmenten de beslissingsmarges kritisch beïnvloeden.

Oorspronkelijke auteurs: Shailesh Rana

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shailesh Rana

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een race kijkt waarbij de finishlijn niet slechts een enkel moment is, maar een lang, kronkelend pad. De meeste mensen kijken alleen naar wie als eerste de finish passeert (het uiteindelijke antwoord). Maar dit artikel vraagt ons om de hele race te bekijken om te zien hoe de hardlopers er daadwerkelijk zijn gekomen.

Hier is het verhaal van het artikel, "The Shape of Wisdom", uitgelegd aan de hand van eenvoudige concepten:

1. De race is een reis, geen snapshot

Normaal gesproken denken we aan een AI-model als een machine die een vraag leest en direct een antwoord uitspuugt (A, B, C of D). Dit artikel stelt dat dit niet klopt. Binnenin het model is het antwoord eigenlijk een reis die laag voor laag plaatsvindt, zoals het beklimmen van een trap.

Onderaan de trap (de vroege lagen) neigt het model misschien naar het foute antwoord. Halverwege de trap is het misschien verward, zwevend op de rand tussen twee keuzes. Bovenop heeft het misschien eindelijk het juiste antwoord gekozen. Of het heeft misschien vroegtijdig het juiste antwoord gekozen, om vervolgens te wankelen en bijna van gedachten te veranderen, om pas op het allerlaatste moment weer terug te veren.

De auteurs noemen dit pad een "traject". Ze volgen hoe erg het model het juiste antwoord "leuk vindt" vergeleken met het beste foute antwoord bij elke stap van de klim.

2. De vier typen hardlopers

Door deze reizen te observeren, ontdekten de onderzoekers dat modellen niet alleen "Goed" of "Fout" antwoorden geven. Ze vallen uiteen in vier duidelijke persoonlijkheidstypen:

Stable-Correct (Stabiel-Correct): Het model ontdekt het juiste antwoord vroegtijdig en houdt daar vol vertrouwen bij tot de top. (De zelfverzekerde winnaar).
Stable-Wrong (Stabiel-Fout): Het model kiest het foute antwoord vroegtijdig en houdt daar vol vertrouwen bij. (De zelfverzekerde verliezer).
Unstable-Correct (Instabiel-Correct): Het model krijgt uiteindelijk het juiste antwoord, maar het was een wankele rit. Het wankelde, veranderde bijna van gedachten, en besliste pas op het allerlaatste moment op het juiste antwoord. (De nerveuze winnaar).
Unstable-Wrong (Instabiel-Fout): Het model kiest het foute antwoord, wankelt, verandert bijna van gedachten, maar eindigt toch fout. (De nerveuze verliezer).

De grote verrassing: De meest voorkomende groep in hun studie was Unstable-Correct. Dit betekent dat zelfs wanneer de AI het juiste antwoord geeft, het vaak nog niet "beslist" is tot het allerlaatste moment. Het is een correct antwoord dat er nauwelijks bij hing.

3. Wat duwt de hardloper voort? (De machinekamer)

Toen ze wisten hoe de modellen bewogen, vroegen ze zich af wat hen voortduwde. Ze keken naar twee belangrijke "motoren" binnen de AI:

Attention (Aandacht): Dit is als de ogen van het model, die de vraag scannen om te zien welke woorden belangrijk zijn.
MLP (Feed-Forward): Dit is als het interne denken of het geheugen van het model, dat verwerkt wat het heeft gezien.

Ze ontdekten een grappige splitsing:

In de Stable-Correct gevallen was de Attention-motor degene die het model stap voor stap consequent richting het juiste antwoord duwde.
De MLP-motor duwde in deze stabiele gevallen verrassend genoeg vaak in de foute richting of hielp nauwelijks.

4. Het "Verwijder"-experiment

Om te bewijzen wat belangrijk was, speelden de onderzoekers een spel van "verwijderen en kijken". Ze namen de tekst van de vraag en verwijderden specifieke onderdelen:

Het verwijderen van het "Bewijs": Wanneer ze het deel van de tekst verwijderden dat het juiste antwoord daadwerkelijk ondersteunde, daalde het vertrouwen van het model in het juiste antwoord.
Het verwijderen van de "Afleiders": Wanneer ze de verwarrende of foute delen van de tekst verwijderden, steeg het vertrouwen van het model in het juiste antwoord juist.

Dit bewees dat het model daadwerkelijk reageert op de betekenis van de woorden, en niet zomaar lukraak gokt.

5. De "Tijdreis"-test

Ten slotte deden ze een vreemd experiment: ze namen een "nerveus" model dat faalde en probeerden de interne "motoronderdelen" te verwisselen met die van een "zelfverzekerd" model dat succes boekte.

Wanneer ze de Attention-onderdelen verwisselden, hielp dat een beetje.
Wanneer ze de MLP-onderdelen (het interne denken) verwisselden, maakte dat een enorm verschil, en veranderde het een falend model vaak in een winnend model.

Dit suggereert dat hoewel Attention het model helpt om stap voor stap op koers te blijven, de diepe interne verwerking (MLP) degene is die de uiteindelijke beslissing echt vastlegt.

De belangrijkste les

De conclusie van het artikel is dat juist zijn niet hetzelfde is als stabiel zijn.

Alleen omdat een AI jou het juiste antwoord geeft, betekent niet dat het het "weet". Het kan een toevalstreffer zijn, een paniekreactie op het laatste moment, of een wankele gok. De "wijsheid" van het model is niet alleen de eindscore; het is het vloeiende, zelfverzekerde pad dat het heeft genomen om daar te komen. De beste modellen zijn de modellen die het juiste antwoord vroeg vinden en daar blijven, in plaats van de modellen die zich een weg naar de finish hebben geworsteld.

Technische Samenvatting: De Vorm van Wijsheid: Beslissingstrajecten in Taalmodellen

Probleemstelling

Huidige evaluaties van Large Language Models (LLM's) behandelen de output doorgaans als een enkel eindpunt: een laatste token dat wordt geselecteerd in de laatste laag. Dit artikel betoogt dat dit perspectief het interne besluitvormingsproces vertroebelt. In scenario's met meerkeuzevragen is de voorkeur van een model voor een antwoord niet statisch; het evolueert over de diepte van het netwerk. Een model kan vroeg een voorkeur hebben voor het juiste antwoord, overschakelen naar een onjuist antwoord, nabij een beslissingsgrens zweven, of laat tot een besluit komen. Het artikel stelt dat een antwoord begrepen moet worden als een traject door de lagen van het netwerk in plaats van een gebeurtenis in de laatste laag. De kernuitdaging bestaat uit het scheiden van drie verschillende eigenschappen die vaak worden verward met endpoint-nauwkeurigheid: de huidige staat van de beslissing, de richting van de beweging en de nabijheid van een beslissingsomslag (decision flip).

Methodologie

De studie analyseert 9.000 model-prompt trajecten over drie instructie-afgestemde 7–8B parameter modellen: Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct en Mistral-7B-Instruct-v0.3. Alle modellen werden geëvalueerd op dezelfde 3.000 vierkeuze MMLU-prompts.

Observabelen en Metrieken

De auteurs definiëren drie primaire grootheden die bij elke laag (van Laag 1 tot de laatste laag) worden bijgehouden:

Staat (Margin): De score van de juiste optie minus de score van de sterkste onjuiste concurrent. Een positieve marge geeft aan dat de juiste optie leidt; een negatieve marge geeft aan dat een onjuiste optie leidt.
Beweging (Drift): De verandering in de marge van de ene laag naar de volgende.
Grensafstand (Boundary Distance): De absolute waarde van de marge, die de afstand tot een beslissingsomslag (waar de marge nul kruist) vertegenwoordigt.

Trajectclassificatie

Op basis van het uiteindelijke antwoord en de stabiliteit van de staart van het traject (de laatste lagen), classificeren de auteurs de trajecten in vier operationele regimes:

Stable-Correct (SC): Het uiteindelijke antwoord is correct, en de staart is stabiel.
Stable-Wrong (SW): Het uiteindelijke antwoord is onjuist, en de staart is stabiel.
Unstable-Correct (UC): Het uiteindelijke antwoord is correct, maar het traject vertoont significante beweging in de latere lagen.
Unstable-Wrong (UW): Het uiteindelijke antwoord is onjuist, met significante beweging in de latere lagen.

Mechanistische Analyse

Om de beweging binnen deze trajecten te verklaren, gebruikten de auteurs een getraceerde subset van 600 prompts per model (150 per trajecttype).

Scalaire Rekening (Scalar Accounting): Opgeslagen traces legden scalaire samenvattingen vast van hoeveel Attention-blokken en MLP-blokken de marge bij elke laag bewogen.
Span Verwijdering (Span Deletion): Een interventie waarbij specifieke segmenten (spans) van de prompt (gelabeld als bewijs, afleider of neutraal) werden verwijderd om het causale effect op de antwoordmarge te meten.
Counterfactual Replay: Gesimuleerde verwijderings- en substitutie-experimenten waarbij de bijdragen van componenten (attention of MLP scalars) van een "falend" traject werden vervangen door die van een "stable-correct" bron-traject om de verandering in de uiteindelijke marge te observeren.

Belangrijkste Resultaten

1. Heterogeniteit van Correctheid

De meest significante empirische bevinding is dat Unstable-Correct (UC) de grootste trajectgroep is, bestaande uit 42,1% van alle model-prompt rijen (3.790 trajecten). In contrast hiermee beslaat Stable-Correct (SC) slechts 19,0% (1.711 trajecten).

Dit impliceert dat een correct uiteindelijke antwoord niet noodzakelijkerwijs betekent dat het model zich vroeg op dat antwoord heeft "vastgesteld"; veel correcte antwoorden worden bereikt door aanhoudende onzekerheid en beweging in de latere lagen.
Endpoint-nauwkeurigheid verzwakt het onderscheid tussen "vastgestelde correctheid" en "fragiele correctheid".

2. Mechanistische Drijvers van Beweging

Lineaire Rekening: Een lineaire combinatie van attention en MLP scalars reconstrueert succesvol de laag-naar-laag marge-drift, met hoge $R^2$ -scores (0,90 voor Qwen, 0,76 voor Llama, 0,91 voor Mistral).
Stable-Correct Dynamiek: In stable-correct trajecten is de gemiddelde attention scalar positief (0,14), wat aangeeft dat het de juiste optie voorop duwt. Daarentegen is de gemiddelde MLP scalar negatief (-0,22).
Stable-Wrong Dynamiek: Zowel de attention als de MLP scalars zijn negatief in stable-wrong trajecten.

3. Input Interventies

Experimenten met span-verwijdering bevestigden causale verbanden tussen promptinhoud en margebeweging:

Het verwijderen van bewijs-segmenten zorgde ervoor dat de correcte marge daalde (gemiddeld effect: +2,92 logit-eenheden).
Het verwijderen van afleider-segmenten zorgde ervoor dat de correcte marge steeg (gemelte effect: -2,18 logit-eenheden).
Neutrale segmenten vertoonden verwaarloosbare effecten. Dit demonstreert dat specifieke tekstsegmenten de marge, zoals gedefinieerd door de trajectregimes, causaal aansturen.

4. Counterfactual Substitutie

Bij het substitueren van late-layer componenten uit stable-correct trajecten in falende trajecten:

MLP-substitutie produceerde een grotere gemiddelde verschuiving in de uiteindelijke marge (bijv. +5,75 in het "legacy first" protocol) vergeleken met attention-substitutie (-0,31).
Dit suggereert dat hoewel attention een consistente laag-naar-laag duw richting stabiliteit biedt, de MLP een grotere overdraagbare "boost" voor de uiteindelijke marge draagt tijdens dit specifieke replay-protocol.

Betekenis en Claims

Het artikel vermijdt expliciet de claim dat het een volledig verborgen-toestand circuit of een universele fysieke faseovergang heeft ontdekt. In plaats daarvan ligt de betekenis in het bieden van een reproduceerbaar kader om verschillende soorten modelgedrag te onderscheiden:

Ontkoppeling van Nauwkeurigheid en Stabiliteit: Het werk demonstreert dat "het juiste antwoord krijgen" en "het antwoord vastgesteld hebben" verschillende eigenschappen zijn. De prevalentie van unstable-correct trajecten suggereert dat veel correcte outputs fragiel zijn en tot in de laatste laag nabij beslissingsgrenzen blijven.
Leesbaarheid van Besluitvormingsprocessen: Door staat, beweging en grensafstand te volgen, maken de auteurs het besluitvormingsproces leesbaar zonder te vertrouwen op complexe circuit-ontdekking.
Identificatie van Bronnen van Beweging: De studie identificeert dat attention de duidelijkste positieve bijdrage levert aan de stable-correct beweging laag-naar-laag, terwijl MLP-componenten grotere gesimuleerde verschuivingen in de uiteindelijke marges lijken te drijven tijdens counterfactual interventies.
Causale Inputgevoeligheid: De resultaten bevestigen dat het verwijderen van antwoord-ondersteunende tekst of het toevoegen van afleiders de beslissingsmarge in voorspelbare, interpreteerbare richtingen beweegt.

De auteurs concluderen dat het "beste gedrag" in deze modellen niet louter het bereiken van het juiste eindpunt is, maar het bereiken ervan in een vroeg stadium en het behouden van die positie (vastzetten). De verstrekte metrieken en interventies bieden een manier om te meten welke antwoorden vaststaan, welke fragiel zijn, en welke gemeten krachten (attention versus MLP, bewijs versus afleiders) deze uitkomsten aansturen.