💬 NLP

LLM Reasoning as Trajectories: Step-Specific Representation Geometry and Correctness Signals

Deze studie toont aan dat redeneren in grote taalmodellen kan worden begrepen als een geometrische trajectorie in de representatieruimte, waarbij late afwijkingen tussen juiste en onjuiste antwoorden voorspelling van de uitkomst mogelijk maken en een nieuwe methode voor sturing van het redeneerproces bieden.

Oorspronkelijke auteurs: Lihao Sun, Hang Dong, Bo Qiao, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lihao Sun, Hang Dong, Bo Qiao, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een kunstmatige intelligentie (zoals een slimme chatbot) niet zomaar zinnen bedenkt, maar eigenlijk een reis maakt door een onzichtbare, driedimensionale wereld. Dit is de kern van het onderzoek van Microsoft: ze kijken naar hoe deze modellen "nadenken" als een pad dat ze afleggen.

Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen:

1. De Reis door de "Denk-Wereld"

Wanneer een AI een wiskundig probleem oplost, doet het dit stap voor stap (bijvoorbeeld: "Stap 1", "Stap 2", enzovoort). De onderzoekers zeggen dat elke stap een stop is op een reis door een grote ruimte vol met ideeën.

De Analogie: Denk aan een bergbeklimmer. Bij het begin van de klim (de eerste stappen) lopen alle klimmers, of ze nu goed of slecht zijn, over hetzelfde pad. Ze lopen door dezelfde struiken en over dezelfde rotsen.
Het Ontdekking: De onderzoekers zagen dat deze "stappen" in het hoofd van de AI heel duidelijk gescheiden plekken innemen. Het is alsof elke stap een eigen kamertje heeft in een groot hotel. Hoe dieper je in het model kijkt (hoe meer "verdiepingen" je doorloopt), hoe duidelijker deze kamertjes worden.

2. De Slechte Klimmers Verdwijnen Later

Het meest interessante is wat er gebeurt als de klimmers (de AI) een fout maken.

De Analogie: Stel je voor dat je twee groepen klimmers hebt: de winnaars en de verliezers. In het begin lopen ze exact hetzelfde. Maar naarmate ze hoger komen (de latere stappen), beginnen de verliezers het pad te verlaten. Ze lopen de verkeerde kant op, struikelen over een andere rots of verdwalen in een bosje. De winnaars blijven op het juiste pad.
Het Signaal: De onderzoekers ontdekten dat ze al halverwege de reis konden zien of iemand de top zou halen. Als je kijkt naar hoe de AI beweegt in de laatste paar stappen, kun je met 87% zekerheid voorspellen of het antwoord goed of fout zal zijn, nog voordat het antwoord wordt gegeven. Het is alsof je aan de manier waarop iemand loopt kunt zien of hij straks struikelt.

3. De "GPS" voor de AI

Omdat ze weten hoe het juiste pad eruitziet, kunnen ze de AI nu sturen. Dit noemen ze "traject-besturing".

De Analogie: Stel je voor dat de AI een auto is die op een weg rijdt. Als de auto begint af te wijken van de goede route (naar een fout antwoord), kan een slimme GPS ingrijpen. De GPS geeft een zachte duw terug naar het juiste spoor, zodat de auto niet in de sloot belandt.
Het Resultaat: Als de AI begint te twijfelen of een fout maakt, kunnen de onderzoekers ingrijpen om haar terug te leiden naar het goede pad. Dit werkt vooral goed bij moeilijke problemen met veel stappen.

4. De "Stopknop" of de "Vertraging"

Ze kunnen ook de snelheid van het denken regelen.

De Analogie: Er is een speciale "stopzone" in de denkwereld waar de AI aangeeft: "Ik heb het antwoord, klaar!".
- Als je de AI naar deze zone duwt, denkt ze sneller en geeft ze een korter antwoord.
- Als je de AI weg van deze zone duwt, blijft ze langer nadenken en bedenkt ze meer stappen.
Waarom is dit handig? Soms denkt een AI te langdurig over iets simpels (overdenken), en soms te kort over iets moeilijks. Met deze techniek kun je precies bepalen hoe lang ze moet nadenken.

Samenvatting

Kortom: De onderzoekers hebben ontdekt dat het "nadenken" van een AI geen willekeurige flitsen zijn, maar een gestructureerde reis.

Goede en slechte antwoorden lopen eerst samen, maar splitsen zich later duidelijk.
We kunnen voorspellen of het antwoord goed is voordat het er is.
We kunnen de AI sturen om fouten te corrigeren of om haar te laten stoppen of doorgaan.

Het is alsof we voor het eerst een kaart hebben gekregen van het binnenste van het brein van een robot, zodat we kunnen zien waar hij vastloopt en hem kunnen helpen de weg terug te vinden.

Titel: LLM Redeneren als Trajecten: Stap-specifieke Representatiegeometrie en Correctheidssignalen

Auteurs: Lihao Sun, Hang Dong, Bo Qiao, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan (Microsoft)

1. Het Probleem

Grote Taalmodellen (LLM's) genereren tekst via een autoregressief proces waarbij ze op elk tijdstip hoogdimensionale representaties updaten. Hoewel "Chain-of-Thought" (CoT) prompting (stap-voor-stap redeneren) de prestaties van LLM's aanzienlijk verbetert, is de interne dynamiek van dit proces onduidelijk.

Kernvraag: Vormen de redeneerstappen van een LLM een gestructureerd traject door de representatieruimte?
Uitdaging: Bestaande methoden voor interpretatie en controle (zoals test-time scaling of activation steering) werken vaak onvoorwaardelijk. Dit kan leiden tot "overthinking" (onnodig lang redeneren) of het verstoren van correcte redeneerpaden, omdat ze geen onderscheid maken tussen een model dat correct redeneert en een model dat vastloopt. Er is behoefte aan een methode om fouten tijdens het redeneren te detecteren en gerichte ingrepen te doen.

2. Methodologie

De auteurs analyseren de interne activaties van LLM's (specifiek de Llama 3.1 8B familie: Base, Instruct, en R1-Distill) tijdens het oplossen van wiskundige problemen (GSM8K, MATH-500, MMLU).

Data-extractie: Ze extraheren de verborgen activaties ( $h$ ) direct voor de token die een nieuwe redeneerstap markeert (bijv. "Stap 1:", "Stap 2:"). Dit vormt een reeks van toestanden die het traject van het redeneren representeren.
Geometrische Analyse:
- Lineariteit: Ze testen of activaties van specifieke stappen lineair gescheiden zijn in de representatieruimte (via lineaire probes).
- Traject-dynamiek: Ze berekenen de Euclidische en Cosine-afstanden tussen opeenvolgende stappen om te zien hoe het model door de ruimte beweegt.
- Vergelijking: Ze vergelijken trajecten van correcte oplossingen versus foutieve oplossingen.
Interventies: Op basis van de gevonden geometrie ontwikkelen ze twee soorten ingrepen tijdens de inferentie (zonder hertraining):
1. Foutgerichte steering: Het corrigeren van het traject als het afwijkt van een "ideaal" pad.
2. Lengtecontrole: Het sturen van activaties naar of weg van een "terminatie-subruimte" om de redeneerlengte te beïnvloeden.

3. Belangrijkste Bijdragen

Stap-specifieke Subruimtes: Het paper toont aan dat redeneerstappen corresponderen met lineair gescheiden subruimtes in de representatieruimte. Deze structuur wordt dieper in het model (diepere lagen) duidelijker en gescheiden.
Invloed van Training: Deze stap-specifieke organisatie is al aanwezig in het Base-model (zonder instructie-tuning). Redeneringstraining (zoals distillatie) versnelt vooral de convergentie naar een "terminatie-subruimte" (waar het antwoord wordt gegeven) in eerdere lagen, maar introduceert geen nieuwe fundamentele structuur.
Late-Stage Divergentie: Correcte en incorrecte redeneertrajecten volgen in de vroege stappen zeer vergelijkbare paden. Echter, in de laatste stappen divergeren ze systematisch. Incorrecte trajecten vertonen een andere geometrische beweging dan correcte trajecten vlak voor het eindantwoord.
Traject-based Steering: Een nieuw raamwerk voor inferentie-tijd interventie dat het model dynamisch corrigeert of de lengte aanpast op basis van de huidige positie in het representatietraject.

4. Resultaten

Stap-identificatie: Lineaire classifiers kunnen met hoge nauwkeurigheid (vaak >90%) bepalen op welke stap het model zich bevindt, puur op basis van de activaties. Dit werkt zelfs over verschillende modellen en datasets heen (transfer learning), wat aantoont dat het een fundamentele eigenschap is van de representatie.
Voorspelling van Correctheid:
- Door te kijken naar de beweging in de late stappen, kan de finaliteit van het antwoord worden voorspeld voordat het antwoord wordt gegenereerd.
- Een classifier op late-stap-kenmerken bereikt een ROC-AUC van 0,87 (gemiddeld 0,83) voor het voorspellen van fouten.
- Dit presteert aanzienlijk beter dan baselines die alleen kijken naar het aantal stappen of logit-level signalen (zoals entropie).
Interventie-effectiviteit:
- Onvoorwaardelijke interventies (altijd extra tokens injecteren of altijd sturen) verlagen vaak de nauwkeurigheid omdat ze correcte trajecten verstoren.
- Gekoppelde (Gated) interventies: Door alleen in te grijpen wanneer de voorspeller een naderend falen detecteert (op slechts ~12% van de voorbeelden), wordt de nauwkeurigheid verbeterd (tot +35% relatieve winst ten opzichte van onvoorwaardelijke methoden).
- Traject-correctie: Voor problemen met lange redeneerketens (6+ stappen) kon de nauwkeurigheid worden verhoogd van 75,44% naar 83,04% door afwijkende trajecten terug te duwen naar het ideale pad.
- Lengtecontrole: Het sturen van activaties naar de terminatie-subruimte verkort de redenering, terwijl het wegsturen de redenering verlengt, met minimale impact op de nauwkeurigheid bij matige sterkte.

5. Betekenis en Conclusie

Dit werk biedt een geometrisch lens om LLM-redeneren te interpreteren, te voorspellen en te controleren.

Fundamenteel Inzicht: Redeneren is geen willekeurige zoektocht, maar een gestructureerd, lineair gescheiden traject door de representatieruimte. De "fout" zit niet in de tekst, maar in de geometrische afwijking van het traject in de late fasen.
Praktische Toepassing: Het stelt onderzoekers en ontwikkelaars in staat om:
1. Fouten te detecteren tijdens het genereren (mid-reasoning), in plaats van alleen achteraf.
2. Gerichte, efficiënte ingrepen te doen die alleen worden uitgevoerd als nodig, waardoor de "overthinking"-problematiek wordt opgelost.
3. De lengte van het redeneren dynamisch te sturen zonder de kwaliteit van het antwoord te compromitteren.

De auteurs concluderen dat deze bevindingen een nieuwe richting openen voor het begrijpen van hoe redeneren ontstaat in neurale netwerken en hoe we deze processen causaal kunnen manipuleren voor betere prestaties.