How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning

Probleemstelling

De opkomst van "Thinking LLMs" (zoals DeepSeek-R1, GPT-5 en Gemini 3) heeft geleid tot modellen die voor het geven van een antwoord eerst een uitgebreide redeneringsketen (reasoning trace) genereren. Hoewel er veel onderzoek is gedaan naar het sturen van deze redeneringsprocessen (bijvoorbeeld om ze beknopter of eerlijker te maken), blijft het onduidelijk hoe de antwoord-tokens (answer tokens) de redenering daadwerkelijk lezen en integreren om tot een betrouwbaar resultaat te komen.

Specifiek voor kwantitatieve redenering, waar redeneringsketens vaak duizenden tokens lang zijn, is er een gebrek aan inzicht in hoe het model tijdens het decoderen van het antwoord navigeert door ruis en sleutelinformatie uit de redenering haalt. De auteurs stellen de vraag of er een structureel verband bestaat tussen de manier waarop het model zichzelf "leest" en de juistheid van het uiteindelijke antwoord.

Methodologie

1. Analyse van Zelfleespatronen (Self-Reading Patterns)

De auteurs analyseren de attentie-mechanismen (attention mechanisms) tussen antwoord-tokens en redenering-tokens in de middelste tot late lagen van drie state-of-the-art Thinking LLMs: R1-Distill-Llama-8B, R1-Distill-Qwen-7B en Qwen3-4B-Thinking.

Ze identificeren een specifiek, gunstig patroon ("benign self-reading") dat sterk correleert met correcte antwoorden:

• Voortgaande verschuiving van de aandachtscentrum (Forward-drifting attention centroid): Bij correcte oplossingen verschuift de focus van de antwoord-tokens progressief van vroege naar latere posities in de redenering terwijl het antwoord wordt gegenereerd. Dit suggereert dat het model de logische stroom volgt en zich vastlegt op een geldige oplossingsroute.
• Concentratie op semantische ankers (Semantic anchor concentration): Het model richt zich herhaaldelijk op cruciale stappen in de redenering, zoals probleembeperkingen, oplossingsplannen en conclusies, in plaats van de tekst willekeurig te scannen.

In tegenstelling hiermee vertonen onjuiste oplossingen een diffuus, onregelmatig attentiepatroon zonder duidelijke voorwaartse drift of focus op sleutelinformatie, wat wijst op cognitieve onzekerheid.

2. De SRQ-methode (Self-Reading Quality)

Gebaseerd op deze observaties stellen de auteurs een trainingsvrije sturingsmethode voor, gedreven door Self-Reading Quality (SRQ) scores. Deze methode combineert meetwaarden uit twee dimensies om de kwaliteit van het zelfleesgedrag te kwantificeren:

• Geometrische Dimensie (Procescontrole):
  • Meet de mate waarin de aandachtscentrum een gladde, diagonale voorwaartse drift volgt (Pearson-correlatie en afwijking van de diagonaal).
  • Evalueert lokale consistentie in de voorwaartse beweging via een sliding-window methode.
• Semantische Dimensie (Contentmonitoring):
  • Meet of de aandacht zich richt op "goede" redeneringstokens (zoals correcte tussenstappen en beperkingen) versus "slechte" tokens (fouten of misleidende takken).
  • Evalueert of de antwoord-tokens zich richten op de uiteindelijke conclusie en de beginbeperkingen.

De SRQ-score wordt berekend door deze metrics te normaliseren en te aggregeren.

3. Sturingsmechanisme

De methode gebruikt SRQ-scores om contrastieve datasets te selecteren:

• CSR+ (Correct met hoge SRQ): Correcte antwoorden met een goed zelfleespatroon.
• ISR- (Incorrect met lage SRQ): Incorrecte antwoorden met een slecht, chaotisch zelfleespatroon.

Op basis van deze geselecteerde sets worden sturingsvectoren (steering vectors) geconstrueerd (bijvoorbeeld via Activation Addition). Tijdens de inferentie worden deze vectoren toegevoegd aan de activaties van het model om het te sturen richting een "benign self-reading" toestand (hoge zekerheid) en weg van onzekerheid.

Belangrijkste Bijdragen

1. Identificatie van een nieuw patroon: De auteurs tonen aan dat "benign self-reading" (voortgaande drift en focus op ankers) een signatuur is van interne zekerheid en sterk correleert met de juistheid van kwantitatieve redenering.
2. SRQ-gedreven sturingsmethode: Ze introduceren een trainingsvrije techniek die de modelprestaties verbetert door de interne leesstrategie te optimaliseren, zonder het model opnieuw te hoeven trainen.
3. Empirische validatie: De methode wordt getest op meerdere benchmarks en modellen, waarbij consistent verbeteringen worden aangetoond.

Resultaten

De experimenten werden uitgevoerd op benchmarks zoals GSM8K, MATH500 en SVAMP met verschillende Thinking LLMs.

• Prestatieverbetering: De SRQ-sturing leidt tot consistente nauwkeurigheidsverbeteringen. Op GSM8K zag men stijgingen tot 2,6% ten opzichte van de basismodellen (bijv. van 85,8% naar 88,4% voor R1-Distill-Llama-8B).
• Generalisatie: De methode werkt goed over verschillende sturingsmechanismen heen (CAA, Conceptor, PCA-CAA) en generaliseert naar andere datasets (zoals SVAMP en AIME24-25), wat aantoont dat het een fundamenteel signaal van interne zekerheid is en niet specifiek overfitted op één dataset.
• Vergelijking met andere methoden: De methode presteerde beter dan bestaande sturingsmethoden die zich richten op het comprimeren van redeneringen of het elimineren van ruis (zoals RepE, SAE-free en SEAL).
• Cognitieve zekerheid: Metingen van de inferentie-gevoedheid (confidence) tonen aan dat de gestuurde modellen niet alleen accurater zijn, maar ook een hogere interne zekerheid vertonen tijdens het genereren van het antwoord.
• Behoud van reflectie: De analyse toont aan dat de methode de capaciteit van het model voor reflectie en zelfcorrectie (bijv. het gebruik van "wait" of "check") niet onderdrukt, maar wel redundantie en wanordelijke aarzeling reduceert.

Betekenis en Conclusie

Dit paper biedt een fundamenteel nieuw inzicht in de interne werking van Thinking LLMs. Het toont aan dat de kwaliteit van het antwoord niet alleen afhangt van de kwaliteit van de redenering, maar ook van hoe het antwoord de redenering leest.

De belangrijkste implicaties zijn:

• Interpretatie van LLMs: Het concept van "meta-cognitie" in LLMs wordt ondersteund; antwoord-tokens fungeren als een meta-niveau dat de object-niveau redenering controleert en monitort.
• Efficiënte Interventie: Het biedt een krachtige, trainingsvrije manier om de betrouwbaarheid van complexe redeneringstaken te verbeteren door simpelweg de interne leesstrategie te sturen.
• Toekomstige Richting: Het suggereert dat toekomstige sturingsmethoden zich moeten richten op de interactie tussen redenering en antwoord, en niet alleen op het redeneringsproces zelf.

Kortom, de auteurs bewijzen dat het bevorderen van een gestructureerde, zelfverzekerde "zelflees"-modus een effectieve strategie is om de prestaties van Thinking LLMs op kwantitatieve taken te maximaliseren.