Technische Samenvatting: Tussen de punten door lezen

Probleemstelling

De controleerbaarheid van Chain-of-Thought (CoT) berust op de aanname dat de oppervlakkige output-tokens van een model getrouw zijn aan het onderliggende redeneerproces. Recente literatuur suggereert echter dat deze aanname fragiel is; modellen kunnen zich bezighouden met "verborgen berekeningen" waarbij het redeneren plaatsvindt op manieren die niet zichtbaar zijn in de gegenereerde tekst. Een specifieke vorm van falen bij CoT-monitoring is filler-token computation, waarbij Large Language Models (LLM's) meerstaps-redeneren uitvoeren over inhoudsloze tokens (bijv. reeksen punten, telgetallen of alfabetreeksen) die tussen de vraag en de antwoordpositie zijn ingevoegd. In deze scenario's dragen de oppervlakkige tokens geen semantische informatie over het redeneren, waardoor traditionele gedragsmatige auditing ineffectief wordt. De centrale vraag die dit artikel behandelt, is of dergelijke verborgen berekening werkelijk onwaarneembaar is of dat het nog steeds decodeerbaar blijft vanuit de interne toestanden van het model.

Methodologie

De auteurs onderzoeken dit fenomeen aan de hand van twee frontier-schaal, open-weights modellen: DeepSeek V3 (671B parameters, ~37B geactiveerd) en Kimi K2 (1T parameters, ~32B geactiveerd). Ze evalueren de prestaties en interne mechanica over vier families van taken die intermediaire waarden vereisen:

1. 1-fact additie: Het ophalen van een feit en het toevoegen van een willekeurig getal.
2. 2-fact additie: Het ophalen van twee feiten en het optellen ervan.
3. 2-hop letterpositie: Het ophalen van een hoofdstad/element en het vinden van een specifieke letter.
4. Stelsel van vergelijkingen: Het oplossen van lineaire relaties gedefinieerd in de context.

De experimentele opzet omvat het toevoegen van inhoudsloze filler-tokens (punten, telreeksen, alfabetreeksen) tussen de prompt en de antwoordpositie. De studie verloopt in drie fasen:

1. Gedragsanalyse: Het meten van de verbetering in nauwkeurigheid met en zonder filler-tokens.
2. Mechanistische Analyse: Het gebruik van attention maps, logit-lens readouts en KV-cache transplantaties om te bepalen hoe informatie stroomt en wordt gecodeerd binnen de filler-regio.
3. Ongesuperviseerde Decodering: Het ontwikkelen van een pijplijn om intermediaire waarden te herstellen uitsluitend uit de verborgen toestanden (hidden states), zonder ground-truth labels of training.

Belangrijkste Bijdragen en Resultaten

1. Filler-tokens faciliteren verborgen berekening

Het artikel stelt vast dat filler-tokens niet louter inerte padding zijn, maar een "verwerkingsrelay" faciliteren.

• Gedragsmatige verbetering: Beide modellen vertonen significante winst in nauwkeurigheid wanneer filler-tokens aanwezig zijn. Zo stijgt de nauwkeurigheid van DeepSeek V3 op 1-fact additie van 54% naar 72%, en op stelsels van vergelijkingen van 31% naar 61%. Verstoorde filler-reeksen presteren minder goed, wat aangeeft dat het voordeel voortkomt uit niet-verstorende tokenreeksen in plaats van specifieke inhoud.
• Attention Routing: De analyse van attention laat zien dat het model in aanwezigheid van fillers zijn berekening herrouteert. Het directe attention-pad van de antwoordpositie naar de vraag wordt vervangen door een relay: Vraag → Filler → Antwoord. De filler-regio fungeert als een buffer waar de vraag wordt gelezen en intermediaire waarden worden verwerkt voordat ze naar de antwoordpositie worden doorgegeven.

2. Mechanisch bewijs van gecodeerde intermediairen

De auteurs leveren drie lijnen van bewijs dat de filler-posities causaal relevante informatie dragen:

• Logit-Lens Readouts: Het projecteren van de residual stream-toestanden door de unembedding matrix onthult dat intermediaire waarden (bijv. opgehaalde feiten $A_1, A_2$ en hun som) expliciet zijn gecodeerd in de residual stream op de filler-posities. Bij 2-fact additie verschijnt $A_1$ vroeg in de filler-sequentie, $A_2$ later, en kristalliseert de som zich in de laatste lagen voor het antwoord.
• KV-Cache Transplantaties (Causale Verificatie): Door de Key-Value (KV) cache van de filler-regio van een "donor"-voorbeeld te transplanteren naar een "target"-voorbeeld, tonen de auteurs causale afhankelijkheid aan. Het wisselen van de filler-cache zorgt ervoor dat het target-model het antwoord van de donor geeft, met rangverbeteringen van tientallen tot honderden plaatsen. Dit bevestigt dat de inhoud binnen de filler-regio niet alleen gecorreleerd is met, maar causaal noodzakelijk is voor de output.
• Positionele Specificiteit: In 2-fact additie is de positionele structuur van de codering causaal. Het transplanteren van enkel de specifieke posities waar $A_1$ wordt gedecodeerd, herstelt het merendeel van het effect, terwijl complementaire posities een verwaarloosbare impact hebben.

3. Ongesuperviseerde Decoderingspijplijn

Het artikel introduceert een pijplijn die verborgen redeneerstappen herstelt uit de residual streams zonder supervisie:

• Proces:
  1. Extraheer de residual stream activaties op alle lagen en filler-posities.
  2. Pas de logit lens toe om toestanden te projecteren naar token-waarschijnlijkheden.
  3. Trek cross-example gemiddelden af om artefacten van de formattering te verwijderen en voorbeeld-specifieke signalen te isoleren.
  4. Agregreer residual scores over posities en selecteer de top-50 tokens.
  5. Stuur deze tokens naar een LLM-judge (bijv. Claude Haiku/Sonnet) om het redeneren te interpreteren.
• Prestaties: De pijplijn bereikt een nauwkeurigheid van 80–95% bij het herstellen van intermediaire waarden over alle vier de taken en beide modellen.
  • Voor 1-fact additie wordt het doelwit-feit in ~85% van de gevallen hersteld in de top-2 tokens zonder een judge; met een judge stijgt dit naar ~94%.
  • Voor complexe taken zoals 2-fact additie verbetert de judge de recovery aanzienlijk (van ~35% naar ~82% op DeepSeek V3) door gebruik te maken van contextuele signalen uit de volledige top-50 lijst.
  • De pijplijn slaagt erin zowel de opgehaalde feiten als de in-context berekende waarden (bijv. variabelen in stelsels van vergelijkingen) te decoderen.

Betekenis en Claims

Het artikel betoogt dat verborgen berekening niet synoniem is met on-auditbare berekening. Hoewel filler-token redeneren de gedragsmatige CoT-monitoring verslaat (omdat de output-tekst leeg is van redenering), blijft de berekening direct leesbaar uit de residual stream van het model.

• Monitorbaarheid als een eigenschap van de trace: De auteurs stellen dat monitorbaarheid een eigenschap is van de volledige computationele trace van het model, niet alleen van de oppervlakkige tokens.
• Partiële Auditbaarheid: De studie demonstreert dat voor taken met discrete, benoembare intermediairen, "goedkope" interpretability tools (logit lens + normalisatie + LLM judge) het gat kunnen dichten dat door opake oppervlakkige tokens wordt achtergelaten.
• Beperkingen: De auteurs claimen bescheiden dat deze aanpak werkt voor taken met heldere intermediairen. Ze erkennen beperkingen met betrekking tot berekeningen die geoptimaliseerd zijn om orthogonaal te zijn aan de vocabulaire-projectie, concepten die niet-tokeniseerbaar zijn (zoals strategieën of intenties), of die vertrouwen op attention-patronen die onzichtbaar zijn voor logit-lens projecties.

Concluderend suggereert het artikel dat hoewel CoT-monitoring fragiel is, het bestaan van verborgen berekening in filler-tokens de modellen niet volledig opaak maakt. In plaats daarvan benadrukt het het potentieel voor hybride auditing-strategieën die gedragsmatige observatie combineren met de interpretatie van de residual stream.