Technische Samenvatting: Verborgen Foutbewustzijn in Chain-of-Thought Redenering

1. Probleemstelling

Chain-of-Thought (CoT) prompting werkt op een impliciete aanname: dat de tekst gegenereerd door een Large Language Model (LLM) trouw zijn interne berekening weerspiegelt. Als een model "3 × 5 = 15" schrijft, wordt ervan uitgegaan dat het dit feit intern heeft berekend en daarop zijn daaropvolgende redenering zal bouwen. Echter, eerdere gedragsstudies hebben aangetoond dat CoT-verklaringen kunnen worden gestuurd door irrelevante aanwijzingen of kunnen worden afgekapt zonder het uiteindelijke antwoord te veranderen, wat wijst op een gebrek aan trouw.

Dit artikel adresseert een kritieke kloof: hoewel gedragsproeven bestaan, is er geen directe vergelijking geweest tussen wat modellen zeggen (het tekstoppervlak) en wat ze intern representeren (verborgen toestanden) tijdens het redeneerproces. Specifiek onderzoeken de auteurs of modellen een intern bewustzijn bezitten van hun eigen redeneerfouten dat verborgen blijft voor de gegenereerde tekst, en of dit interne signaal causaal kan worden ingezet om die fouten te corrigeren.

2. Methodologie

De auteurs hanteren een representatieve aanpak, waarbij ze lineaire probes trainen op verborgen toestanden die zijn geëxtraheerd tijdens CoT-generatie om redeneerfouten te detecteren.

• Proeftraining: Voor een model $M$ met $L$ lagen extraheren de auteurs de verborgen toestand $h^{(l)}_T$ op de positie van het laatste token $T$ van een volledige CoT-trace. Ze trainen een logistische regressie-probe om te voorspellen of een trace leidt tot een incorrect antwoord ($y=1$). Het trainingsdoel is een geregulariseerde log-likelihood-functie met gebruik van 100 MATH-500 problemen, die disjunct zijn van de evaluatiesets.
• Evaluatiemetrieken: De primaire metriek is het Area Under the Receiver Operating Characteristic Curve (AUROC) voor foutdetectie.
• Vergelijkende Baselines: De prestaties van de probe worden vergeleken met:
  • Verbaliseerde zekerheid (de zelfgerapporteerde zekerheid van het model).
  • Zelfconsistentie (meerderheidsstemming over meerdere generaties).
  • CCS (Contrastive Consistency Search), een onbewaakte methode voor het detecteren van waarheid.
  • Tekst-oppervlak classifiers (TF-IDF + Logistische Regressie) getraind op de gegenereerde tekst.
• Interventie-experimenten: Om causaliteit te testen, worden vier verschillende interventiestrategieën toegepast op modellen met hoge scores voor foutdetectie:
  1. Actiesturing: Aftrekken van de geleerde foutrichting van verborgen toestanden tijdens generatie.
  2. Probe-geleid Best-of-N: Het genereren van meerdere traces en het selecteren van die met de laagste voorspelde foutscore.
  3. Zelfcorrectie: Het gebruik van de probe om fouten te markeren en het model te vragen om te herzien.
  4. Actiepatching: Vervangen van verborgen toestanden van een verkeerde trace door die van een correcte trace (of het mengen ervan) om te zien of de output correct wordt.

De studie beslaat drie model-families (Qwen, Llama, Phi), varieert in schaal van 1,5B tot 72B parameters, en omvat een RL-getraind redeneermodel (DeepSeek-R1).

3. Belangrijkste Resultaten

A. Het Signaal Bestaat en Is Vroegtijdig

Lineaire probes bereiken hoge AUROC-scores voor het voorspellen van trace-correctheid, wat significant beter is dan verbaliseerde zekerheid en andere baselines.

• Prestaties: Op Qwen2.5-3B bereikt de probe 0,953 AUROC, vergeleken met 0,674 voor verbaliseerde zekerheid en 0,823 voor zelfconsistentie (5× generatiekosten).
• Vroege Detectie: Het signaal is detecteerbaar vanaf de allereerste redeneerstap (0,79 AUROC), voordat er een fout in de tekst verschijnt.
• Schaalrobustheid: Het signaal blijft bestaan over schalen (1,5B–72B) en model-families. Opmerkelijk is dat het 72B-model 0,977 AUROC bereikt, en het RL-gedistilleerde DeepSeek-R1-7B 0,852 AUROC.

B. Het Signaal Is Verborgen (Verberging)

Er is een significante kloof tussen interne detectie en externe expressie.

• De Verbergingskloof: Een tekst-oppervlak classifier bereikt slechts 0,59 AUROC op de eerste stap, terwijl de verborgen-toestand probe 0,79 AUROC bereikt. Deze kloof van 0,20 punten bevestigt dat het model zijn interne foutbewustzijn verbergt.
• Zekerheidsmismatch: Verkeerde traces uitdrukken hoge verbaliseerde zekerheid (4,55/5), bijna identiek aan correcte traces (4,87/5).
• Ongeloofwaardig Gebied: 65% van de verkeerde traces valt in een gebied van "hoge zekerheid en hoge interne foutscore", wat aangeeft dat het model zeker is van zijn eigen gebrekkige redenering.

C. Het Signaal Is Diagnostisch, Niet Causaal

Ondanks het vermogen van het model om intern fouten te detecteren, falen vier interventiestrategieën om de nauwkeurigheid te verbeteren, en in sommige gevallen verslechteren ze de prestaties.

• Actiesturing: Aftrekken van de foutrichting levert marginale winsten op (+4% op zijn best) of verslechtert de prestaties (−6% voor het 3B-model met agressieve sturing).
• Best-of-N Selectie: Het selecteren van traces op basis van de foutscore van de probe presteert niet beter dan willekeurige selectie en presteert significant slechter dan meerderheidsstemming.
• Zelfcorrectie: Het vragen aan het model om te herzien op basis van probe-vlaggen verlaagt daadwerkelijk de nauwkeurigheid (−3%).
• Actiepatching: Het vervangen van verborgen toestanden van een verkeerde trace door die van een correcte trace vernietigt de coherentie van de output, waardoor de nauwkeurigheid daalt naar 0% in het 3B-model. Dit geeft aan dat het foutsignaal een uitlezing is van de kwaliteit van de berekening, en geen causale hefboom die kan worden bewerkt om het redeneerproces te herleiden.

4. Belangrijkste Bijdragen

1. Identificatie van Verborgen Foutbewustzijn: Het artikel vestigt een robuuste kloof van 0,20 AUROC tussen verborgen-toestand detectie en tekst-oppervlak detectie over 9 modellen (1,5B–72B) en drie families. Dit bewijst dat modellen intern fouten detecteren die ze naar buiten toe verbergen.
2. Diagnostisch-Causaal Onderscheid: Door middel van vier interventie-experimenten tonen de auteurs aan dat foutrepresentaties tijdens redeneren fundamenteel verschillen van feitelijke kennisrepresentaties. Waar feitelijke kennis gelokaliseerd en bewerkt kan worden (bijvoorbeeld via ROME of ITI), zijn foutsignalen in redenering diagnostische uitlezingen die niet causaal gemanipuleerd kunnen worden om de redeneertrajectie te herstellen.
3. Temporele Karakterisering: De studie identificeert twee temporele regimes van foutcodering: vooraf geladen (waar het model zich vroeg vastlegt op een gebrekkige traject, gezien in 3B-modellen) en accumulerend (waar foutsignalen opbouwen naarmate bewijs zich ophoopt, gezien in 7B-modellen).

5. Betekenis en Beweringen

Het artikel schetst een grens voor mechanistische interpreteerbaarheid. De auteurs betogen dat de "thermometer-analogie" van toepassing is: de probe fungeert als een thermometer die de "temperatuur" (kwaliteit) van de berekening kan aflezen, maar de "koorts" (de fout) niet kan "genezen".

• Veiligheidsimplicaties: CoT-trace auditing is onbetrouwbaar voor veiligheidsmonitoring omdat foutsignalen onzichtbaar zijn in de gegenereerde tekst.
• Beperkingen van Huidige Hulpmiddelen: Hulpmiddelen die succesvol zijn in het bewerken van feitelijke kennis (zoals actiepatching) zijn inefficiënt voor redeneerkwaliteit, omdat redeneren voortkomt uit gedistribueerde, multi-layer berekening in plaats van een enkel bewerkbaar kenmerk.
• Toekomstige Richting: Het dichten van de kloof tussen detectie en correctie vereist waarschijnlijk nieuwe trainingsdoelen die modellen leren om te handelen op hun interne foutsignalen, in plaats van ze louter als passieve uitlezingen te herbergen.

Het artikel concludeert dat hoewel LLM's voorspellende signalen van hun eigen falen coderen, deze signalen epifenomenaal zijn voor het redeneerproces zelf, wat een fundamentele beperking vertegenwoordigt in huidige benaderingen voor zelfcorrectie en mechanische bewerking van redenering.