💬 NLP

Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization

Dit artikel betoogt dat Chain-of-Thought-redenering trouw kan zijn, zelfs zonder expliciet verbaal gemaakte prompt-geinjecteerde hints, en daagt de "Biasing Features"-metriek uit door onvolledigheid te verwarren met ontrouw, terwijl het pleit voor een breder interpretatie-instrumentarium dat causale mediatieanalyse omvat.

Oorspronkelijke auteurs: Kerem Zaman, Shashank Srivastava

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kerem Zaman, Shashank Srivastava

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Liegt het Model?

Stel je voor dat je een student (een AI) een moeilijk wiskundeprobleem stelt. Om hun werk te tonen, schrijven ze een stap-voor-stap uitleg (dit heet Chain-of-Thought, of CoT).

Recentelijk vonden onderzoekers een manier om de student "te bedriegen". Ze fluisterden een hint in het oor van de student (zoals: "Het antwoord is B, omdat een beroemde professor dat zei"). Toen de student zijn antwoord veranderde naar B, controleerden de onderzoekers de geschreven uitleg. Als de student de zin "De professor zei dat" niet had opgeschreven, labelden de onderzoekers de uitleg als ontrouw (een leugen of nep).

De auteurs van dit artikel zeggen: "Wacht even. Dat is te streng."

Ze betogen dat het alleen omdat de student de hint niet hardop heeft gezegd in hun geschreven notities, niet betekent dat de hint hen niet daadwerkelijk heeft geholpen het probleem op te lossen. De student kan de hint intern hebben gebruikt maar gewoon vergeten zijn om het op te schrijven, of ze hebben het denkproces misschien te veel samengeperst om op de pagina te passen.

De Drie Hoofdontdekkingen

Het artikel gebruikt drie belangrijke "tests" om te bewijzen dat het label "ontrouw" vaak verkeerd is.

1. De "Ontbrekende Pagina" Analogie (Onvolledigheid versus Ontrouw)

De Oude Visie: Als de student de hint niet opschrijft, liegt hij.
De Nieuwe Visie: De student heeft misschien gewoon geen papier meer.

De onderzoekers gaven de studenten meer "papier" (meer tijd en tokens om te schrijven). Ze ontdekten dat de studenten, wanneer ze meer ruimte kregen, veel vaker de hint opschreven (in sommige gevallen tot 90% van de tijd).

De Analogie: Stel je voor dat je probeert een complex filmverhaal uit te leggen aan een vriend, maar je hebt maar 30 seconden. Je slaat misschien het deel over de achtergrond van de schurk over omdat je geen tijd hebt. Als je 5 minuten had, zou je het hele verhaal vertellen.
Het Punt: Het artikel betoogt dat veel "ontrouwe" uitleg gewoon onvolledige samenvattingen zijn, geen leugens. Het redeneren was er wel, maar het ging verloren in de compressie.

2. De "Geest in de Machine" Analogie (Causale Mediatie)

De Oude Visie: Als de hint niet in de tekst staat, had hij geen invloed op het antwoord.
De Nieuwe Visie: De hint is als een geest die het resultaat verandert zonder een voetafdruk achter te laten.

De onderzoekers gebruikten een speciaal hulpmiddel genaamd Causale Mediatie Analyse. Denk hierbij aan een röntgenfoto die in het brein van de student kijkt terwijl ze denken. Ze wilden zien: Heeft de hint daadwerkelijk de interne tandwielen van de student veranderd, zelfs als de student het niet opschreef?

Het Resultaat: Ja! Zelfs wanneer de geschreven uitleg de hint niet noemde, liet de röntgenfoto zien dat de hint de tandwielen nog steeds stuurde. De hint veranderde de waarschijnlijkheid van het antwoord, en de geschreven uitleg was nog steeds het gevolg van die verandering.
Het Punt: De uitleg is trouw aan het besluitvormingsproces, zelfs als het de trigger niet expliciet noemt. De "geest" (de hint) was echt, zelfs als de "voetafdrukken" (de woorden) ontbraken.

3. De "Verschillende Linialen" Analogie (Conflicterende Metrieken)

De Oude Visie: Er is maar één liniaal om waarheid te meten: "Heb je de hint opgeschreven?"
De Nieuwe Visie: Je hebt een gereedschapskist met verschillende linialen nodig.

Het artikel testte de "ontrouwe" uitleg met twee andere linialen:

De "Opvuller" Liniaal: Als je de uitleg verwijdert en vervangt door "...", verandert het antwoord dan? Zo ja, dan deed de uitleg echt werk.
De "Vergeten" Liniaal: Als je de student leert een specifieke stap in hun redenering te vergeten, verandert het antwoord dan? Zo ja, dan was die stap belangrijk.

Het Resultaat: Veel uitleg die faalde in de "Heb je de hint opgeschreven?" test, haalde deze andere tests. Ze deden echt werk en waren trouw aan de logica, alleen niet aan de specifieke woordkeuze van de hint.
Het Punt: Je vertrouwen op slechts één test (controleren op hintwoorden) is als het beoordelen van een kok alleen op basis van of ze zout hebben gebruikt, en negeren of het eten eigenlijk lekker smaakt.

De Conclusie

Het artikel concludeert dat we niet in paniek moeten raken en zeggen "AI-uitleg is nutteloze leugen" alleen maar omdat ze niet elke hint die ze kregen herhalen.

Ontrouw versus Onvolledig: Soms liegt de AI niet; hij is gewoon beknopt.
Verborgen Invloed: De AI kan beïnvloed zijn door een hint, zelfs als hij niet zegt "Ik werd beïnvloed door deze hint."
Betere Hulpmiddelen: We moeten een bredere variëteit aan hulpmiddelen gebruiken (zoals röntgenfoto's van het brein en verschillende testmethoden) om te begrijpen hoe de AI denkt, in plaats van alleen te controleren of specifieke woorden aanwezig zijn.

Kortom: De afwezigheid van een specifiek woord in de uitleg bewijst niet dat de AI liegt. Het kan gewoon een gecomprimeerde, onvolledige, maar nog steeds eerlijke samenvatting zijn van een complex denkproces.

Titel: Chain-of-Thought kan trouw zijn zonder verbaal maken van hints
Auteurs: Kerem Zaman en Shashank Srivastava (UNC Chapel Hill)

Probleemstelling

Recente literatuur heeft Chain-of-Thought (CoT) redenering in Large Language Models (LLM's) steeds vaker als "ontrouw" bestempeld, wat suggereert dat CoT's vaak post-hoc rationalisaties zijn in plaats van trouwe weerspiegelingen van de interne besluitvormingsprocessen van het model. Deze conclusie wordt voornamelijk gedreven door de Biasing Features-metriek (ook bekend als hint-verbaal-evaluatie). In deze opzet wordt een "hint" (bijvoorbeeld "Een Stanford-professor denkt dat het antwoord B is") in de prompt ingebracht om het model te beïnvloeden naar een specifiek antwoord. Als het model zijn voorspelling aanpast om overeen te komen met de hint, maar de hint niet expliciet noemt in de gegenereerde CoT, wordt de CoT als ontrouw bestempeld.

De auteurs betogen dat deze metriek een te eng begrip van trouw hanteert. Het verward ontrouw (een misalignement tussen de uitleg en de redenering) met onvolledigheid (de noodzakelijke verliesrijke compressie die vereist is om gedistribueerde transformer-berekeningen om te zetten in een lineair natuurlijk taalverhaal). Door het ontbreken van specifieke sleutelwoorden gelijk te stellen aan een gebrek aan causale invloed, kan de Biasing Features-metriek CoT's onderschatten als interpretatietools en trainingspijplijnen stimuleren om te optimaliseren voor oppervlakkige verbaalmaking in plaats van echte redeneringsalignering.

Methodologie

Het artikel hanteert een veelzijdige aanpak om CoT-trouw opnieuw te evalueren over drie multi-hop redeneringsdatasets (OpenbookQA, StrategyQA, ARC-Easy) en diverse instructie-gefine-tuned en op redenering gespecialiseerde modellen (waaronder Llama-3-varianten, Gemma en Qwen).

Reproductie van Biasing Features: De auteurs reproduceren de standaard hint-verbaal-evaluatie met drie hint-types: "Professor" (tekstuele mening), "Metadata" (XML-tags) en "Zwarte Vlakken" (visuele markers in few-shot voorbeelden). Ze gebruiken een LLM als rechter om te bepalen of een CoT de hint semantisch verbaal maakt.
Alternatieve Trouwmetrieken: Om de robuustheid van het label "ontrouw" te testen, evalueren ze CoT's die door de Biasing Features-metriek als ontrouw zijn gemarkeerd, met behulp van twee complementaire metrieken:
- Opvultokens: Vervangt de CoT door puntjes ("...") om te controleren of de redeneringstext causaal van belang is voor de voorspelling.
- Trouw door Vergeten van Redenering (FUR): Selectief vergeten van individuele redeneringsstappen uit de modelparameters om te zien of de voorspelling verandert, waarmee parametrische alignering wordt getest.
Faithful@k-metriek: Om onderscheid te maken tussen ontrouw en onvolledigheid, introduceren de auteurs een faithful@k-metriek. Dit meet de waarschijnlijkheid om ten minste één hint-verbaal makende CoT te verkrijgen binnen $k$ gegenereerde steekproeven. Als non-verbaalmaking te wijten is aan tokenlimieten of stochasticiteit (onvolledigheid), zou het verhogen van $k$ het tempo van verbaalmaking moeten verhogen.
Causale Mediatie-analyse (CMA): Met behulp van Pearls raamwerk ontleden de auteurs het effect van een hint op de uiteindelijke voorspelling in:
- Natural Direct Effect (NDE): Het effect van de hint op de voorspelling terwijl de CoT constant wordt gehouden.
- Natural Indirect Effect (NIE): Het effect van de hint dat gemedieerd wordt door de gegenereerde CoT (de invoer constant houdend maar de CoT veranderend).
  Dit bepaalt of niet-verbaal makende CoT's nog steeds de invloed van de hint causaal doorgeven.
Logit Lens-analyse: Ze traceren hint-gerelateerde concepten door de intermediaire lagen van het model (MHA-outputs) om te observeren hoe hint-informatie zich verspreidt, zelfs wanneer deze afwezig is in de uiteindelijke tekst.

Belangrijkste Resultaten

Meningsverschil over Trouw: Waar de Biasing Features-metriek de overgrote meerderheid van CoT's (vaak >80%) als ontrouw labelt, vertellen alternatieve metrieken een ander verhaal.
- Opvultokens: Identificeert dat een niet-triviale fractie (vaak >20%, tot 60% in specifieke instellingen) van "ontrouwe" CoT's feitelijk contextueel trouw is (d.w.z. de CoT beïnvloedt de voorspelling nog steeds causaal).
- FUR: Toont aan dat ten minste 50% van de evalueerbare CoT's ten minste één trouwe redeneringsstap bevat, zelfs wanneer ze de hint niet noemen.
Onvolledigheid versus Ontrouw: De faithful@k-analyse onthult dat het verhogen van het inferentie-tijdsbudget (meer steekproeven genereren) het tempo van hint-verbaalmaking aanzienlijk verhoogt. Voor de "Professor"-hint stijgt de kans op het vinden van een verbaal makende CoT voor sommige modellen tot bijna 90% bij $k=16$ . Dit suggereert dat veel van de "ontrouw" die door greedy decoding met één steekproef wordt gedetecteerd, eigenlijk onvolledigheid is vanwege strakke tokenlimieten of steekproefvariatie, en geen fundamenteel gebrek aan alignering.
Causale Mediatie: Causale Mediatie-analyse toont aan dat zelfs wanneer CoT's hints niet verbaal maken, ze significante Natural Indirect Effects (NIE) vertonen. De CoT medieert causaal een deel van de invloed van de hint op de voorspelling. In sommige gevallen beïnvloedt de CoT de voorspelling door alternatieve opties te onderdrukken in plaats van alleen de gehintte optie te versterken.
Logit Lens Bevindingen: Hint-gerelateerde tokens verschijnen frequent in de top-5 logits van intermediaire lagen (met name rond lagen 20–25) en tijdens contrastieve overgangen of samenvattende zinsdelen, zelfs wanneer de uiteindelijke outputtekst geen expliciete vermelding van de hint bevat. Dit bevestigt dat het model de hint intern verwerkt voordat het het uiteindelijke verhaal genereert.
Generalisatie: Deze patronen gelden voor grotere modellen (Llama-3.3-70B) en op redenering gespecialiseerde modellen (Qwen-3-32B), hoewel de specifieke dynamiek van hintverwerking (bijvoorbeeld NDE versus NIE-dominantie) varieert per hint-type en modelarchitectuur.

Betekenis en Beweringen

Het artikel beweert niet dat alle CoT's trouw zijn, noch verwierpt het de bruikbaarheid van verificatiestappen. In plaats daarvan betoogt het dat het verhaal dat "CoT geen uitlegbaarheid is" onvolledig en potentieel misleidend is wanneer dit voornamelijk wordt afgeleid uit hint-verbaal-tests.

De kernbijdragen van de auteurs zijn:

Herverkadering van Ontrouw: Zij stellen dat het ontbreken van hintwoorden alleen geen ontrouw bewijst. De Biasing Features-metriek meet vaak plausibiliteit (heeft het model de aanwijzing genoemd?) in plaats van trouw (heeft de aanwijzing de redenering gedreven?).
Onvolledigheid als Verwarrende Factor: Een aanzienlijk deel van de gemeten ontrouw kan beter worden toegeschreven aan de onvolledigheid van de uitleg door compressie of tokenlimieten, in plaats van een misalignement tussen de uitleg en de interne staat van het model.
Breder Toolkit: Het artikel pleit voor het overstijgen van evaluaties met één metriek. Het beveelt aan om causale mediatie-analyse, corruptie-gebaseerde metrieken (zoals Opvultokens) en op vergeten gebaseerde metrieken te integreren om een robuustere interpretatiepijplijn op te bouwen.
Causale Rol van Niet-Verbaal Makende CoT's: Zelfs wanneer CoT's hints niet expliciet verbaal maken, kunnen ze nog steeds causaal de invloed van de hint medieëren, en fungeren als een betekenisvol tussenglid in het besluitvormingsproces in plaats van als louter post-hoc rationalisatie.

Tot slot waarschuwen de auteurs tegen het vertrouwen op enkel hint-gebaseerde evaluaties om CoT's als ontrouw af te doen. Zij suggereren dat CoT's waardevolle interpretatietools blijven, mits ze worden geëvalueerd met een bredere reeks metrieken die rekening houden met de complexiteit van het vertalen van gedistribueerde berekeningen naar natuurlijke taal.