💬 NLP

Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning

Dit artikel introduceert Normalized Logit Difference Decay (NLDD), een metriek die een consistente "redeneerhorizon" onthult in Chain-of-Thought-modellen waarbij stappen voorbij 70–85% van de ketenlengte hun getrouwheid verliezen, wat aantoont dat nauwkeurigheid alleen geen garantie biedt voor echt redeneren.

Oorspronkelijke auteurs: Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een goochelaar kijkt die een complexe truc uitvoert. Hij haalt een konijn uit een hoed, maar voordat hij dat doet, houdt hij een lange, gedetailleerde toespraak over hoe hij het gaat doen. Hij legt de stappen uit, de fysica en de magische woorden.

Nu is hier de grote vraag: Kwamen het konijn daadwerkelijk tevoorschijn door de magische woorden die hij net sprak, of had de goochelaar het konijn de hele tijd al in zijn zak en was de toespraak slechts een chique afleiding om je te laten denken dat hij echte magie uitvoerde?

Dit artikel stelt precies die vraag over Artificial Intelligence (AI) modellen. Wanneer een AI een moeilijk wiskundig of logisch probleem oplost, schrijft het vaak een "Chain of Thought" (CoT) — een stapsgewijze uitleg van zijn werk. De auteurs willen weten: gebruikt de AI die stappen daadwerkelijk om het antwoord te vinden, of verzint hij gewoon een verhaal nadat hij het antwoord al heeft geraden?

De Nieuwe Tool: De "Confidence Drop" Test (NLDD)

Om het antwoord te vinden, hebben de auteurs een nieuwe test uitgevonden genaamd NLDD (Normalized Logit Difference Decay).

Denk er als volgt over na: Stel je voor dat je in een auto rijdt en je GPS geeft je stap-voor-stap instructies.

Trouwe Besturing (Faithful Driving): Als de GPS zegt "Sla linksaf" en je slaat linksaf, kom je op je bestemming aan. Als je de GPS negeert en rechtsaf slaat, raak je de weg kwijt. De instructies maakten uit.
Ontrouwe Besturing (Unfaithful Driving): Als de GPS zegt "Sla linksaf", maar je ging al linksaf omdat je de weg kende, veranderden de instructies je pad niet echt. Of erger nog, als de GPS zegt "Sla linksaf" en je slaat nog steeds linksaf, maar de GPS probeerde je eigenlijk te misleiden om rechtsaf te slaan, dan waren de instructies slechts een afleiding.

De test van de auteurs werkt door de uitleg van de AI te saboteren. Ze nemen een perfecte uitleg, veranderen één stap zodat deze fout is (zoals tegen de AI zeggen: "Tel 2 + 2 = 5") en kijken dan wat er gebeurt met het vertrouwen van de AI in zijn uiteindelijke antwoord.

Als de AI "Trouw" is: Wanneer ze de uitleg breken, raakt de AI in de war en verliest hij vertrouwen. Dit bewijst dat de AI de stappen daadwerkelijk gebruikte om na te denken.
Als de AI "Ontrouw" is (of "Anti-trouw"): Wanneer ze de uitleg breken, daalt het vertrouwen van de AI niet, of het gaat zelfs omhoog! Dit bewijst dat de AI de stappen helemaal niet nodig had; hij kende het antwoord al (of raadde het al) voordat hij begon te schrijven.

De Grote Ontdekking: De "Reasoning Horizon"

De auteurs testten drie verschillende soorten AI-modellen (DeepSeek, Llama en Gemma) op drie soorten puzzels (wiskunde, logica en taalregels). Ze kwamen tot een verrassende ontdekking: AI-redeneren heeft een "horizon".

Stel je een lang touw voor. De eerste 70% tot 85% van het touw is sterk en nuttig. Maar de laatste 15% tot 30%? Dat is slechts een loshangend draadje.

Het Zoete Punt (The Sweet Spot): Voor alle modellen heeft de AI het eerste deel van zijn uitleg daadwerkelijk nodig om het probleem op te lossen.
De Horizon: Zodra de AI een bepaald punt passeert (ongeveer 70–85% van de weg), helpt het schrijven van meer stappen niet meer. Sterker nog, voor sommige modellen schaadt het schrijven van meer stappen hun prestaties. Het is alsof de AI begint te praten om de stilte te vullen, ook al heeft hij het probleem al opgelost.

Het "Clever Hans" Probleem

Het paper belicht een angstaanjagend fenomeen genaamd het "Clever Hans" effect. In de jaren 1900 was er een paard genaamd Hans die leek te kunnen rekenen. Hij tikte met zijn hoef het juiste aantal keer. Maar het bleek dat hij niet aan het rekenen was; hij las de lichaamstaal van de persoon die de vraag stelde.

De auteurs ontdekten dat sommige AI-modellen (specifiek het Gemma-model) optreden als Clever Hans.

Ze kunnen 99% van de antwoorden goed krijgen.
Maar wanneer de auteurs de "redeneerstappen" braken, gaf de AI er niet om.
Dit betekent dat de AI niet echt redeneert door de stappen heen, maar simpelweg patronen onthoudt of het antwoord raadt, en de "uitleg" slechts een achteraf bedacht verhaal is om slim te lijken.

De "Verborgen Kaart" vs. De "Bestuurder"

Het paper vond ook een vreemde discrepantie die de "Mapping Gap" wordt genoemd.

Stel je een bestuurder voor die een perfecte kaart van de stad in zijn hoofd heeft (de interne hersenen van de AI), maar die met zijn ogen dicht rijdt en een willekeurig pad volgt.

De AI heeft de juiste informatie in zijn "hersenen" (de kaart is aanwezig).
Maar hij gebruikt die informatie niet om de uiteindelijke beslissing te nemen.

De auteurs lieten zien dat zelfs wanneer een AI een taak volledig faalt, de AI nog steeds de juiste "kaart" in zijn lagen kan hebben. Omgekeerd kan een AI het juiste antwoord geven, maar een rommelige, verwarde kaart in zijn binnenste hebben. Dit bewijst dat alleen omdat een AI je zijn werk kan laten zien, dat ook niet betekent dat hij het werk ook daadwerkelijk heeft gedaan.

Samenvatting

In eenvoudige bewoordingen zegt dit paper:

Vertrouw de uitleg niet alleen omdat deze er slim uitziet. Soms verzint de AI gewoon een verhaal nadat hij het antwoord al weet.
Er is een "kantelpunt". AI-modellen hebben alleen echt de eerste 70–85% van hun uitleg nodig om een probleem op te lossen. De rest is vaak slechts ruis.
Nauwkeurigheid is niet alles. Een AI kan het antwoord 100% van de tijd goed hebben, maar nog steeds "liegen" over hoe hij daar gekomen is.

De auteurs hebben een nieuw hulpmiddel (NLDD) gecreëerd om dit te meten, wat ons helpt begrijpen wanneer een AI echt aan het nadenken is en wanneer hij alleen maar doet alsof.

Technische Samenvatting: Mechanistisch Bewijs voor Faithfulness Decay in Chain-of-Thought Redeneren

Probleemstelling
Chain-of-Thought (CoT) prompting is de standaard geworden voor het oproepen van complexe redeneringen in Large Language Models (LLM's). Er bestaat echter een kritieke ambiguïteit: reflecteren deze stapsgewijze verklaringen getrouw het interne besluitvormingsproces van het model, of zijn het louter plausibele post-hoc rationalisaties? Bestaande evaluaties behandelen trouw (faithfulness) vaak als een binaire eigenschap van het uiteindelijke antwoord of vertrouwen op ruwe sensitiviteitsmetingen die niet vergelijkbaar zijn tussen verschillende modelarchitecturen vanwege variaties in output-schaling en baseline-vertrouwen. Bovendien is het onduidelijk of modellen gegenereerde redeneertokens daadwerkelijk gebruiken om antwoorden te berekenen, of dat ze vertrouwen op vooraf berekende priors, waardoor de redeneerketen causaal irrelevant wordt.

Methodologie
De auteurs stellen een diagnostisch kader voor dat gecentreerd is rond Normalized Logit Difference Decay (NLDD), een metriek die ontworend is om de trouw op stapniveau te kwantificeren. De methodologie bestaat uit drie kerncomponenten:

Counterfactuele Interventies: Het framework corrumpeert individuele redeneerstappen binnen een CoT-keten (bijv. het introduceren van rekenfouten, entiteitsvervangingen of dientefouten) en verkort de daaropvolgende stappen. Dit isoleert de causale impact van specifieke tokens op de uiteindelijke voorspelling.
NLDD-metriek: In tegenstelling tot binaire nauwkeurigheid meet NLDD de degradatie in het vertrouwen (logit margin) van een model wanneer een redeneerstap wordt gecorrumpeerd. Cruciaal is dat het deze degradatie normaliseert ten opzichte van de intrinsieke outputvariabiliteit (standaarddeviatie van logits) om een architectuur-agnostische vergelijking tussen modellen mogelijk te maken.
- Positieve NLDD: Wijst op causale afhankelijkheid; corruptie vermindert het vertrouwen.
- Negatieve NLDD: Wijst op "anti-trouw"; corruptie verhoogt paradoxaal genoeg het vertrouwen, wat suggereert dat het model de redeneerketen negeert of erdoor wordt gehinderd.
Structurele Diagnostiek: Om de gedragsmatige metrieken aan te vullen, gebruiken de auteurs:
- Representational Similarity Analysis (RSA): Meet de uitlijning tussen de verborgen staatpatronen van schone versus gecorrumpeerde ketens om de interne representationele stabiliteit te beoordelen.
- Trajectory Alignment Score (TAS): Kwantificeert de geometrische efficiëntie van het redeneepad in de latente ruimte.
- Linear Probing: Test of taakrelevante informatie (bijv. stack-diepte, waarheidswaarden) expliciet is gecodeerd in de verborgen staten, onafhankelijk van of het model deze gebruikt voor voorspelling.

Het framework wordt geëvalueerd over drie modelfamilies (DeepSeek-Coder-6.7B, Llama-3.1-8B, en Gemma-2-9B) en drie taken met variërende ambiguïteit: Dyck-n (syntactisch), PrOntoQA (logisch), en GSM8K (rekenkundig).

Belangrijkste Resultaten
De studie identificeert onderscheidende gedragsregimes en een consistent structureel fenomeen over verschillende modellen heen:

Trouwe versus Anti-trouwe Regimes:
- Trouw Regime: Modellen zoals Llama en DeepSeek vertonen een hoge positieve NLDD, wat aangeeft dat hun voorspellingen causaal geworteld zijn in de redeneerketen.
- Anti-trouw Regime: Gemma-2 vertoont een hoge nauwkeurigheid (bijv. 99% op PrOntoQA) ondanks een significant negatieve NLDD (-52,5%). In dit regime verbetert het corrumperen van de redeneerketen paradoxaal genoeg het vertrouwen van het model in het juiste antwoord, wat suggereert dat de redeneertokens fungeren als afleiders in plaats van drijvers.
De Mapping Gap: Er werd een dissociatie waargenomen waarbij modellen taakrelevante structuren intern coderen (hoge lineaire probe nauwkeurigheid) maar er niet voor de uiteindelijke output gebruiken. Bijvoorbeeld, Gemma behaalde 82% probe nauwkeurigheid op de Dyck-n stack-diepte maar 0% taak-nauwkeurigheid, wat aangeeft dat de informatie aanwezig is maar niet causaal wordt benut.
De Redeneerhorizon ( $k^*$ ): De auteurs identificeren een "Redeneerhorizon", gedefinieerd als de positie van de stap waar de causale invloed (NLDD) piekt. Voorbij dit punt (gebeurt bij 70–85% van de ketenlengte over de taken heen) dragen aanvullende redeneertokens een verwaarloosbare of negatieve causale invloed bij.
- Cruciaal is dat terwijl de NLDD scherp daalt voorbij $k^*$ , RSA en TAS stabiel blijven. Dit suggereert dat modellen coherente interne representaties en geometrische trajecten blijven genereren, zelfs wanneer die stappen geen invloed meer hebben op de uiteindelijke voorspelling.

Betekenis en Bijdragen
Het artikel levert drie primaire bijdragen aan het mechanistische begrip van LLM-redeneren:

NLDD als een Faithfulness-metriek: Het introduceert een gestandaardiseerde, architectuur-agnostische metriek die onthult of de redenering van een model causaal of decoratief is. Het toont aan dat een hoge nauwkeurigheid alleen onvoldoende is om trouw te verifiëren, aangezien modellen perfecte scores kunnen behalen terwijl ze volledig losgekoppeld zijn van hun CoT-verklaringen.
Identificatie van de Redeneerhorizon ( $k^*$ ): De ontdekking van een consistente transitiepunt (70–85% van de ketenlengte) waar de causale invloed afneemt, suggereert dat CoT-ketens vaak een "theoretische pruning zone" bevatten. Voorbij deze horizon kunnen redeneertokens post-hoc formattering zijn of, in anti-trouwe modellen, actieve interferentie.
Bewijs van de Mapping Gap: De bevindingen dagen aannames in interpretatieonderzoek uit door aan te tonen dat modellen correcte interne representaties van de taaklogica kunnen behouden zonder deze causaal te gebruiken voor decodering. Dit impliceert dat oppervlakkige coherentie in CoT geen causale trouw garandeert.

De auteurs concluderen dat hun multi-metriek benadering een rigoureuze manier biedt om te meten wanneer CoT ertoe doet, waarbij onderscheid wordt gemaakt tussen een werkelijke breuk in het redeneren en oppervlakkige outputveranderingen, en benadrukt dat voor bepaalde architecturen uitgebreid redeneren contraproductief kan zijn.