🤖 machine learning

Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories

Dit artikel onthult dat de getrouwheid van latente redeneermethoden niet statisch is maar dynamisch evolueert tijdens de training, waarbij causale bijdragen aan uiteindelijke antwoorden in de loop van de tijd afnemen en significant variëren per antwoordformaat, wat benadrukt dat evaluaties van de laatste checkpoint alleen onvoldoende zijn om de betrouwbaarheid van redeneringen te beoordelen.

Oorspronkelijke auteurs: Hengyu Jin, Shu Yang, Di Wang

Gepubliceerd 2026-07-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hengyu Jin, Shu Yang, Di Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante student hebt die een zeer moeilijke wiskundetoets maakt. Er zijn twee manieren waarop deze student de problemen kan oplossen:

De "Laat je Werk zien"-methode (Chain-of-Thought): De student schrijft elke stap op een stuk papier. Je kunt hun aantekeningen lezen om precies te zien hoe ze tot het antwoord kwamen.
De "Stille Denken"-methode (Latent Reasoning): De student lost het probleem volledig in zijn hoofd op. Hij schrijft niets op; hij fluistert alleen het uiteindelijke antwoord. Dit is sneller en compacter, maar je kunt niet zien hoe hij het deed.

Dit artikel gaat over de tweede methode. De grote zorg is: is de student echt aan het nadenken, of is hij gewoon aan het gokken? Misschien heeft hij het antwoordmodel uit zijn hoofd geleerd, of gebruikt hij een kortere route die de werkelijke denkstappen overslaat. Als je de hersenen van de student (of de computercode achter hem) prikt om te zien of de "stille denkstappen" werkelijk noodzakelijk zijn, krijgt hij dan nog steeds het juiste antwoord?

De onderzoekers noemen dit "trouw" (faithfulness). Als de stille stappen trouw zijn, zijn ze de oorzaak van het antwoord. Als ze niet trouw zijn, is de student slechts aan het doen alsof hij nadenkt, terwijl het echte antwoord ergens anders vandaan komt.

De Grote Fout die Iedereen Eerder Maakte

Eerdere studies bekeken deze "stille denkers" alleen nadat ze hun training hadden voltooid (het eindexamen). Ze ontdekten dat veel van deze modellen "onbetrouwbaar" waren — je kon de stille denkstappen van de modellen verstoren, en ze zouden nog steeds het juiste antwoord geven.

De auteurs van dit artikel zeggen: "Wacht eens even! We keken alleen naar de finishlijn. Wat gebeurde er tijdens de race?"

Ze besloten de modellen te observeren tijdens hun training, van Dag 1 tot het bittere eind, alsof ze een sportwedstrijd bekijken in plaats van alleen naar de eindscore te kijken. Ze gebruikten twee speciale instrumenten om de modellen te testen:

De "Wat als"-truc: Ze veranderden een klein detail in de vraag (zoals een weg op een kaart) om te zien of het model zijn antwoord zou veranderen. Als het model trouw is, zou het zijn antwoord moeten veranderen.
De "Hersennevel"-test: Ze maakten de stille denkstappen van het model tijdelijk "wazig" met willekeurige ruis om te zien of het model het probleem nog steeds kon oplossen.

Wat Ze Vonden (De Drie Grote Verrassingen)

1. Twee Verschillende Wegen naar Dezelfde Doodlopende Weg

Ze bestudeerden twee verschillende soorten "stille denkers" (laten we ze Methode A en Methode B noemen).

Het resultaat: Aan het einde van de rit zagen beide methoden er verschrikkelijk uit. Beiden faalden voor de "Wat als"-truc en de "Hersennevel"-test. Ze leken even onbetrouwbaar.
De twist: De reis naar die mislukking was echter totaal verschillend.
- Methode A begon heel trouw te zijn. Het was goed in het veranderen van het antwoord wanneer de vraag veranderde. Maar halverwege de training stopte het plotseling met geven om de denkstappen. Het werd lui en begon de denkstappen te negeren, ook al bleef de uiteindelijke score stijgen.
- Methode B gaf vanaf het begin al niets om de denkstappen. Het was vanaf Dag 1 onbetrouwbaar en bleef dat ook.
De les: Als je alleen naar het eindexamen kijkt, denk je dat ze hetzelfde zijn. Maar als je hen tijdens de training observeert, zie je dat de één een "laatbloeier" was die opgaf, en de ander een "bedrieger" vanaf het begin.

2. De "Denkstappen" Vervagen

Ze controleerden de interne "hersenactiviteit" (de verborgen toestanden) van het model tijdens het stille denken.

Het resultaat: Naarmate de modellen trainden, nam het werkelijke belang van die stille denkstappen af.
De analogie: Stel je een chef-kok voor die een soep kookt. In het begin proeft de chef de soep en voegt zout toe (de denkstap). Maar naarmate de chef ervarener wordt, stopt hij met proeven en gooit hij gewoon een willekeurige snuf zout erbij omdat hij denkt dat het wel goed is. Het papier vond dat het "proefgedeelte" van het proces in de loop van de tijd nutteloos werd. Het model stopte met de denkstappen nodig te hebben om het juiste antwoord te krijgen; het begon direct het antwoord te gokken.
De connectie: De specifieke vragen waarbij het model stopte met het veranderen van zijn antwoord (de "Wat als"-truc), waren exact dezelfde vragen waar de "denkstappen" niet meer belangrijk waren.

3. Het Formaat van het Antwoord Verandert Alles

Dit is het meest verrassende deel. Ze testten de modellen op twee soorten vragen:

Type A: "Is het antwoord X of Y?" (Binaire keuze)
Type B: "Wat is het antwoord?" (Open einde)

De Magische Schakelaar:

Wanneer het model moest kiezen tussen twee opties (A of B), werden de "denkstappen" naarmate de training vorderde nutteloos (net als in de vorige tests).
Maar wanneer het model het antwoord moest opschrijven (Open einde), werden de "denkstappen" juist belangrijker naarmate de training vorderde!

De analogie: Het is als een student die leert om het juiste antwoord bij een meerkeuzevraag te raden door naar het patroon van de bubbels op het blad te kijken (en de wiskunde te negeren). Maar als je hem vraagt om het antwoord op een blanco pagina op te schrijven, moet hij de wiskunde doen. De manier waarop je de vraag stelt, bepaalt of het model daadwerkelijk nadenkt of gewoon aan het gokken is.

De Kern van het Verhaal

Het artikel concludeert dat je een "stille denker" AI niet louter op basis van de uiteindelijke testscore kunt beoordelen of deze eerlijk of trouw is.

Timing is van belang: Een model kan in het begin heel trouw lijken en die eigenschap dan verliezen, of andersom.
Formaat is van belang: Een model kan trouw zijn bij het schrijven van een essay, maar onbetrouwbaar bij het maken van een meerkeuzevraag.

De "trouw" van deze AI-modellen is geen vaste eigenschap van de machine; het is een bewegend doelwit dat afhangt van hoe het is getraind en hoe je de vraag stelt.

Technische Samenvatting: Finale Checkpoints zijn niet voldoende: Analyse van de Getrouwheid van Latente Redenering langs Trainingspaden

Probleemstelling
Latente redeneringsmethoden voeren meerstaps-inferentie volledig uit binnen de continue verborgen toestanden (hidden states) van een model, wat een compacter en efficiënter alternatief biedt voor expliciete Chain-of-Thought (CoT) redenering, die steunt op discrete natuurlijke taal-tokens. De opaciteit van deze verborgen toestanden roept echter een kritische vraag op over getrouwheid (faithfulness): drijven de latente redeneringsstappen het uiteindale antwoord causaal aan, of zijn ze slechts gecorreleerd met de output?

Eerder werk heeft deze vraag alleen onderzocht bij geconvergeerde checkpoints, waarbij werd gerapporteerd dat latente redeneringsstappen vaak ongetrouw zijn—dat wil zeggen dat ze vervangen, verstoord of gewist kunnen worden zonder de uiteindelijke voorspelling te veranderen. Er blijft een aanzienlijke kloof bestaan in het begrijpen van hoe deze ongetrouwe gedragingen tijdens de training ontstaan. Bovendien maskeert het behandelen van een getraind model als een vast eindpunt het feit of verschillende trainingsparadigma's vergelijkbare ongetrouwe conclusies bereiken via kwalitatief verschillende trajecten.

Methodologie
De auteurs volgen de evolutie van getrouwheid over opgeslagen checkpoints voor twee verschillende paradigma's van latente redenering, COCONUT (gestaffeld curriculum) en CODI (zelf-distillatie), gebruikmakend van een gedeelde GPT-2 backbone. De analyse maakt gebruik van twee primaire interventies:

Geverifieerde Counterfactual Edit (Inputniveau): Gebruikmakend van de ProsQA benchmark (een grafiek-bereikbaarheidstaak oplosbaar door een deterministische BFS-oracle), construeren de auteurs 405 gepaarde inputs. Ze bewerken minimaal één enkele rand (edge) in de onderliggende grafiek om de oracle-antwoord van een doelwit $A$ naar een alternatief $B$ te flippen. Getrouwheid wordt gemeten door of de voorspelling van het model deze bewerking volgt (Contrast Consistentie en Conditional Flip Rate).
Noise-Ablation Activation Patch (Activatieniveau): Aangepast van causale-mediatieanalyses, patchen de auteurs alle latente redeneringsstappen met inhoud-verwijderende waarden (nul, datasetgemiddelde, of norm-gematchte Gaussische ruis). Ze meten de Output Change Rate (OCR) en de Preserved-When-Correct (PWC) ratio om te bepalen of de latente stappen causaal bijdragen aan de voorspelling.

De studie behandelt drie onderzoeksvragen (RQ's):

RQ1: Vertonen verschillende paradigma's kwalitatief verschillende trajecten van output-getrouwheid, zelfs als hun finale checkpoints vergelijkbaar lijken?
RQ2: Neemt de causale bijdrage van latente stappen af tijdens de training, en komt dit overeen met de output-niveau transities?
RQ3: Zijn deze trajecten afhankelijk van het antwoordformaat (binaire keuze versus open-ended decoding)?

Belangrijkste Resultaten

Divergerende Trajecten naar Vergelijkbare Eindpunten (RQ1): Hoewel zowel COCONUT als CODI convergeren naar eindpunten met een lage getrouwheid (lage Contrast Consistentie en Conditional Flip Rate), verschillen hun trainings-trajecten significant.
- COCONUT vertoont aanvankelijk een hoge counterfactual getrouwheid (volgt bewerkingen), maar ondergaat een abrupte verschuiving bij de curriculum-grens (epoch 15–16), waar de getrouwheid instort en het model ondanks bewerkingen het oorspronkelijke antwoord behoudt.
- CODI komt bijna onmiddellijk vanaf de vroegste checkpoints in een "retentie"-regime (lage getrouwheid) en blijft daar; het bezoekt nooit de fase van het volgen van de counterfactual.
- Implicatie: Een enkel snapshot bij convergentie maskeert deze fundamenteel verschillende leer-dynamieken.
Afname van Causale Bijdrage (RQ2): Op activatieniveau neemt de causale bijdrage van latente redeneringsstappen af tijdens de training voor beide paradigma's.
- De Output Change Rate (OCR) daalt richting nul, en de PWC stijgt richting één, wat aangeeft dat ruis-ablatie op de latente stappen de output niet langer beïnvloedt.
- Cohort-analyse onthult dat de specifieke voorbeelden die verschuiven van counterfactual-volgend naar retentie in de output (de "drift" cohort), precies de voorbeelden zijn waar de causale bijdrage van de latente stappen afneemt.
Formaat-afhankelijkheid (RQ3): Het traject op activatieniveau is niet inherent aan de modelarchitectuur, maar hangt sterk af van het antwoordformaat.
- Bij binaire keuze-taken (ProsQA en GSM-Choice) neemt de causale bijdrage van latente stappen af tijdens de training (OCR neemt af).
- Bij open-ended decoding-taken (GSM-open) neemt de causale bijdrage toe tijdens de training (OCR neemt toe).
- Bovendien keert de rangschikking van modelprestaties (COCONUT vs. CoT) om afhankelijk van de vraag of de taak wordt geframed als open-ended of binaire keuze, wat suggereert dat het antwoordformaat zowel de schijnbare prestaties als de gemeten getrouwheid verandert.

Betekenis en Claims
Het artikel betoogt dat getrouwheid van latente redenering een eigenschap is van de trainingsfase en het antwoordformaat, en niet louter een statisch attribuut van de finale architectuur of checkpoint.

Methodologische Bijdrage: Het werk toont aan dat het evalueren van latente redenering uitsluitend bij convergentie onvoldoende is. Het onthult dat kwalitatief verschillende trainingsdynamieken kunnen leiden tot vergelijkbare ongetrouwe eindpunten, en dat metrieken voor getrouwheid van richting kunnen veranderen op basis van het output-formaat.
Interpretatie van Ongetrouwheid: De bevindingen suggereren dat in scenario's met binaire keuze, latente redeneringsstappen mogelijk een "verwijderbare antwoord-bias" ontwikkelen in plaats van noodzakelijke berekeningen uit te voeren, terwijl ze in open-ended settings hun causale rol kunnen behouden of vergroten.
Beperkingen: De auteurs merken op dat hun geverifieerde counterfactual edits vertrouwen op deterministische oracles (zoals BFS-solvers), wat directe toepassing beperkt op taken zonder dergelijke grondwaarheid-verificatie. De studie is bovendien beperkt tot de GPT-2 small backbone om reproduceerbaarheid van volledige trainings-trajecten werkbaar te houden.

Concluderend stelt het artikel dat het begrijpen van latente redenering vereist dat men de trajectorie van het leren en het formaat van de output analyseert, in plaats van te vertrouwen op evaluaties van het finale checkpoint, die cruciale verschuivingen in modelgedrag kunnen maskeren.