Technisch Samenvatting: Answer-Conditioned Chains of Thought Degraderen Verifieerbare Redeneringsdistillatie

1. Probleemstelling

Standaard distillatiepipelines voor Large Language Models (LLM's) vertrouwen vaak op het samplen van chains of thought (CoT), waarbij wordt gefilterd op diegene die de juiste uiteindelijke antwoorden bereiken, om vervolgens te finetunen op de overgebleven chains. Wanneer samplen faalt om een correcte chain te produceren, is een veelvoorkomende remediatiestrategie answer-conditioning: het model het gouden antwoord als hint voeren en het instrueren om een redeneerspoor te genereren dat dit specifieke antwoord rationaliseert of bereikt.

Dit paper daagt de impliciete aanname uit dat elke chain die het juiste antwoord bereikt een geldige trainingsdoelwit is, ongeacht het generatieproces. De auteurs stellen dat answer-conditioned chains een specifieke pathologie introduceren: het model leert achterwaarts te rationaliseren vanuit een bekende conclusie, in plaats van het antwoord te af te leiden door middel van zoektocht (search). Cruciaal is dat deze degradatie onzichtbaar is voor standaard correctheidsfilters omdat de resulterende chains, door constructie, correct zijn.

2. Methodologie: Het "One-Bit Experiment"

Om het causale effect van answer-conditioning te isoleren, ontwierpen de auteurs een gecontroleerd experiment waarbij alle variabelen constant werden gehouden, behalve een enkele binaire interventie: of het gouden antwoord zichtbaar is voor de generator tijdens de creatie van de chain.

• Opzet: Een enkele generator-model ($G$) wordt gebruikt om CoT-chains te genereren voor dezelfde set van 935 wiskundeproblemen onder twee condities:
  1. Answer-Blind (Controle): Het model ziet alleen het probleem en krijgt de opdracht het antwoord af te leiden.
  2. Answer-Leaked (Behandeling): Het model ziet het probleem en het gouden antwoord, met de instructie om een chain te genereren die dit bereikt.
• Filtering: In beide armen worden alleen chains met een correct eindantwoord in een box behouden.
• Training: Twee student-modellen worden met een identiek recept gefinetuned op de gefilterde datasets uit elke arm.
• Evaluatie: Het prestatieverschil ($\Delta = \text{acc}(S_{\text{blind}}) - \text{acc}(S_{\text{leaked}})$) wordt gemeten op verifieerbare redeneringsbenchmarks (bijv. MATH-500, AIME).

De studie bevat ook ablatie-studies waarbij instructies variëren (bijv. "derive first" vs. "rationalize toward"), lengte-gematchte controles en cross-family generalisatietests (het trainen van kleinere of andere architectuur studenten op gelekte chains).

3. Belangrijkste Bijdragen

1. Isolatie van de Leakage Penalty

De auteurs demonstreren dat het genereren van chains onder answer-conditioning een significante accuratiedegradatie (penalty) veroorzaakt, zelfs wanneer de generator, de probleemset, de correctheidsfilter en het fine-tuning recept identiek zijn.

• Op MATH-500 is de penalty 16,2 punten voor Qwen3-8B.
• Op AIME (Olympiade-niveau problemen) groeit de penalty naar 27,2 punten.
• De penalty is inhoudelijk gedreven, niet lengte-gedreven; lengte-gematchte controles laten zien dat het inkorten van blind-chains de schade niet repliceert.

2. Mechanisme-analyse: Off-Policy Rationalisatie

Het paper identificeert het mechanisme als een verschuiving van zoektocht (search) naar rationalisatie:

• Answer-First Symptoom: Answer-conditioned chains vermelden het gouden antwoord vaak binnen de eerste 20% van het redeneerblok (Answer-First Rate, AFR). Blind-chains doen dit zelden.
• Off-Policy Verschuiving: Answer-blind generatie samplet uit $P(c|q)$ (de zoekdistributie), wat noodzakelijk is voor inference tijdens de testfase. Answer-conditioned generatie samplet uit $P(c|q, a)$, waardoor de zoektocht wordt gecomprimeerd tot post-hoc rechtvaardiging.
• Train/Test Inversie: Modellen getraind op gelekte chains genereren langere chains tijdens de testfase maar slagen er niet in te convergeren (terminatie-tekort), wat aangeeft dat ze het afleidingsproces niet hebben geleerd dat nodig is wanneer het antwoord onbekend is.

3. Data-Centrische Schade en Partiële Reparatie

De schade wordt toegeschreven aan de data, niet aan de inherente capaciteit van de generator.

• Gerationaliseerde Chains Dragen de Schade: Binnen een enkele gelekte corpus dragen chains die het antwoord vroeg vermelden ("Leaked-Early") de meerderheid van de penalty. Een eenvoudige filter die deze chains verwijdert, herstelt ongeveer twee derde van de verloren accuratie.
• Instructie vs. Zichtbaarheid: De primaire drijfveer van de schade is de instructie om "naar het antwoord te rationaliseren", niet enkel de zichtbaarheid van het antwoord. Instructies zoals "derive first" verzachten de penalty aanzienlijk.

4. Predictieve Signatuur ($\Delta$AFR)

De auteurs stellen een pre-training diagnostische metriek voor: $\Delta$AFR (het verschil in Answer-First Rate tussen gelekte en blind-generaties).

• $\Delta$AFR correleert sterk ($r=0,96$) met de uiteindelijke leakage penalty over acht modellen uit vier verschillende families (Qwen, DeepSeek, GLM, Nemotron).
• Deze metriek stelt beoefenaars in staat om kandidaten voor de 'teacher' te screenen voordat er überhaupt student-training plaatsvindt, waarbij de penalty wordt voorspeld met een gemiddelde absolute fout van 2,9 punten.

4. Resultaten en Generalisatie

• Domeinspecificiteit: De penalty is beperkt tot taken die stappen van afleiding vereisen (Wiskunde, Code). Op multiple-choice kennisbenchmarks waar het model een optie selecteert in plaats van een oplossing af te leiden, wordt geen penalty waargenomen.
• Cross-Model Transfer: De schade is overdraagbaar naar andere modelfamilies. Chains gegenereerd door een Llama-Nemotron teacher degraderen een Qwen3-8B student, en chains van een GLM teacher degraderen een Qwen3-8B student.
• Code Domein: De penalty blijft bestaan in code-generatie (MBPP+, HumanEval+), waar "correctheid" wordt gedefinieerd door testexecutie. Gelekte code-chains die tests passeren, degraderen de prestaties van de student nog steeds met ~9–10 punten.
• Cross-Student Transfer: De schade volgt de data. Het trainen van een kleiner model (Qwen3-1.7B) op gelekte chains van een grotere teacher (Qwen3-8B) resulteert in een penalty van ~7 punten vergeleken met blind training.

5. Betekenis en Praktische Implicaties

Het paper concludeert dat de standaardpraktijk om "mislukte" sampling te "repareren" door te conditioneren op het gouden antwoord contraproductief is voor verifieerbare redenering. De "correctheidsfilter" is onvoldoende omdat deze niet het onderscheid kan maken tussen een chain die is afgeleid via zoektocht en een chain die achterwaarts is gerationaliseerd vanuit een bekend doel.

Praktische Implicaties:

1. Genereer Answer-Blind: De meest effectieve waarborg is om chains te genereren zonder het gouden antwoord te tonen. Als samplen faalt, moet de data worden weggegooid in plaats van te worden geregenereerd met het antwoord zichtbaar.
2. Instructie Abstractie: Als de zichtbaarheid van het antwoord onvermijdelijk is, moet de instructie worden gewijzigd naar "derive first, then state the answer", wat ongeveer twee derde van de verloren accuratie herstelt.
3. Pre-Training Screening: Beoefenaars kunnen $\Delta$AFR meten op een kleine, niet-gelabelde steekproef van de generaties van een kandidaat-teacher om te voorspellen of answer-conditioned distillatie de student zal schaden.

De auteurs benadrukken dat deze bevindingen specifiek van toepassing zijn op verifieerbare redeneringsdistillatie (wiskunde, code) waar een definitieve antwoordcontrole mogelijk is, en dat de schade een eigenschap is van de data-generatie-receptuur en niet van de modelarchitectuur.