Technische Samenvatting: Het vinden van het bewijs voor On-Policy Reasoning Distillation

1. Probleemstelling

On-policy distillatie (OPD) is een dominante paradigma geworden voor het aanleren van redeneergedrag aan kleine modellen door middel van dichte, op tokenniveau gebaseerde supervisie van een docentmodel (teacher model). De huidige OPD-methoden kampen echter met een kritieke beperking: ze slagen er niet in om verschillende soorten kennis binnen redeneerketens te onderscheiden. Trainen op alle tokens verwatert het leersignaal, terwijl recente entropie-gebaseerde selectiemethoden (bijv. Wang et al., 2026) alleen "beslissingstokens" (decision tokens) vastleggen (waar de student onzeker is), maar "bewijstokens" (evidence tokens) missen.

Het artikel identificeert een structurele blinde vlek in bestaande methoden:

• Beslissingstokens (Decision Tokens): Posities waar de student echte onzekerheid ervaart (bijv. vertakkingspunten, strategische keuzes). Deze worden van nature geïdentificeerd door een hoge student-entropie.
• Bewijstokens (Evidence Tokens): Tussenstappen die beslissingen rechtvaardigen (bijv. afleidingen, variabele substituties). Deze verschijnen vaak op plekken waar de student zelfverzekerd maar foutief is. Omdat de student zelfverzekerd is, is de entropie laag, waardoor deze tokens onzichtbaar zijn voor entropie-gebaseerde selectors. Bijgevolg wordt substantiële redeneerkennis niet overgedragen, wat leidt tot studenten die wel weten wanneer ze moeten afbuigen, maar niet weten hoe ze de afbuiging correct moeten uitvoeren.

2. Methodologie: DEAR (Decision-Evidence Aware Reasoning Distillation)

De auteurs stellen DEAR voor, een tweestaps token-selectiemechanisme dat is ontworpen om zowel beslissings- als bewijstokens te herstellen voor OPD-training.

Fase 1: Identificatie van Beslissingen

De methode identificeert eerst beslissingstokens met behulp van student-entropie ($H^S_t$). De top-$p\%$ tokens met de hoogste entropie worden geselecteerd als de beslissingsset ($D$). Deze tokens markeren het "skelet" van het redeneerproces waar de student een keuze moet maken.

Fase 2: Ontdekking van Bewijs

Om de ondersteunende bewijstokens te vinden die de entropie mist, maakt DEAR gebruik van de relatie tussen beslissingen en hun omliggende context:

1. Contextuele Gelijkenis: De methode extraheert de verborgen toestanden (hidden states, $h^L_t$) van de diepste transformer-laag van de student. Voor elk niet-beslissingstoken berekent het de cosinusgelijkenis met de dichtstbijzijnde beslissingsanker (elke token in set $D$). Een hoge gelijkenis geeft aan dat de token deel uitmaakt van dezelfde redeneercontext (dat wil zeggen: het is onderdeel van de afleiding die een beslissing ondersteunt).
2. Knowledge Gap Boosting: Niet alle contextueel gelijkaardige tokens vereisen correctie. Om tokens te prioriteren waar de student een gebrek aan kennis heeft, incorporeert de methode docent-student divergentie ($\delta_t = |\log \pi_\theta(y_t) - \log \pi_T(y_t)|$).
3. Scoring: Een Evidence Salience Score ($s_j$) wordt berekend voor niet-beslissingstokens:
   $$s_j = \hat{a}_j \times (1 + \hat{\delta}_j)$$
   Waarbij $\hat{a}_j$ de genormaliseerde cosinusgelijkenis is (die fungeert als een poort om ruis te filteren) en $\hat{\delta}_j$ de genormaliseerde divergentie is (die tokens met grote kenniskloven een boost geeft).
4. Selectie: De top-$q\%$ van de niet-beslissingstokens met de hoogste scores vormt de bewijsset ($E$).

Finale Trainingsdoelstelling

De uiteindelijke trainingsset $S$ is de unie van beslissingen en bewijs ($S = D \cup E$). De OPD-loss wordt uitsluitend berekend over deze geselecteerde tokens, wat ervoor zorgt dat het model zowel de vertakkingsstrategie als de substantiële tussenstappen leert.

3. Belangrijkste Bijdragen

1. Decompositie van Redeneerketens: Het artikel toont empirisch aan dat redeneerketens bestaan uit twee verschillende soorten kennis die verschillende ontdekkingsmechanismen vereisen: beslissingen (hoge entropie) en bewijs (lage entropie, hoge divergentie).
2. Ontdekkingsmechanisme: Het introduceert een methode om "zelfverzekerd foutieve" bewijstokens te ontdekken door verborgen-toestand cosinusgelijkenis (om tokens te koppelen aan beslissingen) te combineren met divergentie-boosting (om kenniskloven te prioriteren). Dit overwint de structurele onmogelijkheid van entropie-gebaseerde selectie om deze tokens te vinden.
3. Prestatiewinst: DEAR presteert consistent beter dan standaard OPD en offline kennisdistillatie over meerdere benchmarks.

4. Experimentele Resultaten

De auteurs hebben DEAR geëvalueerd over drie student-docent configuraties (variërend in modelfamilies en groottes) op zes wiskundige redeneerbenchmarks en drie codegeneratiebenchmarks.

• Wiskundig Redeneren:
  • DEAR behaalde tot wel +2,5 procentpunt (pp) verbetering op competitieniveau wiskunde (bijv. AIME) vergeleken met standaard OPD.
  • De winst was het meest uitgesproken in "cross-family" distillatie (Setting B: Qwen2.5-1.5B student, Qwen3-4B teacher), waar de kenniskloof het grootst is.
  • Op AIME 2024 (Setting A) bereikte DEAR een nauwkeurigheid van 4,58% tegenover 2,08% voor standaard OPD (een 2,2$\times$ verbetering).
• Codegeneratie:
  • DEAR verbeterde de pass rates met +5,74pp op MBPP, +2,13pp op HumanEval en +2,56pp op APPS.
  • Opvallend genoeg verslechterde standaard OPD de prestaties op MBPP vergeleken met het basismodel, terwijl DEAR dit oploste, wat suggereert dat het effectief ruis in codegeneratie filtert.
• Signaalanalyse:
  • Alleen-entropie selectie ving slechts ~39% van de totale gradiëntmassa op.
  • De inclusie van bewijstokens door DEAR verhoogde de gevangen gradiëntmassa naar ~76%, wat de effectieve leeringssignaal bijna verdubbelde.
  • Analyse bevestigde dat bewijstokens geconcentreerd zijn in de regio met "lage entropie, hoge divergentie", die door entropie-gebaseerde methoden systematisch wordt genegeerd.

5. Betekenis en Claims

Het artikel beweert dat volledige redelijke distillatie vereist dat niet alleen wordt overgedragen waar men moet beslissen, maar ook de kennis die die beslissingen rechtvaardigt.

• Voorbij Entropie: Het werk daagt de heersende aanname uit dat tokens met een hoge entropie de enige dragers van redeneervermogen zijn. Het demonstreert dat "zelfverzekerde fouten" cruciale, niet-overgedragen kennis bevatten.
• Structureel Inzicht: Door te identificeren dat bewijstokens rond beslissingen clusteren in de verborgen-toestandruimte, biedt het artikel een mechanisme om substantiële redeneerstappen te herstellen die voorheen onzichtbaar waren voor selectiealgoritmen.
• Schaalbaarheid: De winst schaalt met de moeilijkheidsgraad van het probleem; moeilijkere problemen met langere bewijsketens profiteren het meest van het bewijsontdekkingsmechanisme.

De auteurs houden een bescheiden standpunt aan en merken op dat de beslissings-bewijsstructuur voornamelijk in wiskunde en code is geverifieerd, en dat de huidige tokenclassificatie berust op oppervlakkige heuristieken in plaats van causale interventie. Ze suggereren dat toekomstig werk de adaptieve planning van de selectieratio's ($p, q$) kan verkennen naarmam de training vordert.