Technische Samenvatting: On-Policy Distillatie Ontmaskerd

Probleemstelling

On-policy distillatie (OPD) is naar voren gekomen als een kernpost-trainingstechniek voor redeneringsmodellen, die dichte, per-token supervisie biedt om RL met schaarse beloningen aan te vullen. In dit paradigma leidt een "leraar"-model (een extern groter model of de student zelf met bevoorrechte context) de token-generatie van de student. Echter, praktici ontberen principiële richtlijnen voor cruciale ontwerpkeuzes:

• Selectie van de Leraar: Moet de leraar een extern groter model zijn of de student zelf (zelf-distillatie)?
• Contextontwerp: Welke specifieke context (bijv. volledige oplossingspaden, samengevatte oplossingen of voorbeelden van foutieve antwoorden) moet dienen als het supervisie-signaal?
• Granulariteit: Varieert de optimale configuratie per taak, studentcapaciteit of zelfs individuele tokens?

Huidige evaluatie vertrouwt op geaggregeerde prestatie-metrics van dure trainingsruns, wat de dynamiek op het niveau van individuele tokens verbergt. Het blijft onduidelijk onder welke omstandigheden het signaal van de leraar nuttig, neutraal of schadelijk is.

Methodologie

De auteurs introduceren een trainingsvrij diagnostisch kader dat werkt op de hoogste resolutie: per token, per vraag en per leraar-configuratie. Het kader bestaat uit drie hoofdcomponenten:

1. De Ideale Per-Node Gradiënt

Om leraar-geleiding te evalueren, leiden de auteurs een "ideale" gradiënt af die de kans van de student op het bereiken van een correct antwoord maximaal vergroot.

• Generatieboom: Ze ontleden het generatieproces in een boom waarbij knopen token-posities voorstellen en randen de volgende-token-keuzes.
• Empirische Succeswaarschijnlijkheid ($\hat{P}^k_{succ}$): Door rollouts van de student te bemonsteren, schatten ze de waarschijnlijkheid van het bereiken van een correct antwoord gegeven de selectie van token $k$ op knoop $u$.
• Ideaal Doel: Het ideale lokale doel is het maximaliseren van de verwachte succesratio: $L_{ideal}(u) = \sum_k P^k_\theta P^k_{succ}$.
• Ideale Gradiënt: De gradiënt van dit doel met betrekking tot de logits van de student wordt afgeleid als $g^{ideal}_j = P^j_\theta (P^j_{succ} - \bar{P}_{succ})$. Deze richting duwt de student naar tokens die vaker dan gemiddeld leiden tot succes.
• Verbinding met Dr. GRPO: De auteurs tonen aan dat Dr. GRPO (een variant van GRPO zonder lengtenormalisatie) deze ideale gradiënt in verwachting herwint, wat het valideert als een onbevooroordeelde schatter van het op beloningen gebaseerde signaal.

2. Analyse van Distillatie-Gradiënten

Het kader analyseert de gradiënten geproduceerd door verschillende distillatie-algoritmen (GKD, schatters met één steekproef, MiniLLM). Het toont aan dat deze methoden een gemeenschappelijke lokale structuur delen: $\frac{\partial L}{\partial z_j} = P^j_\theta (f_j - \bar{f})$, waarbij $f_j$ is afgeleid van de verdeling van de leraar (bijv. log-ratio's) of beloningen op traject-niveau.

3. Gradiënt-Alignement Score

Om te kwantificeren hoe goed een specifieke leraar-configuratie het ideale signaal benadert, definiëren de auteurs de Gradiënt-Alignement Score:
$$\text{Align}(u) = \cos(g^{ideal}_u, g^D_u)$$
Deze cosinus-afstand tussen de ideale gradiënt en de distillatie-gradiënt bij elk token meet of de geleiding van de leraar naar succes duwt (positieve alignement), naar falen (negatieve alignement) of orthogonaal/ruisachtig is (alignement dicht bij nul).

4. Schaalbare Schatting via Gerichte Rollouts

Het berekenen van $\hat{P}^k_{succ}$ voor alle tokens in lange redeneringsketens is computationeel onhaalbaar. De auteurs stellen een algoritme voor gerichte rollouts voor:

• Exponentiële Dieptefensters: De generatierij wordt opgedeeld in vensters van toenemende grootte.
• Prioritering: Binnen elk venster worden rollouts toegewezen aan tokens waar de leraar het sterkst van mening verschilt met de student (hoge GKD-gradiëntgrootte of waarschijnlijkheidsverschil).
• Efficiëntie: Deze benadering schaalt met een door de gebruiker gekozen budget in plaats van de sequentielengte, waardoor het haalbaar is voor sporen variërend van ~200 tokens (BoolQ) tot ~30.000 tokens (AIME).

Belangrijkste Resultaten

Het kader werd toegepast op Qwen3-0.6B en Qwen3-1.7B modellen over de BoolQ, MMLU en AIME 2025 datasets met 8 verschillende leraar-configuraties.

1. Distillatie Helpt Meer op Onjuiste Paden

De meest consistente bevinding is dat distillatie-geleiding significant hogere alignement vertoont op onjuiste rollouts dan op correcte.

• Wanneer de student zich op een falend pad bevindt, duwt de leraar betrouwbaar naar tokens die leiden tot succes.
• Wanneer de student zich al op een correct pad bevindt, wordt het signaal van de leraar ruisachtig en zwak gealigneerd met het ideaal, aangezien de student al goed presteert.
• Dit patroon geldt voor alle instellingen, modelgroottes en datasets.

2. Interactie tussen Contextontwerp en Studentcapaciteit

De optimale distillatie-context is niet universeel; deze hangt gezamenlijk af van de capaciteit van de student en de moeilijkheidsgraad van de taak:

• Kleine Modellen (0.6B): Profiteren het meest van zelf-distillatie met alleen correcte demonstraties in hun eigen redeneerstijl. Ze worstelen met het ontleden van redeneringspatronen van veel grotere externe leraren. Samengevatte contexten kunnen de prestaties schaden als de student volledige stap-voor-stap sporen nodig heeft.
• Grotere Modellen (1.7B): Kunnen externe leraren (bijv. Qwen3-8B) en samengevatte contexten effectief benutten, wat de alignement bijna verdubbelt in vergelijking met ruwe sporen.
• Foute Demonstraties: Het opnemen van verkeerde voorbeelden (Self-1C1W) schaadt over het algemeen de prestaties op korte redeneertaken (BoolQ, MMLU) door ruis in te brengen. Echter, op moeilijke wiskundeproblemen (AIME) bieden verkeerde demonstraties nuttige contrastieve signalen en worden ze de beste leraar-configuratie voor moeilijke vragen.

3. Geen Universeel Recept

Er is geen enkele leraar- of context-configuratie die de alignement maximaliseert over alle taken.

• Taakafhankelijkheid: Externe leraren presteren beter dan zelf-distillatie voor het 1.7B-model op BoolQ, maar niet op MMLU.
• Moeilijkheidsgraad-Afhankelijkheid: Bij moeilijke wiskunde verbetert het opnemen van een verkeerde demonstratie de alignement, terwijl het deze verslechtert op eenvoudigere taken.
• Voorspellende Grenzen: Hoewel divergentie tussen de verdelingen van student en leraar (KL, JS) positief correleert met alignement, is de correlatie zwak ($|\rho| < 0.05$). Divergentie kan dienen als een goedkope filter voor noodzakelijke voorwaarden, maar is geen betrouwbare voorspeller van of een specifiek meningsverschil nuttig is.

Betekenis en Claims

Het artikel claimt de eerste rigoureuze, trainingsvrije methodologie te bieden om de kwaliteit van leraar-geleiding op token-niveau te beoordelen. De primaire bijdragen zijn:

1. Diagnostisch Kader: Een schaalbare pijplijn om gradiënt-alignement offline te berekenen, wat onthult dat leraarsignalen een heterogene mix zijn van nuttige, neutrale en schadelijke bijdragen.
2. Mechanistisch Inzicht: De bevinding dat distillatie het meest effectief is op falende rollouts, suggereert dat huidige trainingspijplijnen, die alle tokens gelijk behandelen, mogelijk gradiëntbudget verspillen aan tokens waar de student al correct is.
3. Contextuele Nuance: De demonstratie dat "begrijpelijkheid" een sleutelfactor is – signalen zijn alleen nuttig als de student ze kan ontleden – verklaart waarom kleine modellen niet leren van veel grotere externe leraren en waarom contextontwerp (samenvatting versus ruwe sporen) moet worden afgestemd op de modelcapaciteit.
4. Toekomstige Richtingen: De resultaten motiveren diagnostische analyses per taak en per token en suggereren toekomstige trainingsalgoritmen die distillatieverlies kunnen wegen op basis van alignement (bijv. nadruk leggen op falende trajecten) of divergentie kunnen gebruiken als een schakelmechanisme.

De auteurs concluderen dat on-policy distillatie, hoewel een krachtig hulpmiddel, zijn effectiviteit sterk afhankelijk is van omstandigheden, en dat de "optimale" configuratie dynamisch verschuift op basis van de staat van de student, de moeilijkheidsgraad van de taak en het specifieke token dat wordt gegenereerd.