Technische Samenvatting: Over de Geometrie van On-Policy Distillatie

Probleemstelling

Large Reasoning Models (LRMs) zijn aanzienlijk geavanceerd door post-training paradigma's, primair Supervised Fine-Tuning (SFT) en Reinforcement Learning met Verifieerbare Beloningen (RLVR). Recentelijk is On-Policy Distillatie (OPD) opgekomen als een complementaire benadering, waarbij een studentmodel wordt getraind op zijn eigen gesamplede trajecten met behulp van dichte, op tokenniveau gebaseerde begeleiding van een sterkere teacher. Hoewel OPD empirisch nuttig is, blijft de dynamiek in de parameterruimte slecht begrepen. Specifiek is het onduidelijk of OPD een eenvoudige interpolatie is tussen de geometrische voetafdrukken van SFT en RLVR, of dat het een afzonderlijk optimalisatie-traject induceert. Het artikel adresseert drie kernvragen:

1. Waar bevindt OPD zich binnen het parameter-ruimte spectrum tussen SFT en RLVR?
2. Welk intrinsiek update-traject volgt OPD tijdens de training?
3. Welke component van de OPD-doelstelling controleert dit traject?

Methodologie

De auteurs analyseren de geometrie van OPD-updates met behulp van een reeks parameter-ruimte diagnostieken toegepast op checkpoints van de Qwen3-familie (specifiek Qwen3-8B). De experimentele opzet vergelijkt drie paradigma's die geïnitialiseerd zijn vanuit een gedeelde SFT-anker (voor OPD en RLVR) of een pre-trained base (voor SFT):

• SFT: Standaard supervised fine-tuning op offline demonstraties.
• RLVR: Policy optimalisatie met ijle (sparse), op outcome-niveau gebaseerde beloningen (GRPO).
• OPD: On-policy distillatie met dichte, op tokenniveau gebaseerde teacher-supervisie.

De analyse maakt gebruik van vier primaire diagnostieken om updates ($\Delta W = W_+ - W_0$) te karakteriseren:

1. Update Sparsity: Het meten van het fractie onveranderde gewichten bij bfloat16 precisie.
2. Principal-Angle Rotation: Het kwantificeren van de rotatie van dominante singuliere subruimtes ($U, V$) tussen de initiële en finale gewichten.
3. Spectral Drift: Het meten van de genormaliseerde spectrale verschuiving (NSS) van singuliere waarden.
4. Update-Mask Overlap: Bepalen of zichtbare updates concentreren op de principale (hoog-krommings) of laag-magnitude gewichten.

Om trainingsdynamiek te onderzoeken, volgen de auteurs cumulatieve updates ($\Delta W_t$) over checkpoints met behulp van stable rank, Frobenius normen en Hill tail schattingen. Ze voeren verder controle-experimenten uit door drie factoren te verstoren: token-supervisie dichtheid (sparsificatie), rollout policy (off-policy generatie) en doelstelling-compositie (interpolatie tussen OPD en RLVR advantages).

Belangrijkste Bijdragen en Resultaten

1. OPD Bevindt Zich in een "Ontspannen Off-Principal" Regime

De studie plaatst OPD in een duidelijke regio van de parameterruimte, tussen SFT en RLVR in, maar met een bias richting de RLVR-zijde.

• Sparsity: OPD vertoont een intermediaire update sparsity (51,6% onveranderde gewichten), vallend tussen de dichte updates van SFT (8,1% onveranderde gewichten) en de ijle updates van RLVR (77,2% onveranderde gewichten).
• Geometrie: OPD induceert minder subspace rotatie en spectrale drift dan SFT, maar meer dan RLVR.
• Lokalisatie: OPD-updates verschuiven weg van de principale gewichten en naar gebieden met lage magnitude, vergelijkbaar met RLVR, maar met een grotere zichtbare support (lagere selectiviteit).
• Interpretatie: De auteurs stellen een "Ontspannen Drie-Poorten" visie voor. OPD behoudt de geometrie-preserverende bias van RLVR (Poort II: modelgeometrie stuurt updates weg van de principale richtingen), maar ontspant de selectiviteit door de dichte token-niveau supervisie (Poort I: distributionele anker), waardoor meer coördinaten de precisie-realisatie drempel overschrijden (Poort III).

2. Subspace Locking

OPD volgt een afzonderlijk traject gekenmerkt door subspace locking.

• Vroege Convergentie: In tegen tegenstelling tot SFT (dat zijn update-subspace uitbreidt) of RLVR (dat laat contraheert), komt OPD vroeg in de training snel in een smalle, laag-dimensionale update-band terecht.
• Stabiliteit: Deze laag-dimensionale kanaal emergeert vroeg (binnen de eerste gemeten checkpoints) en blijft persistent gedurende de training.
• Functionele Sufficiëntie: Het beperken van de daaropvolgende training tot de laag-dimensionale subspace (rank-16) die vroeg in de OPD-training gevormd is, behoudt de OPD-prestaties. In contrast hiermee degradeert dezelfde beperking de SFT-prestaties significant. Dit geeft aan dat de vergrendelde subspace functioneel voldoende is voor OPD-leren.
• Magnitude: OPD accumuleert een substantieel grotere cumulatieve update norm dan RLVR, terwijl een vergelijkbare stable rank behouden blijft, wat de mogelijkheid uitsluit dat lage dimensionaliteit slechts een artefact is van verwaarloosbare parameterbeweging.

3. Doelstelling-Compositie Controleert het Traject

Controle-experimenten onthullen dat het subspace locking mechanisme robuust is tegen runtime-perturbaties, maar gevoelig is voor de compositie van de doelstelling.

• Robuustheid: Token sparsificatie (het verminderen van supervisie-dichtheid) en off-policy rollouts (gebruik van teacher-gegenereerde data) behouden het stable-rank traject van OPD, en beïnvloeden enkel de update-schaal.
• Gevoeligheid: Het interpoleren van de OPD-doelstelling met het RLVR advantage signaal verandert de rank-dynamiek. Wanneer de OPD-component wordt verzwakt, wijkt het traject af van het locked regime.
• Mechanisme: De auteurs argumenteren dat token sparsificatie en off-policy rollouts de gradiënt-covariantie slechts herschalen, waardoor de dominante spectrale richtingen behouden blijven. In contrast hiermee verandert het mengen van doelstellingen de bron van de gradiënt zelf, wat de dominante covariantie-geometrie verandert en het locked traject doorbreekt.

Betekenis en Claims

Het artikel claimt dat OPD niet louter een intermediair eindpunt is tussen SFT en RLVR, maar een eigen unieke update-geometrie induceert. De primaire betekenis ligt in het identificeren van subspace locking als een fundamentele eigenschap van OPD-training.

De auteurs suggereren dat toekomstige OPD-algoritmen ontworpen moeten worden met geometrie-controle in gedachten, in plaats van token-niveau supervisie-dichtheid als de primaire ontwerp-as te behandelen. Effectieve recepten zouden:

• De vroeg-emergerende, persistente laag-dimensionale update-kanaal monitoren en exploiteren.
• Doelstelling-compositie gebruiken als de primaire hefboom voor het reguleren van de update-geometrie.
• Token selectie en rollout policies behandelen als secundaire factoren die de update-schaal beïnvloeden, in plaats van de fundamentele spectrale structuur.

Het artikel concludeert dat deze diagnostieken een parameter-ruimte account bieden van OPD, wat een fundament legt voor meer stabiele, interpreteerbare en overdraagbare geometrie-bewuste optimalisatiestrategieën. De auteurs merken beperkingen op met betrekking tot de focus op gecontroleerde Qwen3 reasoning settings en de afhankelijkheid van checkpoint-gebaseerde diagnostieken in plaats van formele causale theorieën.