Technische Samenvatting: Weak-to-Strong Generalization via Direct On-Policy Distillation

1. Probleemstelling

Reinforcement Learning with Verifiable Rewards (RLVR) is een dominante paradigma geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's). RLVR is echter computationeel duur omdat elke trainingsupdate vereist dat het doelmodel rollouts genereert, verifieerbare scores ontvangt en zijn beleid (policy) bijwerkt. Naarmate de schaal van modellen toeneemt, groeit de kostenpost voor het genereren van deze rollouts, wat het opnieuw draaien van RLVR vanaf nul voor elk nieuw, sterker model een significante bottleneck maakt.

Het artikel behandelt de uitdaging van Weak-to-Strong Generalization: Kan een model dat getraind is via RL op een kleiner, zwakker "leraar"-model worden gebruikt om een groter, sterker "student"-model te verbeteren?

• De beperking van naïeve distillatie: Het simpelweg distilleren van het uiteindelijke beleid van een post-RL zwakke leraar (On-Policy Distillation of OPD) is onvoldoende. Het uiteindelijke beleid van de leraar verweeft de nuttige verbeteringen die via RL zijn geleerd met de intrinsieke capaciteitslimieten van het kleinere model. Als de student al sterker is dan de leraar, kan het imiteren van het uiteindelijke beleid van de leraar de prestaties van de student verslechteren door diens superieure gedrag te overschrijven.
• De kernvraag: Hoe kan men het door RL geïnduceerde verbeteringssignaal van een zwak model overbrengen naar een sterk model zonder de capaciteitsplafond van het zwakke model over te nemen?

2. Methodologie: Direct On-Policy Distillation (Direct-OPD)

De auteurs stellen Direct-OPD voor, een paradigma dat de beleidsverschuiving (policy shift) overbrengt die door RL op een zwak model is geïnduceerd, in plaats van het uiteindelijke beleid van de leraar zelf.

2.1 Het Kernsignaal: Beleidsverschuiving als Impliciete Beloning

In plaats van de student te trainen om de outputdistributie van de leraar $\pi_T$ te matchen, isoleert Direct-OPD de verandering veroorzaakt door RL door de post-RL leraar $\pi_T$ te contrasteren met de pre-RL referentie $\pi_{Tref}$.
De beleidsverschuiving wordt gedefinieerd als:
$$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$$
Onder het kader van KL-geregulariseerde RL is deze log-ratio wiskundig equivalent aan het impliciete beloningssignaal dat de leraar heeft getraind (tot een schaleringsfactor en een constante). De paren checkpoints $(\pi_{Tref}, \pi_T)$ coderen dus het beloningssignaal direct in de beleidsruimte.

2.2 De Doelfunctie

Direct-OPD past dit verschuivingssignaal toe op de eigen on-policy toestanden van de student. Laat $\pi_\theta$ het studentbeleid zijn, geïnitialiseerd vanuit $\pi_S$. De doelfunctie optimaliseert de student om de verschuivingsrichting van de leraar te volgen, terwijl wordt geregulariseerd tegen afwijken van de eigen initialisatie:
$$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$$

• Dense Impliciete Beloning: De term $\Delta_T$ fungeert als een dense, per-token beloning. Voor een token $v$ in staat $s_t$, is de onmiddellijke beloning $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$.
• On-Policy Sampling: De student samplet zijn eigen trajecten. De gradiënt wordt berekend op de door de student bezochte prefixes, waardoor het signaal wordt toegepast op toestanden die de student daadwerkelijk tegenkomt.
• Top-K Benadering: Om de training efficiënt te maken, beperkt de methode de berekening van de beloning tot de top-$k$ tokens van de student bij elke stap, gebruikmakend van een Rao-Blackwellized estimator om de variantie te verminderen.

2.3 Adaptieve KL-controle

De grootte van de impliciete beloning $\Delta_T$ hangt af van de trainingshyperparameters van de leraar (specifiek de KL-budget $\beta$), die onbekend zijn voor de student. Een vaste KL-coëfficiënt $\alpha$ werkt mogelijk niet robuust over verschillende leraar-student paren.
De auteurs introduceren een lichtgewicht adaptieve KL-controller die $\alpha$ aanpast op basis van het batch-niveau gemiddelde van het gewogen verschuivingssignaal. Als de gemiddelde verschuiving positief is (wat aangeeft dat de RL van de leraar de waarschijnlijkheid op behouden tokens over het algemeen heeft verhoogd), neemt $\alpha$ toe om over-amplificatie te voorkomen; als deze negatief is, neemt $\alpha$ af om toe te staan dat de student zich verwijdert van onderdrukte tokens.

3. Belangrijkste Bijdragen

1. Een Nieuw Weak-to-Strong Paradigma: Het artikel herformuleert de RL-training van kleine modellen niet als een bron van een definitief beleid om te imiteren, maar als een goedkope generator van een impliciet beloningssignaal. Door de beleidsverschuiving van de leraar te evalueren op de eigen toestanden van de student, draagt Direct-OPD de richting van verbetering over in plaats van de capaciteit van de leraar.
2. Consistente Winsten over Schalen: De methode verbetert consequent sterkere studenten met behulp van zwakkere leraren. Opmerkelijk genoeg verbetert het ook studenten (bijv. R1-Distill-7B, Qwen3-4B) die al beter presteren dan de post-RL leraar, een scenario waarin standaard distillatie faalt.
3. Computationele Efficiëntie: Direct-OPD is aanzienlijk goedkoper dan het direct draaien van RL op grote modellen. Het maakt gebruik van de stabiliteit en snelheid van kleine-model RL en voegt slechts een korte, goedkope transferfase toe.
4. Sequentiële Compositie: De methode maakt de sequentiële compositie van meerdere beleidsverschuivingen van verschillende leraar-paren mogelijk, wat het mogelijk maakt om verschillende redeneercapaciteiten te accumuleren in één enkele student.

4. Experimentele Resultaten

De auteurs evalueren Direct-OPD op wiskundige redeneerbenchmarks (AIME 2024 en AIME 2025) met diverse modelfamilies (Qwen3, R1-Distill, Nemotron).

• Weak-to-Strong Transfer:
  • Qwen3-1.7B: Verbeterde van 48.3% naar 58.3% op AIME 2024 in slechts 4 uur met 8 A100 GPU's, door de verschuiving van een 1.5B leraar over te dragen.
  • Sterkere Studenten: Verbetert succesvol R1-Distill-7B (oorspronkelijk 56.7%) en Qwen3-4B (oorspronkelijk 72.5%), die beide hoger begonnen qua nauwkeurigheid dan de post-RL leraar (51.3%). Standaard OPD verslechterde de prestaties in deze gevallen.
• Vergelijking met Directe RL:
  • Onder een gelijkwaardig aantal stappen (matched-step budget), presteerde het draaien van RL direct op een 1.5B model en het overdragen via Direct-OPD beter dan het direct draaien van RL op een 7B model, zowel in nauwkeurigheid als in computertijd.
  • De transferfase voegt een verwaarloosbare tijd toe (~4 uur) vergeleken met de weken die nodig zijn voor directe grootschalige RL.
• Sequentiële Compositie:
  • Het sequentieel toepassen van twee verschillende beleidsverschuivingen (van JustRL en QuestA leraren) op Qwen3-1.7B resulteerde in cumulatieve winsten, waarbij de AIME 2024 nauwkeurigheid steeg van 48.3% naar 63.8%.
• Generalisatie Eigenschappen:
  • Token Overlap: In tegen tegenover standaard OPD vereist Direct-OPD geen hoge top-k token overlap tussen leraar en student. Het werkt zelfs wanneer de denkpatronen van de student aanzienlijk verschillen van die van de leraar.
  • Horizon: Training met een korte horizon (2k tokens) generaliseert effectief naar lange rollouts, waardoor het overdraagbare signaal wordt gevangen zonder de ruis van zeer lange sequenties.

5. Betekenis en Claims

Het artikel claimt dat RL-uitkomsten kunnen worden hergebruikt over verschillende model-schalen als impliciete beloningssignalen, en niet enkel als definitieve modellen om te imiteren.

• Herformulering van RL: Het werk verschuift het perspectief van RL-training van het produceren van een "definitief model" naar het produceren van een "beleidsverschuiving" die een beloningslandschap codeert. Deze verschuiving is een overdraagbaar bezit dat onafhankelijk is van de specifieke modelcapaciteit die het genereerde.
• Schaalbaarheid: Door de dure RL-zoektocht (gedaan op kleine modellen) te ontkoppelen van de uiteindelijke implementatie (op grote modellen), biedt Direct-OPD een schaalbaar pad voor post-training redeneermodellen zonder de buitensporige kosten van het opnieuw draaien van RL bij elke nieuwe, grotere architectuur.
• Robuustheid: De methode is robuust tegen mismatches in modelfamilies en initiële capaciteiten, mits de RL-geïnduceerde verschuiving betekenisvol is op de bezochte toestanden van de student.

De auteurs concluderen dat Direct-OPD een praktisch, efficiënt en theoretisch gefundeerd mechanisme biedt voor weak-to-strong generalisatie, waardoor het hergebruik van RL-supervisiesignalen over verschillende model-schalen en architecturen mogelijk wordt.