Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation

Questo lavoro introduce il framework Generalized On-Policy Distillation (G-OPD), che estende la distillazione on-policy standard attraverso un fattore di scaling del reward e un modello di riferimento flessibile, dimostrando che l'estrapolazione del reward (ExOPD) e la correzione del reward basata sul modello pre-RL del docente permettono di superare le prestazioni dei modelli insegnanti in compiti di ragionamento matematico e generazione di codice.

L'essenziale

Immagina di avere un maestro di scacchi (il "Teacher") e un allievo (lo "Studente"). L'obiettivo è far diventare l'allievo bravo quanto il maestro, o addirittura meglio, senza che il maestro debba giocare ogni singola partita al posto suo.

Fino a poco tempo fa, il metodo standard era come guardare le partite giocate dal maestro e copiarle alla lettera (distillazione "off-policy"). Ma questo ha un limite: l'allievo impara solo a ripetere, non a pensare da solo quando si trova in una situazione nuova.

Poi è arrivato un metodo migliore chiamato OPD (Distillazione On-Policy): l'allievo gioca le sue partite, e il maestro lo corregge mentre lui sta giocando, riga per riga. È molto efficace, ma c'era un problema: l'allievo imparava esattamente come il maestro, non di più. Se il maestro sbagliava, l'allievo sbagliava anche lui.

Gli autori di questo paper (Wenkai Yang e colleghi) hanno scoperto come rompere questo limite. Ecco la loro idea spiegata in modo semplice:

1. La Scoperta: Il "Volume" della Ricompensa

Immagina che il maestro dia all'allievo un feedback dopo ogni mossa. Nel metodo normale, questo feedback ha un "volume" fisso.
Gli autori hanno detto: "E se alzassimo il volume di questo feedback?"

Hanno introdotto un interruttore chiamato fattore di scala della ricompensa (che chiamano $\lambda$).

• Volume basso (0 < $\lambda$ < 1): L'allievo impara qualcosa di più della sua base, ma meno del maestro. È come un compromesso.
• Volume normale ($\lambda$ = 1): È il metodo standard. L'allievo diventa una copia esatta del maestro.
• Volume alto ($\lambda$ > 1): Qui avviene la magia. Chiamano questo metodo ExOPD (Extrapolation). Invece di copiare il maestro, l'allievo prende il consiglio del maestro e lo spinge oltre.

L'analogia della corsa:
Se il maestro corre a 10 km/h e ti dice "corri a 10 km/h", tu corri a 10.
Con l'ExOPD, il maestro ti dice "corri a 10 km/h", ma tu, alzando il volume, pensi: "Ok, il maestro mi spinge al limite, quindi se spingo il motore un po' di più, posso correre a 11 km/h!".
Risultato? L'allievo supera il maestro.

2. Il Caso dei "Maestri Specializzati" (Multi-Teacher)

Immagina di avere tre maestri diversi:

1. Un maestro di Matematica.
2. Un maestro di Codice informatico.
3. Un maestro di Scrittura creativa.

Ognuno è bravissimo nella sua materia, ma pessimo nelle altre. Se provi a fondere le loro conoscenze in un unico studente, di solito ottieni uno studente "medio" che non è bravo in nulla.

Con il loro metodo ExOPD, succede qualcosa di incredibile: lo studente riesce a imparare da tutti e tre, ma spingendo il volume della ricompensa in alto, diventa più bravo di tutti i maestri individuali. È come se lo studente avesse preso la matematica del primo, il codice del secondo e la creatività del terzo, e li avesse mescolati in una ricetta perfetta che supera i singoli ingredienti.

3. Il Trucco del "Maestro Prima della Trasformazione" (Correzione della Ricompensa)

C'è un secondo trucco, utile quando l'allievo è molto piccolo e il maestro è un gigante (es. un modello da 1.7 miliardi di parametri contro uno da 30 miliardi).

Il problema è che il piccolo allievo e il grande maestro hanno "linguaggi" interni diversi. Quando il maestro dà un consiglio, il piccolo allievo potrebbe fraintenderlo perché non ha la stessa "esperienza di base".

Gli autori suggeriscono di usare come riferimento non solo il maestro attuale, ma anche la versione del maestro prima che diventasse un esperto (il "maestro base").

• Analogia: Immagina di insegnare a un bambino a suonare il violino. Se usi solo il consiglio di un virtuoso, il bambino potrebbe non capire perché quel consiglio funziona. Ma se usi anche il consiglio di come suonava quel virtuoso quando era ancora un principiante, il bambino capisce meglio il percorso.
  Questo "aggiustamento" (Reward Correction) rende il segnale di apprendimento più pulito e preciso, permettendo allo studente piccolo di imparare ancora meglio.

In Sintesi: Cosa hanno scoperto?

1. Non copiare, spingi oltre: Aumentando il "volume" della ricompensa (ExOPD), gli studenti possono superare i loro maestri, non solo imitarli.
2. Fusione perfetta: Questo metodo permette di unire le conoscenze di più esperti in un unico modello che è migliore di tutti loro messi insieme.
3. Ponte tra giganti e nani: Usando il "maestro prima della trasformazione" come guida, anche i modelli piccoli possono imparare dai giganti in modo molto più efficiente.

In pratica, hanno trasformato l'apprendimento automatico da un semplice "copiaincolla" in un processo creativo dove l'intelligenza artificiale impara a pensare oltre le istruzioni che le vengono date.

Sommario tecnico

Titolo: Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation

Data: 27 Febbraio 2026
Autori: Wenkai Yang, Weijie Liu, Ruobing Xie, Kai Yang, Saiyong Yang, Yankai Lin (Renmin University of China & Tencent)

---

1. Il Problema

La Distillazione On-Policy (OPD) è emersa come un paradigma efficace per il post-addestramento dei Large Language Models (LLM), permettendo allo studente di apprendere dalle supervisioni del maestro (logit) su traiettorie generate dallo studente stesso, superando spesso i metodi off-policy e il Reinforcement Learning (RL) standard. Tuttavia, la comprensione meccanica dell'OPD è limitata e il suo potenziale non è stato pienamente esplorato.
Le limitazioni principali includono:

• Mancanza di una comprensione teorica profonda del legame tra OPD e RL.
• L'OPD standard fissa un peso uguale (1:1) tra la funzione di ricompensa e la regolarizzazione KL, limitando la flessibilità nell'apprendimento.
• Difficoltà nel fondere conoscenze da più esperti di dominio o nel superare i limiti di performance del maestro, specialmente in scenari di distillazione "da forte a debole" (strong-to-weak).

2. Metodologia: G-OPD (Generalized On-Policy Distillation)

Gli autori propongono un quadro teorico e pratico chiamato G-OPD, che generalizza l'obiettivo OPD standard.

Connessione Teorica

Il lavoro dimostra che l'OPD è un caso speciale di RL denso con vincolo KL, dove:

1. La funzione di ricompensa è definita implicitamente come il rapporto logaritmico tra le probabilità del maestro e di un modello di riferimento.
2. Il peso della ricompensa e della regolarizzazione KL è fissato a 1.
3. Il modello di riferimento può essere scelto arbitrariamente.

Formulazione Generalizzata

Gli autori introducono due componenti chiave per generalizzare l'obiettivo:

1. Fattore di Scala della Ricompensa ($\lambda$): Un parametro che controlla il peso relativo della funzione di ricompensa rispetto alla regolarizzazione KL.

   • L'obiettivo generalizzato è:
     $$J_{G-OPD}(\theta) = \max_{\theta} \mathbb{E}_{x,y} \left[ \lambda \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)} - D_{KL}(\pi_\theta(y|x) \parallel \pi_{ref}(y|x)) \right]$$
   • Interpolazione ($0 < \lambda < 1$): Lo studente apprende un comportamento intermedio tra il modello di riferimento e il maestro.
   • Estrapolazione ($\lambda > 1$): Chiamata ExOPD, questa modalità spinge lo studente a superare i limiti di capacità del maestro, adattando la distribuzione log-probabilità oltre quella del maestro.

2. Modello di Riferimento Flessibile ($\pi_{ref}$):

   • In OPD standard, $\pi_{ref}$ è solitamente lo stato iniziale dello studente.
   • In G-OPD, $\pi_{ref}$ può essere qualsiasi modello. In particolare, nella distillazione "da forte a debole", gli autori suggeriscono di usare il modello base del maestro (pre-RL) come riferimento per correggere il segnale di ricompensa, riducendo il rumore causato dal divario di capacità tra maestro e studente.

3. Contributi Chiave

1. Quadro Teorico Unificato: Dimostrazione che l'OPD è un caso particolare di RL denso vincolato da KL, aprendo la strada a nuove formulazioni.
2. ExOPD (Reward Extrapolation): L'identificazione che impostare $\lambda > 1$ permette allo studente di superare le prestazioni del maestro (learning beyond teacher), un risultato controintuitivo rispetto alla distillazione tradizionale.
3. Correzione della Ricompensa: La proposta di utilizzare il modello base pre-RL del maestro come riferimento nella distillazione da forte a debole per ottenere segnali di ricompensa più accurati.
4. Fusione Multi-Esperto: Dimostrazione che ExOPD può fondere efficacemente le capacità di più esperti di dominio (addestrati su domini diversi) in un unico modello studente che supera tutti gli esperti individuali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su compiti di ragionamento matematico (benchmark come AIME, HMMT) e generazione di codice (HumanEval+, MBPP+, LiveCodeBench).

A. Distillazione Same-Size (Stesso Modello Base)

• Scenario: Il maestro è una variante RL del modello studente su un dominio specifico.
• Risultati:
  • L'ExOPD ($\lambda = 1.25$) supera costantemente l'OPD standard e i maestri di dominio.
  • In un setting Multi-Maestro (fusione di esperti Matematica e Codice), ExOPD è l'unico metodo che produce uno studente unificato capace di superare tutti gli insegnanti di dominio su tutti i benchmark.
  • L'interpolazione ($\lambda < 1$) permette un controllo del budget di ragionamento (lunghezza delle risposte), mentre l'estrapolazione aumenta sia la precisione che la lunghezza delle risposte.

B. Distillazione Strong-to-Weak (Da Grande a Piccolo)

• Scenario: Distillare un modello grande (es. Qwen3-30B) in uno piccolo (es. Qwen3-1.7B o 4B).
• Risultati:
  • ExOPD supera significativamente sia la SFT (off-policy) che l'OPD standard.
  • L'applicazione della correzione della ricompensa (usando il modello base pre-RL del maestro come riferimento) porta a ulteriori miglioramenti, confermando che un riferimento più accurato riduce il rumore nel segnale di apprendimento.

5. Significato e Implicazioni

• Superamento dei Limiti del Maestro: Il lavoro sfida il dogma secondo cui uno studente distillato non può superare il maestro, mostrando che un'adeguata estrapolazione della ricompensa può estrarre e potenziare capacità latenti.
• Flessibilità nel Post-Training: G-OPD offre un controllo fine (tramite $\lambda$) sul comportamento dello studente, permettendo di bilanciare tra stabilità (interpolazione) e massimizzazione delle prestazioni (estrapolazione).
• Efficienza nella Fusione di Modelli: Fornisce un metodo robusto per integrare conoscenze specializzate da più modelli RL senza degradare le prestazioni complessive, risolvendo il problema del "catastrophic forgetting" o della fusione subottimale.
• Nuova Direzione per la Ricerca: Suggerisce che la scelta del modello di riferimento e il bilanciamento dei pesi nella funzione obiettivo sono parametri critici, spesso più importanti della semplice architettura del modello, per il successo della distillazione on-policy.

In sintesi, il paper introduce un framework teorico solido e pratiche empiriche (ExOPD) che permettono di spingere le capacità dei modelli LLM oltre i limiti imposti dai loro insegnanti, offrendo nuove prospettive per l'addestramento efficiente e la fusione di modelli intelligenti.