Sintesi Tecnica: Generalizzazione da Debole a Forte tramite Distillazione On-Policy Diretta

1. Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un paradigma dominante per potenziare le capacità di ragionamento dei Large Language Models (LLM). Tuttavia, l'RLVR è computazionalmente costoso perché ogni aggiornamento dell'addestramento richiede che il modello target generi rollout, riceva punteggi verificabili e aggiorni la propria policy. Man mano che la scala dei modelli aumenta, il costo della generazione di questi rollout cresce, rendendo il riesecuzione dell'RLVR da zero per ogni nuovo modello più forte un collo di bottiglia significativo.

Il documento affronta la sfida della Generalizzazione da Debole a Forte (Weak-to-Strong Generalization): un modello addestrato tramite RL su un modello "insegnante" più piccolo e debole può essere utilizzato per migliorare un modello "studente" più grande e forte?

• Il limite della distillazione ingenua: Distillare semplicemente la policy finale di un debole insegnante post-RL (Distillazione On-Policy o OPD) è insufficiente. La policy finale dell'insegnante intreccia i miglioramenti utili appresi tramite RL con i limiti intrinseci di capacità del modello più piccolo. Se lo studente è già più forte dell'insegnante, imitare la distribuzione finale dell'insegnante può degradare le prestazioni dello studente sovrascrivendo i suoi comportamenti superiori.
• La domanda centrale: Come si può trasferire il segnale di miglioramento indotto dall'RL da un modello debole a un modello forte senza ereditare il limite di capacità del modello debole?

2. Metodologia: Distillazione On-Policy Diretta (Direct-OPD)

Gli autori propongono la Direct-OPD, un paradigma che trasferisce lo shift della policy indotto dall'RL su un modello debole, piuttosto che la policy finale dell'insegnante stessa.

2.1 Il Segnale Centrale: Lo Shift della Policy come Ricompensa Implicita

Invece di addestrare lo studente a corrispondere alla distribuzione di output dell'insegnante $\pi_T$, la Direct-OPD isola il cambiamento causato dall'RL contrastando la $\pi_T$ post-RL con la sua $\pi_{Tref}$ pre-RL.
Lo shift della policy è definito come:
$$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$$
Sotto il framework della RL regolarizzata tramite KL, questo rapporto logaritmico è matematicamente equivalente al segnale di ricompensa implicito che ha addestrato l'insegnante (fino a un fattore di scala e una costante). Pertanto, la coppia di checkpoint $(\pi_{Tref}, \pi_T)$ codifica il segnale di ricompensa direttamente nello spazio delle policy.

2.2 La Funzione Obiettivo

La Direct-OPD applica questo segnale di shift agli stati on-policy dello studente stesso. Sia $\pi_\theta$ la policy dello studente inizializzata da $\pi_S$. L'obiettivo ottimizza lo studente per seguire la direzione dello shift dell'insegnante, regolarizzandolo al contempo per evitare di allontanarsi troppo dalla propria inizializzazione:
$$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$$

• Ricompensa Implicita Densa: Il termine $\Delta_T$ agisce come una ricompensa densa per ogni token. Per un token $v$ allo stato $s_t$, la ricompensa immediata è $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$.
• Campionamento On-Policy: Lo studente campiona le proprie traiettorie. Il gradiente è calcolato sui prefissi visitati dallo studente, garantendo che il segnale sia applicato agli stati che lo studente incontra effettivamente.
• Approssimazione Top-K: Per rendere efficiente l'addestramento, il metodo restringe il calcolo della ricompensa ai primi $k$ token dello studente ad ogni step, utilizzando uno stimatore Rao-Blackwellized per ridurre la varianza.

2.3 Controllo KL Adattivo

L'entità della ricompensa implicita $\Delta_T$ dipende dagli iperparametri di addestramento dell'insegnante (specificamente il budget KL $\beta$), che sono sconosciuti allo studente. Un coefficiente KL $\alpha$ fisso potrebbe non scalare in modo robusto tra diverse coppie insegnante-studente.
Gli autori introducono un controllore KL adattivo leggero che regola $\alpha$ in base alla media a livello di batch del segnale di shift pesato. Se lo shift medio è positivo (indicando che l'RL dell'insegnante ha generalmente aumentato la probabilità sui token mantenuti), $\alpha$ aumenta per prevenire la sovra-amplificazione; se negativo, $\alpha$ diminuisce per permettere allo studente di allontanarsi dai token soppressi.

3. Contributi Chiave

1. Un Nuovo Paradigma Debole-a-Forte: Il documento ricategorizza l'RL su modelli piccoli non come una fonte di una policy finale da imitare, ma come un generatore economico di un segnale di ricompensa implicita. Valutando lo shift della policy dell'insegnante sugli stati dello studente, la Direct-OPD trasferisce la direzione del miglioramento piuttosto che la capacità dell'insegnante.
2. Guadagni Coerenti tra le Scale: Il metodo migliora costantemente gli studenti più forti utilizzando insegnanti più deboli. In particolare, migliora studenti (es. R1-Distill-7B, Qwen3-4B) che sono già superiori all'insegnante post-RL, uno scenario in cui la distillazione standard fallisce.
3. Efficienza Computazionale: La Direct-OPD è significativamente più economica rispetto all'esecuzione diretta dell'RL su modelli grandi. Sfrutta la stabilità e la velocità dell'RL su modelli piccoli e aggiunge solo una fase di trasferimento breve ed economica.
4. Composizione Sequenziale: Il metodo consente la composizione sequenziale di molteplici shift di policy da diverse coppie insegnante-studente, consentendo l'accumulo di distinte capacità di ragionamento in un singolo studente.

4. Risultati Sperimentali

Gli autori valutano la Direct-OPD su benchmark di ragionamento matematico (AIME 2024 e AIME 2025) utilizzando varie famiglie di modelli (Qwen3, R1-Distill, Nemotron).

• Trasferimento da Debole a Forte:
  • Qwen3-1.7B: È migliorato dal 48.3% al 58.3% su AIME 2024 in sole 4 ore utilizzando 8 GPU A100, trasferendo lo shift da un insegnante da 1.5B.
  • Studenti Più Forti: Ha migliorato con successo R1-Distill-7B (inizialmente 56.7%) e Qwen3-4B (inizialmente 72.5%), entrambi partiti con un'accuratezza superiore all'insegnante post-RL (51.3%). La OPD standard ha degradato le prestazioni in questi casi.
• Confronto con l'RL Diretto:
  • Sotto un budget di step equivalente, l'esecuzione dell'RL su un modello da 1.5B e il successivo trasferimento tramite Direct-OPD ha superato l'esecuzione diretta dell'RL su un modello da 7B sia in accuratezza che in tempo di calcolo.
  • La fase di trasferimento aggiunge un tempo trascurabile (~4 ore) rispetto alle settimane richieste per l'RL su larga scala diretta.
• Composizione Sequenziale:
  • L'applicazione sequenziale di due distinti shift di policy (da insegnanti JustRL e QuestA) a Qwen3-1.7B ha prodotto guadagni cumulativi, portando l'accuratezza su AIME 2024 dal 48.3% al 63.8%.
• Proprietà di Generalizzazione:
  • Sovrapposizione di Token: A differenza della OPD standard, la Direct-OPD non richiede un'alta sovrapposizione di token top-k tra insegnante e studente. Funziona anche quando i pattern di pensiero dello studente differiscono significativamente da quelli dell'insegnante.
  • Orizzonte (Horizon): L'addestramento a orizzonte breve (2k token) si generalizza efficacementamente a rollout lunghi, catturando il segnale trasferibile senza il rumore di sequenze molto lunghe.

5. Significato e Rivendicazioni

Il documento afferma che gli esiti dell'RL possono essere riutilizzati tra diverse scale di modelli come segnali di ricompensa impliciti, non semplicemente come modelli finali da imitare.

• Riformulazione dell'RL: Il lavoro sposta la prospettiva dell'addestramento RL dalla produzione di un "modello finale" alla produzione di uno "shift di policy" che codifica un panorama di ricompense. Questo shift è un asset trasferibile che è indipendente dalla specifica capacità del modello che lo ha generato.
• Scalabilità: Disaccoppiando la costosa ricerca RL (effettuata su modelli piccoli) dal deployment finale (su modelli grandi), la Direct-OPD offre un percorso scalabile per i modelli di ragionamento post-training senza il costo proibitivo di rieseguire l'RL su ogni nuova architettura più grande.
• Robustezza: Il metodo è robusto rispetto ai mismatch tra famiglie di modelli e capacità iniziali, a patolo che lo shift indotto dall'RL sia significativo sugli stati visitati dallo studente.

Gli autori concludono che la Direct-OPD fornisce un meccanismo pratico, efficiente e teoricamente fondato per la generalizzazione da debole a forte, consentendo il riutilizzo dei segnali di supervisione RL attraverso diverse scale di modelli e architetture.