Riepilogo Tecnico: Oltre GRPO e Distillazione On-Policy

Enunciato del Problema

Nel post-addestramento dei modelli linguistici di grandi dimensioni (LLM) per compiti verificabili (ad esempio, il ragionamento matematico), i dati di addestramento etichettati rappresentano il principale collo di bottiglia. A differenza dei dati di pre-addestramento o delle simulazioni (rollouts) degli insegnanti, che possono scalare con la potenza di calcolo, i dati etichettati per compiti con risposte verificabili (che richiedono un valutatore) sono scarsi e costosi da generare.

La pratica industriale standard consiste nell'applicare direttamente questi scarsi dati etichettati al modello di deployment (lo "studente") utilizzando algoritmi di apprendimento per rinforzo (RL) a ricompensa sparsa come GRPO. Questo documento sostiene che tale allocazione è inefficiente. Un piccolo modello di deployment spesso manca della capacità di generare traiettorie di successo con frequenza sufficiente per apprendere efficacemente da ricompense sparse a livello di sequenza. Di conseguenza, il segnale del gradiente collassa e i dati etichettati producono risultati subottimali.

Metodologia Principale: Il Principio della Densità di Ricompensa

Il documento propone un Principio della Densità di Ricompensa per ottimizzare l'allocazione dei scarsi dati etichettati. Esso postula che le ricompense sparse a livello di sequenza e le ricompense dense a livello di token degli insegnanti esistano sullo stesso asse di un obiettivo di politica regolarizzato KL, ma svolgano ruoli diversi a seconda della capacità del modello:

1. Ricompensa Sparsa (Scoperta lato Insegnante): Le ricompense sparse sono non distorte ma richiedono una politica capace di campionare traiettorie di successo per essere informative. Dovrebbero essere applicate a un modello insegnante più grande e più potente che possa convertire segnali sparsi in una distribuzione "modellata dalla ricompensa".
2. Ricompensa Densa (Compressione lato Studente): Le ricompense dense (derivate dalle log-probabilità dell'insegnante) forniscono un segnale ad ogni token ma sono distorte verso l'insegnante. Sono ideali per comprimere il comportamento dell'insegnante in uno studente di deployment più piccolo.

La Pipeline Proposta

Gli autori propongono una pipeline a tre stadi che riordina la sequenza standard di post-addestramento:

• Stadio 1: Scoperta lato Insegnante. Applicare la ricompensa sparsa (ad esempio, GRPO) a un grande modello insegnante utilizzando i scarsi dati etichettati. Questo crea una politica insegnante modellata dalla ricompensa ($\pi_T$).
• Stadio 2: Il Ponte Densità a Due Stadi. Trasferire il comportamento dell'insegnante allo studente attraverso un processo in due passaggi per garantire stabilità e copertura:
  • Riscaldamento Forward-KL (FKL): Addestrare lo studente sui rollouts dell'insegnante per coprire il supporto dell'insegnante (copertura dei modi). Questo risolve il "mismatch di supporto" in cui i rollouts iniziali dello studente non si sovrappongono agli stati utili dell'insegnante.
  • Distillazione On-Policy (OPD): Addestrare lo studente sui propri rollouts utilizzando le log-probabilità dell'insegnante come segnale di ricompensa densa ($r_T(s, y) = \beta \log \pi_T(y|s)$). Questo è equivalente a un RL a massima entropia con una ricompensa densa.
• Stadio 3: RL dello Studente Post-Ponte (Opzionale). Se rimangono dati etichettati, applicare la ricompensa sparsa direttamente allo studente ora preparato. Il ponte garantisce che lo studente sia sufficientemente "addestrabile" per beneficiare di questo segnale sparsa finale.

Contributi Chiave

Il documento apporta tre contributi principali, validati su compiti matematici verificabili (MATH, AIME 2024/2025) utilizzando le famiglie di modelli Qwen3 e Llama:

1. Allocazione Insegnante-Prima: Allocare i scarsi dati etichettati al RL lato insegnante seguito da un trasferimento denso produce uno studente più forte rispetto all'allocazione degli stessi dati al RL diretto dello studente. È cruciale che l'insegnante sia modellato dalla ricompensa; trasferire un insegnante grezzo o solo SFT (Supervised Fine-Tuning) performa peggio del GRPO diretto, dimostrando che la scala da sola è insufficiente.
2. Superiorità del Ponte a Due Stadi: Un ponte costituito da un riscaldamento Forward-KL seguito da OPD supera costantemente le alternative a stadio singolo (SFT campionata dall'insegnante o OPD-only). Il riscaldamento garantisce che lo studente entri nella regione di supporto dell'insegnante, rendendo lo stadio successivo OPD on-policy ben condizionato.
3. Efficacia del RL dello Studente Post-Ponte: Una volta stabilito il ponte, il RL a ricompensa sparsa sullo studente diventa efficace. Il GRPO diretto su uno studente "freddo" è debole, ma il GRPO su uno studente che ha attraversato il ponte solleva significativamente le prestazioni (ad esempio, +3.1 punti su MATH) e supera i controlli di replay che riutilizzano i dati del ponte.

Risultati Sperimentali

Gli esperimenti sono stati condotti con una dimensione fissa dello studente di deployment (Qwen3-1.7B) e dimensioni variabili degli insegnanti (8B, 14B e 70B Llama).

• Guadagni di Prestazione:
  • MATH: La pipeline proposta (Insegnante 8B addestrato con RL + Ponte) ha raggiunto un'accuratezza del 79,3%, superando il GRPO diretto sullo studente 1.7B (75,9%) e il trasferimento da un insegnante 8B grezzo (71,5%).
  • AIME 2024: La pipeline ha raggiunto il 25,2%, rispetto al 19,8% del GRPO diretto.
  • Validazione Llama: Lo stesso ordine si è mantenuto per i modelli Llama: Trasferimento Raw-70B (55,4%) < GRPO diretto (59,8%) < Trasferimento RL'd-70B (62,1%).
• Risultati delle Ablazioni:
  • Qualità dell'Insegnante: Trasferire un insegnante prima che subisca il RL a ricompensa sparsa risulta in prestazioni peggiori del GRPO diretto dello studente. L'insegnante deve prima scoprire un comportamento modellato dalla ricompensa.
  • Necessità del Ponte: Rimuovere il riscaldamento Forward-KL (solo OPD) o sostituire il ponte con SFT campionata dall'insegnante risulta in prestazioni inferiori, confermando la necessità di una copertura off-policy del supporto e di un affinamento on-policy.
  • Allocazione dei Dati: Utilizzare tutti i dati etichettati a monte per l'insegnante (Percorso lato Insegnante) ha prodotto risultati leggermente migliori (79,3%) rispetto alla divisione dei dati per il RL dello studente post-ponte (78,5%), sebbene quest'ultimo rimanga un'alternativa competitiva a costo inferiore.

Significato e Implicazioni Operative

Il documento ridefinisce il panorama del post-addestramento non come un menu di algoritmi in competizione (SFT vs RL vs Distillazione), ma come un problema di allocazione basato sulla densità della ricompensa.

• Lezione Operativa: Evitare di utilizzare i scarsi dati etichettati sulla politica meno preparata (lo studente freddo). Invece, utilizzare la ricompensa sparsa a monte su un insegnante capace per scoprire il comportamento, convertire tale comportamento in supervisione densa tramite un ponte a due stadi, e solo successivamente considerare la ricompensa sparsa sullo studente se i dati lo consentono.
• Insight Teorico: Il lavoro unifica la Distillazione On-Policy (OPD) e il RL sparsa sotto un unico framework di obiettivo, differendo solo nella densità del segnale di ricompensa e nel modello che lo riceve. Dimostra che la "distillazione" è efficacemente RL a ricompensa densa, e la sua efficacia è strettamente limitata dalla qualità della distribuzione dell'insegnante.
• Limitazioni: Le prove sono attualmente limitate a compiti matematici verificabili e a specifiche famiglie di modelli (Qwen e Llama) con tokenizzatori condivisi. Il documento non afferma che il principio si applichi a compiti aperti senza verificatori o al trasferimento tra famiglie diverse senza vocabolari condivisi.