Riepilogo Tecnico: SAF-OPD (Stable Advantage Fusion for On-Policy Distillation)

Definizione del Problema

Il paper affronta l'instabilità e i limiti di performance derivanti dalla fusione di due distinti segnali di apprendimento per rinforzo: Reinforcement Learning with Verifiable Rewards (RLVR) e On-Policy Distillation (OPD).

• RLVR (es. GRPO): Fornisce un vantaggio ($A^{GRPO}_i$) a livello di risposta, sparso e verificato da un critico basato su regole. Questo segnale è limitato e normalizzato all'interno di un gruppo di campionamento, ma è grossolano, poiché tratta ogni token in una risposta come ugualmente responsabile del risultato.
• OPD: Fornisce un vantaggio ($A^{OPD}_{i,t}$) a livello di token, denso, derivato dal divario di log-probabilità tra una politica studentessa e un insegnante più forte. Questo segnale è denso ma illimitato e relativo alla distribuzione dell'insegnante, indipendentemente dalla correttezza di quest'ultimo.

Il problema centrale: Sommare semplicemente questi due vantaggi con un coefficiente fisso ($A^{total} = A^{GRPO} + A^{OPD}$) porta a due distinte forme di mancata calibrazione che destabilizzano l'addestramento:

1. Discrepanza di Magnitudo (Magnitude Mismatch): Il vantaggio OPD a livello di token è illimitato e con code pesanti. Una piccola frazione di token può produrre valori di ordini di grandezza superiori al vantaggio GRPO limitato, causando la dominanza numerica di questi specifici token sul gradiente e cancellando il segnale RLVR.
2. Discrepanza Temporale (Temporal Mismatch): Il valore di una guida dell'insegnante a piena forza non è costante. All'inizio dell'addestramento, una guida forte è benefica, ma man mano che la studentessa converge, mantenere la OPD a piena forza spinge la politica troppo strettamente verso l'insegnante. Ciò sopprime l'esplorazione (causando il collasso dell'entropia) e limita la performance della studentessa alla qualità dell'insegnante, impedendole di superare l'insegnante tramite il segnale RLVR verificato.

Metodologia: SAF (Stable Advantage Fusion)

Gli autori propongono SAF, un framework leggero che fonde i vantaggi tramite una pipeline a quattro stadi applicata solo alla branca OPD prima di combinarla con l'incolumato vantaggio GRPO. Ogni stadio è indipendentemente commutabile e aggiunge un overhead trascurabile.

1. Controllo della Magnitudo (Sparsify-then-Compress)

Questo stadio affronta la discrepanza di magnitudo limitando l'influenza dei singoli token.

• Stadio 1: Sparsificazione Top-k%: Per ogni sequenza di risposta, il metodo mantiene solo i token la cui magnitudo assoluta del vantaggio OPD supera il quantile $(1-k\%)$ di quella specifica sequenza. Tutti gli altri token vengono azzerati. Questo si adatta alla distribuzione locale dei segnali OPD piuttosto che applicare un cutoff globale.
• Stadio 2: Compressione Bounded Tanh: I token rimanenti vengono passati attraverso una trasformazione limitata: $c \cdot \tanh(A^{OPD}_{i,t})$. Ciò assicura che anche i token più salienti siano confinati in un intervallo $(-c, c)$, impedendo loro di sovrastare il segnale GRPO pur preservando l'ordinamento relativo dei segnali più piccoli vicino allo zero.

2. Controllo Temporale (Warm-up-then-Anneal)

Questo stadio affronta la discrepanza temporale regolando dinamicamente la forza globale del segnale OPD durante la traiettoria di addestramento.

• Stadio 3: Warm-up innescato dalla KL: Il coefficiente OPD viene aumentato linearmente da 0 a 1. Tuttavia, la durata del warm-up non è fissa; termina anticipatamente se la riduzione relativa della divergenza KL inversa studente-insegnante raggiunge una soglia $\delta$ (ovvero, $(KL_0 - KL_s)/KL_0 \ge \delta$). Ciò evita una sovra-imitazione nelle fasi iniziali dell'addestramento.
• Stadio 4: Annealing Lineare: Una volta terminato il warm-up, il coefficiente OPD viene ridotto linearmente da 1 fino a un pavimento minimo $c_{min}$ durante i restanti step di addestramento. Ciò sposta gradualmente il focus dell'ottimizzazione verso il segnale RLVR, permettendo alla studentessa di esplorare oltre la distribuzione dell'insegnante.

Il vantaggio fuso finale è calcolato come:
$$A^{total}_{i,t} = A^{GRPO}_i + \text{opd\_coef}(s) \cdot \text{scale}(s) \cdot A^{OPD, \tanh}_{i,t}$$

Contributi Chiave

1. Diagnosi dell'Asimmetria: Il paper identifica che la fusione di vantaggi RLVR limitati e normalizzati con vantaggi OPD illimitati e ricalcolati online crea un'asimmetria fondamentale. Questa si manifesta come discrepanze di magnitudo e temporali che un singolo coefficiente fisso non può risolvere.
2. Framework SAF: La proposta di una pipeline a quattro stadi, commutabile, che separa il controllo della magnitudo (sparsificazione + compressione) dal controllo temporale (warm-up + annealing).
3. Validazione Empirica: Esperimenti estesi su sette benchmark (ragionamento matematico e generazione di codice) utilizzando modelli Qwen3 (1.7B, 4B, 8B) dimostrano che SAF supera costantemente la fusione a coefficiente fisso ed evita il collasso dell'entropia associato alla fusione a coefficiente fisso.

Risultati

• Guadagni di Performance: SAF migliora il punteggio aggregato rispetto alla fusione GRPO+OPD a coefficiente fisso dello 0,51% - 2,70% in tutti i sei setting di dominio del modello.
  • Nel ragionamento matematico, i guadagni variano dall'0,97% (8B) all'1,85% (1.7B).
  • Nella generazione di codice, i guadagni variano dallo 0,51% (1.7B) al 2,70% (4B).
• Dinamiche di Addestramento: L'analisi delle traiettorie di addestramento rivela che la fusione a coefficiente fisso causa un collasso precoce dell'entropia (scendendo da 0,35 a ~0,30) e un plateau prematuro dell'accuratezza. Al contrario, SAF mantiene un'entropia della politica sana (0,35–0,38), preserva la capacità di esplorazione e raggiunge un'accuratezza finale e un punteggio del critico più elevati.
• Ablazione: Lo studio conferma che il controllo della magnitudo da solo non è sufficiente per l'accuratezza finale; il controllore temporale (specificamente lo schema di annealing) è critico per innalzare il tetto delle performance.

Significato e Rivendicazioni

Il paper sostiene che fondere un segnale di ricompensa sparso e verificato con un segnale denso e basato su proxy non debba essere ridotto a un singolo coefficiente di miscelazione. Al contrario, richiede meccanismi di controllo separati per la magnitudo del segnale (per prevenire la dominanza numerica degli outlier) e per il livello di fiducia nel tempo (per bilanciare imitazione ed esplorazione).

Gli autori posizionano SAF come un sostituto "drop-in" per le pipeline GRPO+OPD esistenti che stabilizza le dinamiche di addestramento, previene il "collasso dell'entropia" che blocca l'esplorazione e consente alla studentessa di superare il tetto delle performance imposto dalla qualità dell'insegnante. Il lavoro suggerisce che controllare dinamicamente la "fiducia" nel segnale dell'insegnante è essenziale per un on-policy distillation di successo in compiti di ragionamento complessi.