Self-Distilled RLVR

1. Il Problema: Limiti della Distillazione On-Policy (OPSD)

Il paper affronta le sfide poste dall'addestramento di modelli linguistici grandi (LLM) per il ragionamento complesso. Sebbene i metodi di Reinforcement Learning con Ricompense Verificabili (RLVR), come GRPO, siano diventati lo standard per l'addestramento di modelli di ragionamento, soffrono di segnali di ricompensa sparsi (un solo segnale scalare per intera sequenza).

Per ovviare a ciò, è stata proposta la Distillazione On-Policy (OPD), dove un modello "maestro" più grande fornisce segnali densi a livello di token. Una variante recente, l'On-Policy Self-Distillation (OPSD), utilizza lo stesso modello come sia studente che maestro, dove il maestro ha accesso a informazioni privilegiate (es. tracce di ragionamento verificate o risposte di riferimento) che lo studente non ha.

La scoperta critica degli autori:
Gli autori dimostrano che l'OPSD fallisce a lungo termine a causa di una fuga di informazioni privilegiate (privileged information leakage).

• Fenomeno: Durante l'inferenza, il modello addestrato con OPSD inizia a fare riferimento esplicito a soluzioni di riferimento o informazioni che non sono disponibili al momento del test (es. "La soluzione di riferimento dice...").
• Dinamica: Le prestazioni migliorano rapidamente nelle prime fasi, ma poi collassano progressivamente.
• Causa Teorica: C'è un'asimmetria informativa fondamentale. Il maestro condiziona su informazioni $r$ che lo studente non può osservare. Il paper dimostra formalmente che l'obiettivo di distillazione (matching delle distribuzioni) è mal posto (ill-posed). Esiste un gap di informazione reciproca irriducibile $I(Y_t; R | X, Y_{<t}) > 0$ che lo studente non può eliminare.
• Meccanismo del fallimento: Il gradiente di addestramento contiene una componente di deviazione specifica per $r$. Inizialmente, la componente benefica domina, ma man mano che lo studente si avvicina alla distribuzione marginale del maestro, la deviazione prende il sopravvento, spingendo il modello a codificare correlazioni spurie tra l'input $x$ e l'informazione privilegiata $r$ nei suoi parametri, portando al collasso delle prestazioni.

2. Metodologia: RLSD (RLVR con Auto-Distillazione)

Per risolvere il problema, gli autori propongono RLSD, un nuovo paradigma che unisce i punti di forza di RLVR e OPSD, ma con un cambio radicale di architettura.

Il Principio Chiave:
Invece di usare il maestro come obiettivo generativo (per far sì che lo studente imiti la sua distribuzione), RLSD usa il maestro come valutatore di magnitudine per l'assegnazione del credito (credit assignment).

• Direzione dell'aggiornamento: Determinata esclusivamente dalla ricompensa ambientale verificabile (correttezza della risposta). Questo garantisce stabilità e impedisce la fuga di informazioni.
• Magnitudine dell'aggiornamento: Determinata dalla densità del segnale del maestro. Il maestro valuta quanto ogni singolo token contribuisce al ragionamento corretto, modulando l'intensità dell'aggiornamento.

Algoritmo RLSD:

1. Campione di Traiettoria: Lo studente genera una risposta $y$ data la domanda $x$.
2. Ricompensa Ambientale: Un verificatore fornisce una ricompensa binaria $R(x, y)$ (corretto/errato). Viene calcolato un vantaggio a livello di sequenza $A$.
3. Guadagno di Informazione Privilegiata: Il modello (agendo come maestro) valuta la stessa risposta $y$ ma condizionato anche sull'informazione privilegiata $r$ (es. la risposta corretta). Si calcola il log-rapporto:
   $$\Delta_t = \text{sg}(\log P_T(y_t | x, r, y_{<t}) - \log P_S(y_t | x, y_{<t}))$$
   dove $\text{sg}$ è l'operatore stop-gradient.
4. Ripesatura dell'Advantage: Si costruisce un peso per ogni token $w_t$ basato sul rapporto di evidenza, modulato dal segno del vantaggio di sequenza:
   $$w_t = \exp(\text{sign}(A) \cdot \Delta_t) = \left( \frac{P_T(y_t)}{P_S(y_t)} \right)^{\text{sign}(A)}$$
   • Se la sequenza è corretta ($A>0$), i token supportati dal maestro ($P_T > P_S$) ricevono un peso maggiore.
   • Se la sequenza è errata ($A<0$), i token sconsigliati dal maestro ($P_T < P_S$) ricevono una penalità maggiore.
5. Aggiornamento: L'obiettivo di RLSD utilizza questi vantaggi a livello di token ponderati ($\hat{A}_t$) all'interno della funzione di perdita clipata di GRPO, senza introdurre loss di distillazione aggiuntive.

Vantaggi Strutturali:

• Immunità alla fuga: Poiché la direzione del gradiente è ancorata alla ricompensa ambientale e non alla distribuzione del maestro, il modello non può imparare a "indovinare" $r$.
• Efficienza: Richiede solo un passaggio in avanti aggiuntivo per ottenere i logit del maestro, senza bisogno di reti ausiliarie o modelli esterni.
• Interpretazione Bayesiana: Il peso $w_t$ rappresenta l'aggiornamento bayesiano della credenza che la traiettoria sia coerente con la soluzione corretta.

3. Contributi Chiave

1. Analisi Teorica del Fallimento di OPSD: Dimostrazione formale che il matching di distribuzioni in condizioni di asimmetria informativa crea un gap di informazione reciproca irriducibile, rendendo l'obiettivo mal posto e causando inevitabilmente la fuga di informazioni privilegiate e l'instabilità dell'addestramento.
2. Proposta di RLSD: Un nuovo framework che disaccoppia la direzione dell'ottimizzazione (ancorata all'ambiente) dalla magnitudine dell'aggiornamento (guidata dal maestro). Risolve il "trilemma dell'impossibilità" (stabilità, miglioramento continuo, assenza di fuga) che affligge le strategie di auto-distillazione.
3. Risultati Sperimentali: Validazione su benchmark multimodali complessi, dimostrando che RLSD supera sia i metodi RLVR puri (GRPO) che le tecniche di auto-distillazione (OPSD, SDPO).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Qwen3-VL-8B-Instruct su cinque benchmark di ragionamento multimodale (MMMU, MathVista, MathVision, ZeroBench, WeMath).

• Prestazioni: RLSD ha raggiunto la migliore accuratezza media tra tutti i modelli testati (56.18%), superando il modello base di 4.69 punti percentuali e GRPO di 2.32 punti.
• Convergenza: RLSD mostra una convergenza più rapida e raggiunge un "tetto" di prestazioni più alto rispetto a GRPO. A differenza di OPSD, che mostra un picco precoce seguito da un declino, RLSD mantiene un miglioramento stabile.
• Stabilità: RLSD mantiene un livello di entropia più alto rispetto a GRPO (che soffre di collasso dell'entropia), indicando una migliore esplorazione e discriminazione fine-granularità dei token critici.
• Analisi Qualitativa: Le mappe di calore mostrano che RLSD assegna correttamente crediti (o colpe) ai token specifici che determinano il successo o il fallimento del ragionamento (es. passaggi di calcolo critici), ignorando il testo generico.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Ridefinisce l'Auto-Distillazione: Smentisce l'idea che l'uso di un modello come proprio maestro con informazioni privilegiate sia sempre benefico se fatto tramite matching di distribuzioni.
• Soluzione Pratica: Offre un metodo "drop-in" per migliorare i pipeline RLVR esistenti (come GRPO) senza costi computazionali significativi o la necessità di modelli teacher esterni.
• Robustezza Teorica: Fornisce una garanzia formale contro la fuga di informazioni, un problema critico per l'affidabilità dei modelli di ragionamento in scenari reali dove le soluzioni di riferimento non sono disponibili.
• Efficienza del Credito: Introduce un meccanismo elegante per l'assegnazione del credito a livello di token basato sull'evidenza bayesiana, superando la necessità di modelli di valore o reward model complessi.

In sintesi, RLSD rappresenta un avanzamento fondamentale nell'addestramento di modelli di ragionamento, risolvendo le instabilità teoriche dell'auto-distillazione e sfruttando al meglio i segnali densi per migliorare le prestazioni senza compromettere la generalizzazione.