How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

1. Enunciato del Problema

Il paper affronta due modalità di fallimento critiche nell'addestramento di modelli di ragionamento (modelli che generano catene di pensiero latenti prima di rispondere) utilizzando esclusivamente supervisione a livello di output:

1. Blocco dell'Avvio Freddo (Cold-Start Stalling): Quando la probabilità iniziale di successo ($p_0$) è molto bassa, il Reinforcement Learning da Ricompense Verificabili (RLVR) standard e le sue varianti (come GRPO o Rao-Blackwellized REINFORCE) spesso non riescono a progredire. Il segnale del gradiente è troppo debole per uscire dal regime di "avvio freddo".
2. Memorizzazione del Rumore: Al contrario, i metodi che spingono aggressivamente il modello ad adattarsi alla distribuzione di addestramento (come il Fine-Tuning Supervisato standard o la Massima Verosimiglianza) tendono a memorizzare errori di etichetta e rumore, riducendo la generalizzazione e l'autocoerenza.

Gli approcci esistenti trattano questi come problemi separati. Gli autori sostengono che questi siano due estremi di uno spettro governato dal "impegno" del modello nel segnale di supervisione. Propongono un quadro teorico unificato per bilanciare la velocità di uscita dall'avvio freddo con la robustezza al rumore.

2. Metodologia: Il Continuo della Loss $J_Q$

Il contributo centrale è la definizione di una famiglia di loss, $J_Q$, derivata dal q-logaritmo di Tsallis. Questa famiglia interpola tra due poli:

• Polo di Sfruttamento ($q=0$): Corrisponde alla massimizzazione dell'accuratezza attesa (equivalente a RLVR con ricompense per corrispondenza esatta). La loss è limitata ($1 - P_\theta$).
• Polo di Stima della Densità ($q=1$): Corrisponde alla massimizzazione della log-verosimiglianza marginale sulle traiettorie latenti (equivalente a SFT/ML standard). La loss è illimitata ($-\log P_\theta$).

Insight Teorico Chiave: Amplificazione del Gradiente

Tutti i membri della famiglia $J_Q$ condividono la stessa direzione del gradiente per esempio, differendo solo per un fattore di amplificazione scalare:
$$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$$
Dove $P_\theta = p_\theta(y^*|x^*)$ è la probabilità di successo condizionata del modello.

• Il Parametro $q$ (Impegno): Controlla quanto il gradiente viene amplificato per gli esempi "difficili" (bassa $P_\theta$).
  • Bassa $q$ (vicina a 0): Amplificazione minima. Il modello si concentra su ciò che già conosce (robusto al rumore) ma esce dall'avvio freddo lentamente (tempo $\Omega(1/p_0)$).
  • Alta $q$ (vicina a 1): Amplificazione massiccia per esempi a bassa probabilità. Il modello esplora aggressivamente supervisioni sconosciute, uscendo dall'avvio freddo rapidamente (tempo $\Theta(\log(1/p_0))$) ma rischia di memorizzare il rumore.

Stimatori del Gradiente

Poiché $P_\theta$ è intrattabile (coinvolge la somma su tutte le traiettorie latenti), gli autori derivano due stimatori Monte Carlo basati sulla fattorizzazione duale del gradiente:

1. GARL (Gradient-Amplified RL):

   • Meccanismo: Campiona traiettorie dal prior $p_\theta(z|x^*)$ e amplifica il gradiente RL standard di $(\bar{w}_M)^{-q}$.
   • Caratteristiche: Varianza inferiore, generalizza RB-REINFORCE ($q=0$) e IWAE ($q=1$).
   • Caso d'uso: Essenziale per scenari di avvio freddo dove il campionamento dal posterior non produce traiettorie valide.

2. PAFT (Posterior-Attenuated Fine-Tuning):

   • Meccanismo: Ricampiona per importanza le traiettorie dal posterior (quelle in accordo con la risposta) e attenua il gradiente SFT di $(\bar{w}_M)^{1-q}$.
   • Caratteristiche: Produce gradienti semanticamente coerenti (aggiorna solo su razionali validi) ma ha varianza più alta a causa del rumore del ricampionamento. Generalizza lo step E dell'EM ($q=1$).
   • Caso d'uso: Più stabile durante l'addestramento in avvio caldo, prevenendo il "collasso" osservato in GARL su dataset complessi.

3. Contributi Chiave

1. Quadro Teorico Unificato: Il paper fornisce il primo resoconto teorico che unifica il blocco dell'avvio freddo e la memorizzazione del rumore come un compromesso controllato dal parametro $q$.
2. Analisi della Velocità di Uscita: Le dimostrazioni teoriche (Teoremi 5.1 e 5.2) dimostrano che il tempo per uscire dall'avvio freddo scala come $\Omega(1/p_0)$ per $q=0$ ma migliora a $\Theta(\log(1/p_0))$ per $q=1$. Questo spiega perché il RLVR standard fallisce quando $p_0$ è piccolo.
3. Stimatori Duali (GARL e PAFT): La derivazione di due stimatori pratici e sostituibili che permettono ai praticanti di sintonizzare il livello di "impegno" senza cambiare l'architettura del modello.
4. Compromesso Bias-Varianza: Analisi che mostra come, sebbene un'alta $q$ acceleri l'apprendimento, introduca un bias dello stimatore ($O(q/MP_\theta^{q+1})$), rendendo necessari valori intermedi di $q$ per prestazioni ottimali.

4. Risultati Empirici

Gli autori hanno valutato GARL e PAFT su tre benchmark di ragionamento (FinQA, HotPotQA, MuSiQue) utilizzando un modello Qwen 3 0.6B.

• Prestazioni in Avvio Freddo:

  • GRPO standard e $q=0$ (RB-RLOO) hanno fallito completamente (0% di accuratezza) sui compiti di avvio freddo.
  • GARL con $q=0.75$ è riuscito a uscire dall'avvio freddo, ottenendo un'accuratezza significativa (ad es. 38.3% maj@16 su FinQA contro lo 0% di GRPO).
  • $q=1$ è uscito dall'avvio freddo ma ha sofferto di una maggiore memorizzazione del rumore, risultando in un'accuratezza finale inferiore rispetto a $q=0.75$.

• Prestazioni in Avvio Caldo:

  • FinQA: L'addestramento è stato stabile per tutte le $q$. GARL a $q=0.25$ ha ottenuto i migliori risultati (38.7% maj@16), superando GRPO di +11.8 punti.
  • HotPotQA e MuSiQue: GARL ha collassato (l'accuratezza di validazione è scesa a zero) durante l'addestramento a tutti i valori di $q$ testati, probabilmente a causa della corruzione del termine per percorso o dell'overfitting.
  • Stabilità di PAFT: PAFT non è collassato su nessun benchmark. PAFT a $q=0.75$ ha ottenuto i migliori risultati stabili su HotPotQA (47.9% maj@16, +14.4 su GRPO) e MuSiQue (22.4% maj@16).

• Indipendenza dal Prompt: Remarkabilmente, il modello GARL addestrato in avvio freddo (senza prompt specifici per il compito) ha superato il modello GRPO addestrato in avvio caldo (con prompt) su tutte le metriche, suggerendo che un forte impegno ($q \approx 0.75$) permette al modello di scoprire la struttura del compito direttamente dalle coppie input-output.

5. Significato e Implicazioni Pratiche

• Risoluzione del Collo di Bottiglia dell'Avvio Freddo: Il paper dimostra che il collo di bottiglia nel RLVR non è solo la varianza del gradiente (affrontata dalla Rao-Blackwellizzazione) ma la mancanza di amplificazione del gradiente per esempi a bassa probabilità. Aumentare $q$ risolve questo problema.
• Strategia di Addestramento Dinamica: Gli autori propongono una ricetta pratica:
  • Avvio Freddo: Usare GARL con alta $q$ ($\approx 0.75$) per forzare il modello fuori dal regime a ricompensa zero.
  • Avvio Caldo: Se l'addestramento è stabile (es. FinQA), usare GARL con bassa $q$ ($\approx 0.25$) per minimizzare il bias. Se l'addestramento è instabile (es. HotPotQA), passare a PAFT con alta $q$ ($\approx 0.75$) per mantenere la stabilità tramite gradienti coerenti.
• Oltre il RLVR: Questo quadro offre un modo principiato per interpolare tra Reinforcement Learning e Fine-Tuning Supervisato, superando la pipeline rigida "SFT poi RL" a favore di uno spettro continuo di impegno.

In sintesi, il paper dimostra che l'impegno nella supervisione è un iperparametro sintonizzabile. Regolando $q$, i praticanti possono controllare il compromesso tra la velocità di apprendimento (uscire dall'avvio freddo) e la robustezza dell'apprendimento (evitare la memorizzazione del rumore), portando a prestazioni all'avanguardia su compiti di ragionamento complessi.