Are complicated loss functions necessary for teaching LLMs to reason?

1. Il Problema

I recenti progressi nei Large Language Models (LLM) per il ragionamento matematico e logico sono stati guidati da tecniche di post-addestramento, in particolare l'ottimizzazione della politica basata sul feedback umano (RLHF). Un metodo recente e molto influente è il GRPO (Group Relative Policy Optimization), introdotto da DeepSeek.
Il GRPO ha dimostrato grande successo eliminando la necessità di un modello "critico" (value model) calcolando i vantaggi (advantages) in modo relativo all'interno di un gruppo di risposte generate per lo stesso prompt. Tuttavia, la sua funzione di perdita combina tre componenti complesse:

1. Stima del vantaggio relativo al gruppo.
2. Clipping dello stile PPO (Proximal Policy Optimization) per limitare l'aggiornamento della politica.
3. Regularizzazione KL (Kullback-Leibler) rispetto a un modello di riferimento.

La domanda centrale della ricerca è: tutte queste componenti sono strettamente necessarie? La complessità del GRPO potrebbe essere un "overengineering" che ostacola la trasparenza e l'efficienza senza apportare benefici reali al ragionamento.

2. Metodologia

Gli autori hanno condotto un'analisi sistematica e ablativa della funzione di perdita del GRPO per isolare e rimuovere i singoli componenti, valutando l'impatto sulla stabilità dell'addestramento e sulle prestazioni di ragionamento.

Hanno proposto e testato diverse varianti:

• GRPO-Pos (Solo vantaggi positivi): Addestramento basato esclusivamente sulle azioni che superano la baseline, ignorando completamente il feedback negativo.
• RGRA (REINFORCE with Group Relative Advantage): Una variante semplificata che mantiene la stima del vantaggio relativo al gruppo (essenziale per la stabilità) ma rimuove il clipping dello stile PPO e i termini del rapporto di politica. Utilizza un approccio basato su REINFORCE puro con vantaggi normalizzati.
• REINFORCE Diretto: Addestramento diretto sul segnale di reward grezzo, rimuovendo sia il clipping che la stima del vantaggio relativo al gruppo.
• RAFT (Rejection Sampling Fine-Tuning): Utilizzato come baseline di confronto, che seleziona solo le risposte migliori per un fine-tuning supervisionato.

Setup Sperimentale:

• Dataset: GSM8K (matematica elementare) come set di addestramento.
• Benchmarks: 9 benchmark diversi (GSM8K, MATH, Gaokao, OlympiadBench, AMC23, CMATH, MMLU-STEM, ecc.) in inglese e cinese.
• Modelli: Varianti di Qwen2.5 (0.5B, 1.5B) e Llama3.2 (1B).
• Metriche: Accuratezza sui benchmark, lunghezza media delle risposte, stabilità del reward durante l'addestramento e capacità di generare tracce di ragionamento (reasoning traces).

3. Contributi Chiave e Risultati

L'analisi ha portato a tre scoperte fondamentali:

A. Il Feedback Negativo è Indispensabile

Le varianti che ignorano il feedback negativo (GRPO-Pos e RAFT) hanno mostrato un comportamento di addestramento instabile, specialmente nei modelli più piccoli (0.5B).

• Risultato: Si è osservato un "crollo" (collapse) delle prestazioni e una riduzione drastica della lunghezza delle risposte. I modelli tendevano a "hackerare" la reward function producendo risposte brevi e banali per massimizzare il reward senza impegnarsi nel ragionamento.
• Conclusione: L'apprendimento richiede sia rinforzi positivi che negativi per evitare l'esplorazione insufficiente e il collasso della politica.

B. La Stima del Vantaggio è Cruciale

La rimozione della stima del vantaggio relativo al gruppo (passando a REINFORCE con reward diretti) ha destabilizzato l'addestramento anche nei modelli più grandi (1.5B).

• Risultato: Senza la normalizzazione basata sul gruppo, la varianza dei gradienti è troppo alta, rendendo l'addestramento instabile.
• Conclusione: L'uso di una baseline (come il vantaggio relativo al gruppo) è essenziale per la stabilità, anche partendo da politiche pre-addestrate forti.

C. Il Clipping PPO Non è Necessario

La scoperta più sorprendente è che il clipping PPO (che limita il rapporto di probabilità tra la nuova e la vecchia politica) non è necessario per migliorare il ragionamento matematico.

• Risultato: La variante proposta RGRA, che rimuove il clipping ma mantiene il vantaggio relativo al gruppo, ha ottenuto prestazioni superiori al GRPO standard nella maggior parte dei casi.
• Dati: RGRA ha superato GRPO in 17 su 27 confronti individuali sui benchmark matematici inglesi e ha mostrato risultati migliori o comparabili su quelli cinesi e STEM.
• Comportamento: RGRA ha favorito l'emergere di comportamenti di ragionamento complessi (come la rivalutazione intermedia delle risposte) in modo stabile, senza la necessità delle complesse restrizioni del clipping.

4. Significato e Implicazioni

Il paper offre un contributo significativo alla comprensione dell'ottimizzazione dei LLM per il ragionamento:

1. Semplificazione dell'Algoritmo: Dimostra che la complessità del GRPO può essere ridotta senza sacrificare le prestazioni. La componente di clipping PPO, spesso considerata fondamentale per la stabilità in RL, si rivela superflua quando si parte da politiche pre-addestrate forti e si utilizza una corretta stima del vantaggio relativo.
2. RGRA come Nuova Opzione: Introduce RGRA come un'alternativa più trasparente, efficiente e potenzialmente più performante rispetto al GRPO standard per l'addestramento di modelli di ragionamento.
3. Guida per il Futuro: Suggerisce che le future ricerche su RL per LLM dovrebbero concentrarsi sulla qualità dell'estimatore del vantaggio e sulla gestione del feedback negativo, piuttosto che sull'aggiunta di ulteriori meccanismi di regolarizzazione complessi come il clipping.

In sintesi, gli autori concludono che per insegnare il ragionamento agli LLM non servono funzioni di perdita "complicate" come quella completa del GRPO; una versione semplificata basata su REINFORCE con vantaggi relativi (RGRA) è sufficiente, e talvolta superiore, per ottenere modelli robusti e capaci di ragionamento.