EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget

1. Il Problema: Collasso dell'Entropia e Dilemma Esplorazione-Sfruttamento

Il lavoro affronta una sfida centrale nell'addestramento di Modelli Linguistici di Grande Dimensione (LLM) tramite Reinforcement Learning con Ricompense Verificabili (RLVR), in particolare nell'ambito del ragionamento matematico.

• Contesto: Metodi attuali come GRPO (Group Relative Policy Optimization), utilizzati per modelli come OpenAI o1 o DeepSeek-R1, tendono a sovraccaricare l'aspetto dello "sfruttamento" (exploitation).
• Il Fenomeno: Si osserva un rapido collasso dell'entropia. Man mano che l'entropia della politica diminuisce, la politica sviluppa convinzioni sempre più sicure su una specifica modalità di risposta (dominante).
• Il Ciclo di Rinforzo: Se il modello campiona ripetutamente questa modalità dominante e riceve feedback positivo, la politica amplifica ulteriormente quella modalità, sopprimendo le alternative. Questo crea un ciclo di auto-rinforzo che porta a:
  • Sovra-adattamento alla distribuzione di addestramento.
  • Perdita di capacità esplorativa.
  • Deterioramento delle prestazioni su benchmark fuori distribuzione (OOD), anche se le prestazioni sul set di test interno migliorano.
• Limiti delle Soluzioni Esistenti: Tecniche come l'aumento della temperatura di campionamento o la regolarizzazione dell'entropia aumentano la casualità in modo indiscriminato, ma non riescono a spostare la massa di probabilità dalle modalità dominanti, fallendo nel rompere il ciclo di auto-rinforzo.

2. Metodologia: EEPO (Exploration-Enhanced Policy Optimization)

Gli autori propongono EEPO, un framework che introduce un meccanismo di "Sample-Then-Forget" (Campiona poi Dimentica) direttamente nel processo di rollout (generazione delle traiettorie) per forzare l'esplorazione di regioni diverse dello spazio delle risposte.

Il Meccanismo a Due Fasi

Invece di generare tutte le $G$ traiettorie necessarie per l'aggiornamento della politica da un modello fisso (come fa GRPO), EEPO divide il processo in due stadi separati da un passo di "dimenticanza":

1. Fase 1 (Campionamento): Il modello di rollout ($\pi_{rollout}$) genera la prima metà delle traiettorie ($G/2$).
2. Passo di Unlearning (Dimenticanza): Il modello di rollout viene sottoposto a un aggiornamento di gradiente temporaneo e leggero per "dimenticare" (sopprimere) le risposte appena campionate. Questo impedisce al modello di campionare nuovamente le stesse modalità dominanti nella fase successiva.
3. Fase 2 (Campionamento): Il modello aggiornato (con le risposte della Fase 1 sopresse) genera la seconda metà delle traiettorie ($G/2$).
4. Aggiornamento della Politica: Tutte le $G$ traiettorie vengono utilizzate per calcolare i vantaggi e aggiornare la politica principale tramite l'obiettivo standard GRPO.

Design Chiave dell'Unlearning Adattivo

Per rendere l'intervento efficace e sicuro, EEPO introduce tre design specifici:

• Attivazione Condizionata all'Entropia: L'unlearning viene attivato solo quando l'entropia scende sotto una soglia $\alpha$ (rilevando l'inizio del collasso), evitando di disturbare fasi di esplorazione sana.
• Funzione di Perdita Complementare: Invece di massimizzare la verosimiglianza negativa (NLL), si usa una perdita complementare ($\log(1 - p)$) che penalizza fortemente i token ad alta probabilità (le modalità dominanti) e meno quelli a bassa probabilità, forzando lo spostamento della massa di probabilità.
• Aggiornamenti a Singolo Passo: L'aggiornamento per l'unlearning è un singolo passo di gradiente applicato solo al modello di rollout ($\pi_{rollout}$), sincronizzato all'inizio di ogni iterazione. Questo garantisce che l'effetto sia temporaneo e confinato alla fase di campionamento, senza alterare i parametri della politica principale o accumulare effetti negativi.

3. Contributi Chiave

1. Identificazione del Meccanismo di Fallimento: Dimostrazione empirica che il collasso dell'entropia in RLVR è guidato da un ciclo di auto-rinforzo sulle modalità dominanti, che le tecniche di esplorazione indiscriminata non riescono a rompere.
2. Intervento Attivo nel Rollout: Proposta di un meccanismo che interviene attivamente durante la generazione delle traiettorie (rollout) piuttosto che modificare solo la funzione obiettivo, rompendo fisicamente il ciclo di campionamento ripetuto.
3. Decoupling Esplorazione-Ottimizzazione: Separazione strategica tra l'ottimizzazione della politica (che massimizza la ricompensa) e l'esplorazione (gestita dal modello di rollout che "dimentica" attivamente), permettendo di esplorare regioni a bassa densità senza compromettere la stabilità dell'addestramento.
4. Efficienza Computazionale: L'approccio aggiunge un overhead computazionale trascurabile rispetto a GRPO standard, a differenza di metodi che richiedono più rollout o temperature elevate che allungano i tempi di addestramento.

4. Risultati Sperimentali

Il metodo è stato valutato su tre modelli LLM (Qwen2.5-3B, Llama3.2-3B-Instruct, Qwen3-8B-Base) su cinque benchmark di ragionamento matematico (Minerva Math, OlympiadBench, AMC 2023, AIME 2024, AIME 2025).

• Prestazioni Superiori: EEPO supera costantemente GRPO e le varianti basate su esplorazione (temperatura, entropia, DAPO clip-higher).
  • Qwen2.5-3B: +24.3% di miglioramento relativo sulla media.
  • Llama3.2-3B-Instruct: +33.0% di miglioramento relativo.
  • Qwen3-8B-Base: +10.4% di miglioramento relativo.
• Generalizzazione: EEPO mostra una capacità di generalizzazione significativamente migliore su benchmark OOD (es. AMC 2023), dove GRPO e altri metodi tendono a plateau o a peggiorare a causa del sovradattamento.
• Dinamiche di Addestramento:
  • Entropia: EEPO mantiene un'entropia più alta e stabile durante tutto l'addestramento, prevenendo il collasso. La Fase 2 di EEPO mostra un'entropia superiore alla Fase 1, confermando l'efficacia della soppressione delle risposte dominanti.
  • Qualità: La qualità delle risposte (ricompensa media e lunghezza) rimane comparabile a GRPO.
  • Efficienza: I tempi di addestramento sono paragonabili a GRPO, mentre metodi con temperature elevate o più rollout risultano fino al 30% più lenti.

5. Significato e Impatto

EEPO rappresenta un cambiamento di paradigma nella gestione del compromesso esplorazione-sfruttamento in RLVR. Invece di tentare di "aggiungere rumore" in modo casuale, il metodo utilizza un esplorazione strategica e mirata attraverso l'uso temporaneo dell'unlearning.

Questo approccio dimostra che è possibile rompere i cicli di auto-rinforzo che limitano le capacità di ragionamento degli LLM, permettendo loro di scoprire strategie alternative e superiori che rimarrebbero altrimenti nascoste. La metodologia è scalabile (funziona su modelli da 3B a 8B parametri) e agnostica rispetto al modello, offrendo una soluzione pratica e efficiente per migliorare le prestazioni di ragionamento nei sistemi LLM basati su RL.