Whatever Remains Must Be True: Filtering Drives Reasoning in LLMs, Shaping Diversity

Questo lavoro propone un metodo basato sulla divergenza $\alpha$ per allineare i modelli linguistici a una distribuzione target ottenuta filtrando le risposte errate, permettendo di controllare esplicitamente il compromesso tra precisione e diversità e superando gli approcci precedenti nel benchmark di dimostrazione di teoremi Lean.

L'essenziale

Immagina di avere un cuoco geniale (il tuo Modello Linguistico o LLM) che sa cucinare milioni di piatti diversi. Il problema è che, quando gli chiedi di preparare una ricetta specifica e difficile (come risolvere un teorema matematico), tende a diventare un po' "pignolo" e a ripetere sempre lo stesso piatto perfetto, ignorando tutte le altre varianti valide che potrebbe creare.

Questo paper, scritto da ricercatori di NAVER Labs Europe, parla proprio di come insegnare a questo cuoco a essere sia preciso che creativo, senza perdere la sua natura originale.

1. Il Problema: Il "Cuoco" che perde la creatività

Negli ultimi anni, per insegnare alle intelligenze artificiali a ragionare, si usa una tecnica chiamata Apprendimento per Rinforzo (RL). È come se un ispettore del gusto (il "verificatore") assaggiasse ogni piatto e desse un punto: 1 se è buono, 0 se è cattivo.
Il cuoco impara a massimizzare questi punti.

Il difetto: Il cuoco impara troppo bene. Invece di provare 100 modi diversi per fare una torta (alcuni con cioccolato, altri con frutta, altri con spezie), capisce che c'è una ricetta specifica che vince sempre. Così smette di provare le altre.

• Risultato: Fa piatti perfetti (alta precisione), ma se quella ricetta specifica fallisce per un motivo imprevisto, non ha nessun piano B. Ha perso la sua diversità. È come se avesse dimenticato come cucinare tutto il resto.

2. La Soluzione: "Tutto ciò che rimane deve essere vero"

Gli autori citano Sherlock Holmes: "Quando hai eliminato l'impossibile, tutto ciò che rimane, per quanto improbabile, deve essere la verità".

Invece di dire al cuoco: "Trova il piatto migliore e ripetilo all'infinito", dicono:
"Prendi tutti i piatti che hai già imparato a fare. Butta via quelli bruciati o avvelenati (quelli sbagliati). Lascia tutto il resto esattamente com'era, con le stesse probabilità relative."

Questo è il cuore del loro metodo, chiamato DMVR (Distributional Matching with Verifiable Rewards).

• Non cercano di forzare il cuoco a diventare un robot che fa solo un piatto.
• Filtrano solo gli errori, preservando la varietà delle soluzioni corrette che il cuoco sa già fare.

3. Il Trucco Matematico: La "Manopola" di Controllo (Alpha)

Qui entra in gioco la parte più interessante. Per fare questo filtraggio, usano una famiglia di strumenti matematici chiamati divergenze. Immagina queste divergenze come una manopola di controllo o un interruttore della luce.

• Manopola tutta a sinistra (KL Inverso): Il cuoco diventa un perfezionista ossessivo. Cerca solo il piatto perfetto. Risultato: Ottima precisione, ma zero creatività (diversità). È il metodo usato finora.
• Manopola tutta a destra (KL Diretto): Il cuoco diventa un esploratore. Prova tutto ciò che è possibile, anche piatti un po' strani, purché non siano velenosi. Risultato: Tantissima diversità, ma a volte serve molto tempo per trovare il piatto perfetto.
• La Manopola Magica (Alpha-DPG): Gli autori creano un metodo che permette di girare la manopola dove vuoi.
  • Vuoi più precisione? Gira verso sinistra.
  • Vuoi più creatività e copertura? Gira verso destra.
  • Vuoi il meglio di entrambi? Trova il punto di equilibrio perfetto.

4. L'Esperimento: Il Laboratorio di Matematica

Hanno testato questo metodo su Lean, un assistente per dimostrare teoremi matematici. È un campo difficile dove serve sia la precisione assoluta (un errore e la prova è falsa) sia la creatività (spesso ci sono mille modi diversi per arrivare alla stessa dimostrazione).

Cosa è successo?

• I metodi vecchi (solo precisione) facevano bene sui problemi facili, ma fallivano miseramente su quelli difficili perché non avevano abbastanza "piani B".
• I nuovi modelli con la loro "manopola" (Alpha-DPG) hanno creato una frontiera perfetta:
  • Hanno mantenuto un'altissima precisione (risolvono i problemi giusti).
  • Ma hanno anche mantenuto un'altissima diversità (provano molti più approcci).
  • In pratica, hanno raggiunto un livello di performance che nessun altro metodo aveva mai toccato: più soluzioni corrette, con meno tentativi inutili.

In Sintesi: Perché è importante?

Immagina di dover trovare l'uscita da un labirinto gigante.

• I metodi vecchi ti dicono: "Corri dritto verso l'unica uscita che vedi". Funziona se l'uscita è lì, ma se è bloccata, sei perso.
• Il metodo di questo paper ti dice: "Esplora tutte le strade possibili che non sono muri. Se trovi un vicolo cieco, torna indietro e prova un'altra strada, ma non dimenticare le altre strade che avevi già esplorato."

Il messaggio finale: Non serve "addestrare" l'IA a dimenticare le sue capacità per renderla intelligente. Serve solo filtrare gli errori e lasciare che la sua naturale diversità emerga, controllando quanto spingere su precisione o creatività con una semplice "manopola".

È come dire al cuoco: "Non diventare un robot. Sii solo un cuoco che non serve piatti avvelenati."

Sommario tecnico

1. Il Problema: Il Dilemma Precisione-Diversità nel RLVR

Gli autori identificano un problema critico nell'addestramento di Modelli Linguistici su larga scala (LLM) per compiti di ragionamento tramite Reinforcement Learning with Verifiable Rewards (RLVR). Sebbene metodi come PPO e GRPO abbiano migliorato l'accuratezza, evidenze recenti mostrano che causano una significativa perdita di diversità (fenomeno noto come "mode collapse" o collasso delle modalità).

• Causa Radice: L'obiettivo implicito del RLVR è ottimizzare la Divergenza KL Inversa (Reverse KL, $D_{KL}(\pi || p)$) rispetto a una distribuzione target. La KL Inversa è "mode-seeking" (cerca le modalità): penalizza pesantemente l'assegnare probabilità a regioni dove la distribuzione target è zero, ma ignora se il modello trascura intere modalità (soluzioni valide) della distribuzione target.
• Conseguenza: Il modello si concentra su un sottoinsieme ristretto di soluzioni ad alta probabilità, diventando preciso ma poco diversificato. Questo è dannoso per compiti come la dimostrazione di teoremi, dove soluzioni diverse possono essere necessarie per coprire lo spazio delle soluzioni di problemi difficili.

2. Metodologia: DMVR e $\alpha$-DPG

Il paper propone un nuovo framework chiamato Distributional Matching with Verifiable Rewards (DMVR) che sposta il paradigma dall'ottimizzazione implicita del reward all'ottimizzazione esplicita di una distribuzione target definita.

A. Definizione della Distribuzione Target

Invece di ottimizzare un reward pseudo-stocastico, gli autori definiscono esplicitamente la distribuzione target desiderata $p_x(y)$ come il risultato del filtraggio della distribuzione del modello base ($\pi_{base}$) tramite un verificatore binario $v(y, x)$:
$$p_x(y) \propto \pi_{base}(y|x) \cdot v(y, x)$$
Questa distribuzione mantiene tutte le soluzioni corrette con le loro probabilità relative originali, scartando solo quelle errate. Preserva quindi la massima diversità possibile all'interno delle soluzioni corrette.

B. L'Approccio $\alpha$-DPG

Per approssimare questa distribuzione target, il paper introduce $\alpha$-DPG (Distributional Policy Gradient basato sulla divergenza $\alpha$).

• Famiglia di Divergenze: Utilizzano la famiglia delle $\alpha$-divergenze, che unifica e interpola tra:
  • KL Inversa ($\alpha \to 1$): Comportamento "mode-seeking" (tipico del RLVR classico, alta precisione, bassa diversità).
  • KL Diretta ($\alpha \to 0$): Comportamento "mass-covering" (tipico di KL-DPG o RS-FT, alta diversità, ma rischio di includere regioni a bassa reward).
  • Distanza di Hellinger ($\alpha = 0.5$): Un punto di equilibrio.
• Meccanismo: Il metodo minimizza la divergenza $\alpha$ tra la politica appresa $\pi_\theta$ e la distribuzione target $p_x$. La "pseudo-reward" è derivata dalla funzione generatrice della divergenza $f_\alpha$.
• Controllo del Trade-off: Il parametro $\alpha$ permette di regolare esplicitamente il compromesso tra precisione (pass@1) e copertura/diversità (pass@k).

3. Contributi Chiave

1. Framework DMVR: Introduzione di un approccio unificato che tratta l'addestramento con reward verificabili come un problema di matching distribuzionale esplicito, chiarificando perché il RLVR fallisce nel preservare la diversità.
2. Analisi Teorica: Dimostrazione che il RLVR ottimizza una versione "smussata" della distribuzione target tramite Reverse KL, spiegando matematicamente la perdita di diversità come un effetto collaterale della scelta della divergenza, non del target stesso.
3. Metodo $\alpha$-DPG: Proposta di un algoritmo che unifica RLVR, KL-DPG e Rejection Sampling Fine-Tuning (RS-FT) sotto un'unica ombrello, permettendo un controllo continuo della diversità tramite il parametro $\alpha$.
4. Risultati SOTA: Dimostrazione empirica che $\alpha$-DPG raggiunge lo stato dell'arte sulla frontiera di Pareto tra precisione e copertura.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark Lean (un assistente di dimostrazione di teoremi formali), utilizzando il modello DeepSeek-Prover-V1.5-SFT (7B parametri).

• Frontiera di Pareto: I modelli $\alpha$-DPG si posizionano lungo la frontiera di Pareto ottimale tra pass@1 (precisione) e pass@256 (copertura).
  • Valori bassi di $\alpha$ (es. 0.25) superano tutti i metodi precedenti in termini di copertura (pass@256), mantenendo un'accuratezza superiore al modello base SFT.
  • Valori alti di $\alpha$ (es. 0.999) raggiungono livelli di precisione comparabili o superiori ai metodi RL puri (GRPO), ma con una copertura significativamente migliore.
• Analisi della Diversità:
  • I modelli con basso $\alpha$ mostrano una maggiore diversità nelle tattiche e nelle premesse utilizzate nelle dimostrazioni (misurata tramite indice di Shannon e Gini-Simpson).
  • Esiste una correlazione positiva tra diversità delle tattiche e pass@256, e una correlazione negativa con pass@1 (come atteso dal trade-off).
• Analisi della Difficoltà:
  • I metodi RL puri (GRPO) tendono a rendere "facili" molti problemi di media difficoltà, ma falliscono su quelli difficili, rendendoli irrisolvibili (collasso della diversità).
  • $\alpha$-DPG con basso $\alpha$ è più conservativo: migliora l'efficienza su meno problemi, ma mantiene risolvibili i problemi difficili che altri metodi abbandonano.
• Perplexity: L'analisi della perplexità conferma che le soluzioni generate da $\alpha$-DPG erano già probabili nel modello base, smentendo l'idea che il RL "crei" nuove capacità da zero, ma piuttosto che le re-peschi e le amplifichi.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Ridefinisce il ruolo del RL: Suggerisce che il RL non crea nuove capacità di ragionamento, ma re-pesca e amplifica comportamenti già presenti nel modello base. La perdita di diversità è un difetto dell'ottimizzazione (Reverse KL), non una necessità intrinseca.
• Offre un controllo granulare: Fornisce agli ingegneri un "manopola" ($\alpha$) per bilanciare esplicitamente l'esplorazione (diversità) e lo sfruttamento (precisione) in base alle esigenze del compito (es. esplorazione di nuove soluzioni matematiche vs. produzione rapida di risposte corrette).
• Validità per la Scienza Formale: Dimostra che per la scoperta scientifica e la dimostrazione di teoremi, la diversità è cruciale. Un modello che mantiene una vasta gamma di soluzioni corrette (anche se meno probabili singolarmente) è più efficace nell'esplorare spazi di soluzione complessi rispetto a un modello che si concentra su un'unica strategia "vincente".

In sintesi, il paper propone che "ciò che rimane deve essere vero": filtrando le risposte errate e preservando la distribuzione originale delle risposte corrette tramite una divergenza appropriata ($\alpha$-DPG), si ottengono modelli più robusti, diversificati e capaci di risolvere problemi complessi senza sacrificare la precisione.