Riepilogo Tecnico: LaDi-RL

Enunciato del Problema

L'apprendimento per rinforzo (RL) è diventato un paradigma dominante per potenziare le capacità di ragionamento dei Modelli Linguistici su Grande Scala (LLM), in particolare attraverso l'ottimizzazione delle traiettorie di ragionamento. Tuttavia, i metodi esistenti ottimizzano prevalentemente le politiche su sequenze discrete di token. Questo approccio crea un disallineamento fondamentale: le decisioni critiche di ragionamento sono spesso semantiche, globali e a livello di traiettoria, mentre l'ottimizzazione a livello di token si basa su perturbazioni locali.

Questo disallineamento porta al crollo della diversità, un fenomeno in cui la politica del modello concentra la massa di probabilità su un insieme ristretto di schemi di ragionamento, sopprimendo strategie alternative. Sebbene l'esplorazione a livello di token possa generare varianti lessicali (ad esempio, sostituire "pertanto" con "quindi"), fatica a scoprire strategie semanticamente distinte (ad esempio, passare dal ragionamento algebrico a quello geometrico). Di conseguenza, i modelli ottimizzati con RL migliorano spesso il pass@1 (accuratezza su singolo campione) ma non riescono a mantenere o migliorare le prestazioni pass@k per grandi valori di $k$, indicando una perdita di traiettorie corrette diverse.

Inoltre, spostare l'esplorazione negli spazi latenti continui introduce una sfida di assegnazione del credito. Nel RL nello spazio latente, la politica agisce in uno spazio latente continuo, ma i premi sono osservati solo dopo che la traiettoria latente è stata decodificata in testo. Una strategia di rollout ingenua intreccia la qualità del ragionamento latente con la qualità della decodifica testuale. Un premio basso potrebbe derivare da una traiettoria latente difettosa o semplicemente da una realizzazione testuale imperfetta di un latente valido, creando un segnale di apprendimento rumoroso e fuorviante.

Metodologia: LaDi-RL

Gli autori propongono Ragionamento con Diffusione Latente e Apprendimento per Rinforzo (LaDi-RL), un framework che ripensa l'esplorazione nello spazio latente continuo utilizzando modelli di diffusione per prevenire il crollo dell'entropia.

1. Politica di Diffusione Latente

Invece di generare il ragionamento token per token, LaDi-RL codifica un'intera traiettoria di ragionamento in un blocco latente continuo e compatto (ad esempio, 64 token) utilizzando un Autoencoder Variazionale (VAE). La politica è parametrizzata come un modello di diffusione su queste rappresentazioni di traiettoria.

• Meccanismo: Partendo dal rumore, la politica denoisa iterativamente verso una traiettoria di ragionamento latente. Questo processo permette un'esplorazione strutturata e una modellazione distributiva espressiva, supportando naturalmente strategie di ragionamento multi-modali.
• Guida alla Diversità: Per prevenire ulteriormente il crollo, gli autori introducono un meccanismo di guida basato sulla repulsione. Durante il processo di denoising, viene applicata una forza repulsiva alle traiettorie latenti vicine, incoraggiandole a separarsi nello spazio latente. Questo agisce come una regolarizzazione geometrica locale, preservando esplicitamente la diversità senza fare affidamento esclusivamente sull'entropia della politica.

2. Rollout Gerarchici Latente-Testo

Per affrontare la sfida di assegnazione del credito, LaDi-RL impiega una strategia di rollout gerarchica $N \times M$:

• Campionamento Latente ($N$): Per una data query, la politica di diffusione campiona $N$ distinte traiettorie di ragionamento latente.
• Decodifica del Testo ($M$): Per ogni traiettoria latente campionata, la politica del testo genera $M$ testi candidati di risposta.
• Premio Marginalizzato dal Decodificatore: I premi delle $M$ completazioni testuali vengono aggregati (mediati) per stimare l'utilità della traiettoria latente sottostante. Questa stima "marginalizzata dal decodificatore" isola la qualità del ragionamento latente dalla stocasticità della decodifica del testo, fornendo un segnale di premio più pulito e a varianza ridotta per l'ottimizzazione della politica di diffusione.

3. Ottimizzazione Congiunta

Il framework ottimizza due politiche eterogenee simultaneamente utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO):

• Politica Latente: Ottimizzata utilizzando il premio medio delle $M$ testi associati a ciascun blocco latente. L'obiettivo incoraggia il modello di diffusione a esplorare modalità di ragionamento diverse e di alta qualità.
• Politica del Testo: Ottimizzata utilizzando le differenze relative tra le $M$ testi generati dallo stesso blocco latente. Questo costringe la politica del testo a trovare la realizzazione testuale ottimale per una data strategia di ragionamento, disaccoppiandola dall'esplorazione di nuove strategie.
• Funzione di Perdita: Una somma ponderata delle perdite latente e testuale garantisce che la politica latente esplori catene di pensiero diverse mentre la politica del testo rimane un generatore fedele ed efficace.

Risultati Chiave

Gli autori hanno valutato LaDi-RL su benchmark di generazione di codice e ragionamento matematico, confrontandolo con baseline di RL a livello di token (ad esempio, GRPO Vanilla, GRPO con vantaggi di entropia) e altri metodi di ragionamento latente.

• Miglioramenti delle Prestazioni: LaDi-RL ha ottenuto miglioramenti assoluti del pass@1 del +9,4% nella generazione di codice e del +5,7% nel ragionamento matematico rispetto alle baseline di RL a livello di token.
• Preservazione della Diversità: A differenza del GRPO Vanilla, che mostra un crollo della diversità (dove il pass@k scende sotto il modello base per grandi $k$), LaDi-RL ha costantemente superato le prestazioni pass@k del modello base su tutti i benchmark. Ad esempio, su AIME 2025, ha ottenuto un miglioramento assoluto di +13,4 nel pass@128.
• Efficienza: Comprimendo il ragionamento in un blocco latente (64 token) prima della decodifica, LaDi-RL ha ridotto significativamente il numero di token generati (ad esempio, da ~3.447 token nel GRPO standard a ~422 token in LaDi-RL per i compiti di codice), risultando in una riduzione del 33% del tempo di inferenza end-to-end.
• Studi di Ablazione:
  • Traiettoria vs Livello di Token: L'esplorazione nello spazio delle traiettorie latenti ha prodotto una diversità semantica significativamente più alta (0,52 contro 0,18–0,22 per il livello di token) e prestazioni superiori.
  • Diffusione vs VAE: La politica basata sulla diffusione ha superato un campionatore VAE a singolo passo, dimostrando l'importanza del denoising iterativo per l'apprendimento di distribuzioni complesse di ragionamento latente.
  • Rollout Gerarchici: La struttura $N \times M$ è stata critica; aumentare $N$ (diversità latente) ha guidato la diversità semantica, mentre aumentare $M$ (media del testo) ha fornito segnali di premio più puliti.

Significato e Affermazioni

Il documento afferma che LaDi-RL fornisce un'alternativa principiale al RL a livello di token per migliorare il ragionamento degli LLM. Il suo significato principale risiede in:

1. Mitigazione del Crollo della Diversità: Spostando l'esplorazione dalle perturbazioni locali dei token alla diffusione globale a livello di traiettoria, il metodo mantiene un insieme diversificato di strategie di soluzione, impedendo alla politica di convergere verso minimi locali subottimali.
2. Risoluzione dell'Assegnazione del Credito: Il rollout gerarchico e la stima del premio marginalizzata dal decodificatore disaccoppiano efficacemente la qualità del ragionamento dal rumore di decodifica, consentendo un'ottimizzazione stabile delle politiche latenti.
3. Efficienza e Qualità: L'approccio ottiene prestazioni all'avanguardia sia in accuratezza (pass@1) che in diversità (pass@k), riducendo significativamente il sovraccarico computazionale attraverso la compressione latente.

Gli autori concludono che la diffusione latente offre un meccanismo robusto per un'esplorazione strutturata, permettendo ai modelli di scoprire strategie di ragionamento semanticamente distinte che i metodi a livello di token trascurano, sbloccando così confini di ragionamento più elevati senza sacrificare la diversità delle soluzioni.