Sintesi Tecnica: LatentRevise: Imparare dal Ragionamento a Zero-Hit

1. Definizione del Problema: Il Regime Zero-Hit nel RLVR

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è diventato un approccio standard per potenziare il ragionamento nei modelli linguistici. Tuttavia, affronta un collo di bottiglia fondamentale noto come regime zero-hit. In questo scenario, viene presentato un prompt in cui l'attuale policy non riesce a generare una singola traiettoria corretta entro un budget di campionamento pratico (ovvero, $pass@N = 0$).

Gli algoritmi RLVR standard, come il Group Relative Policy Optimization (GRPO), si affidano a vantaggi normalizzati per gruppo per aggiornare la policy. Quando tutte le traiettorie campionate in un gruppo falliscono, ricevono ricompense identiche (tipicamente zero o negative). Di conseguenza, la media del gruppo eguaglia le ricompense individuali, causando il collasso dell'advantage normalizzato a zero. Ciò determina una mancanza di segnali di gradiente costruttivi, scartando di fatto questi prompt "difficili" come rumore non apprendibile.

I rimedi esistenti tentano di affrontare questo problema:

1. Aumentando il budget di campionamento: Elevando $N$ o la temperatura di decoding, il che è computazionalmente costoso e rimane comunque limitato al solo esito (mancando di una guida intermedia).
2. Distillazione on-policy: Utilizzando un modello insegnante o informazioni privilegiate per fornire target a livello di token. Tuttavia, questi metodi si affidano a una guida esterna che può essere debole, non corrispondente o non disponibile quando lo studente sta già faticando.

Il problema centrale è che questi prompt zero-hit si trovano spesso alla "frontiera di campionamento" dove sono necessari nuovi comportamenti di ragionamento, eppure le pipeline standard non possono imparare da essi perché mancano di un segnale positivo.

2. Metodologia: LatentRevise

Gli autori propongono LatentRevise, un metodo di revisione latente del primo ordine progettato per recuperare segnali di addestramento da rollout falliti senza richiedere modelli insegnanti esterni o tracce di riferimento. Invece di scartare una traiettoria fallita, LatentRevise la tratta come una traccia informativa e ottimizza gli embedding di input del prefisso di ragionamento nello spazio latente continuo.

Pipeline Core

1. Input: Un rollout fallito $y_{fail} = [r; c]$, dove $r$ è il prefisso di ragionamento e $c$ è la continuazione fallita, insieme alla risposta corretta (gold answer) $y_{GT}$.
2. Freeze & Optimize: I parametri del modello $\theta$ sono congelati. Gli embedding di input del prefisso di ragionamento, $E_r$, vengono ottimizzati per spostare la traiettoria lontano dal fallimento e verso la soluzione.
3. Obiettivo Composto: L'ottimizzazione minimizza una perdita totale $L_{total}$ composta da tre termini:
   • Latent Exploration Loss ($L_{explore}$): Un segnale repulsivo che minimizza la probabilità di riprodurre l'originale continuazione fallita $c$. Questo incoraggia lo stato latente a esplorare percorsi alternativi.
   • Latent Guidance Loss ($L_{guide}$): Un segnale di guida che massimizza la probabilità di generare la risposta corretta $y_{GT}$ (condizionata a un template di risposta fisso). Questo ancora la revisione verso la soluzione corretta.
   • Language Fluency Prior ($L_{NLL}$): Un termine di regolarizzazione che mantiene la log-likelihood negativa dei token di ragionamento originali $r$. Ciò assicura che il latente ottimizzato rimanga semanticamente coerente e non derivi in rumore avversariale.
4. Vincolo del Manifold (Frank-Wolfe): Per evitare che gli embedding continui derivino in uno spazio di feature interpretabile (dove il modello potrebbe "barare" codificando risposte in vettori arbitrari), l'ottimizzazione è vincolata all'inviluppo convesso degli embedding del vocabolario del modello. Ciò è ottenuto tramite l'algoritmo di Frank-Wolfe (Conditional Gradient). Ad ogni step, l'aggiornamento è una combinazione convessa dell'embedding corrente e del vertice ottimale (token del vocabolario) che minimizza l'approssimazione lineare della perdita.
5. Recupero Discreto: Il soft prefix ottimizzato $E^*_r$ viene proiettato nuovamente in token discreti tramite ricerca del vicino più prossimo rispetto alla matrice del vocabolario. Una nuova continuazione viene decodificata autoregressivamente. Se la traiettoria risultante supera il verificatore, viene mantenuta come dati di supervisione o iniettata nei gruppi RL.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Riformulazione della Frontiera Zero-Hit: Gli autori identificano i prompt zero-hit non come outlier non apprendibili, ma come una frontiera recuperabile. Dimostrano che segnali di addestramento validi possono essere recuperati algoritmicamente da questi fallimenti utilizzando lo spazio latente del modello stesso.
2. Algoritmo LatentRevise: Un nuovo framework di revisione latente del primo ordine che converte rollout falliti in successi. Fondamentalmente, opera senza distribuzioni di insegnanti esterni o tracce privilegiate, affidandosi invece alla risposta corretta e alla propria continuazione fallita per generare segnali di correzione densi e per posizione.
3. Validazione Empirica: Le traiettorie recuperate dimostrano di essere dati di addestramento di alto valore. Migliorano sia il $pass@1$ che il $pass@k$ su benchmark di ragionamento matematico, particolarmente in scenari in cui l'RL standard e i budget di campionamento più ampi non riescono a produrre miglioramenti.

4. Risultati Sperimentali

Il metodo è stato valutato su DAPO-Math-14K utilizzando i modelli Qwen2.5-1.5B-Instruct e Qwen3-8B-Base su benchmark inclusi MATH500, AIME 24/25, AMC 23, OlympiadBench e Minerva Math.

• Regime Zero-Hit (DAPO-Hard): Su un sottoinsieme di query in cui il modello base ha ottenuto $pass@32 = 0$ (circa il 46% del dataset per il modello più piccolo), il GRPO standard ha fornito un miglioramento trascurabile a causa degli advantage collassati. LatentRevise, quando usato per generare dati SFT o iniettato nei gruppi RL, ha superato significativamente i baseline.
  • Per Qwen2.5-1.5B, GRPO+Ours ha raggiunto un $pass@32$ medio del 53.51%, rispetto al 44.84% del GRPO standard e al 50.69% per il GRPO con un raddoppio del gruppo di rollout ($N=16$).
  • Notevolmente, il metodo ha superato OPSD (On-Policy Self-Distillation), che si affida a un insegnante condizionato sulla risposta corretta, suggerendo che l'ottimizzazione latente interna di LatentRevise è più efficace del condizionamento dell'insegnante tramite hindsight.
• Dataset Completo (DAPO-Full): Quando applicato all'intero dataset di addestramento (miscelando prompt facili e difficili), LatentRevise continua a superare GRPO, DAPO e i baseline con rollout più grandi, con i guadagni più significativi osservati ai valori di $k$ più elevati ($pass@32$).
• Efficienza: LatentRevise ha comportato un overhead computazionale inferiore rispetto al semplice raddoppio della dimensione del gruppo di rollout ($N=16$). Ha aggiunto circa il 24% del tempo di addestramento e il 3% di memoria rispetto al GRPO standard ($N=8$), mentre il raddoppio della dimensione del gruppo ha aumentato il tempo di circa il 66% e la memoria del 14%.
• Analisi Qualitativa: Le traiettorie riviste hanno mostrato un aumento della lunghezza e marcatori espliciti di auto-riflessione (es. "Aspetta, lasciami riconsiderare"), indicando che il metodo fa emergere comportamenti di correzione dell'errore che il campionamento discreto raramente raggiunge.

5. Significato e Rivendicazioni

Il paper sostiene che LatentRevise offre un asse complementare per il RL del ragionamento. Quando il campionamento a livello di token raggiunge la sua frontiera di budget finito, la revisione del primo ordine nello spazio latente del modello stesso può trasformare i rollout falliti in supervisione verificata.

Gli autori affermano che:

• I prompt zero-hit sono preziosi: Non sono meri rumore, ma rappresentano una frontiera di addestramento ad alto valore. Una volta rivisti, forniscono segnali che espandono la copertura delle soluzioni del modello.
• Il recupero interno è vitale: Un modello può imparare dai propri fallimenti senza bisogno di un insegnante più forte o di tracce di riferimento esterne, a patto che l'ottimizzazione sia vincolata al manifold del vocabolario.
• Efficienza: Recuperare segnali dai rollout falliti è più efficiente dal punto di vista computazionale rispetto all'espansione brutale del campionamento, specialmente man mano che le scale dei modelli e le catene di ragionamento si allungano.

Il lavoro suggerisce che, man mano che i compiti di ragionamento diventano più difficili, il confine dell'addestramento basato sul campionamento può essere spinto non solo campionando di più, ma anche rivedendo ciò che è già stato campionato, trasformando i "vicoli ciechi" dell'attuale policy in una fonte di curriculum e segnale di addestramento.