Riepilogo Tecnico: Localizzazione del Credito alla Divergenza

1. Definizione del Problema

Il documento affronta un collo di bottiglia fondamentale nel Reinforcement Learning from Verifiable Rewards (RLVR) per i Large Language Models (LLM): l'assegnazione del credito a livello di token (token-level credit assignment).

Nelle pipeline RLVR standard (ad esempio, GRPO), un gruppo di rollout viene campionato, valutato da un verificatore e aggiornato sulla base di un vantaggio scalare. Questo scalare è identico per ogni token in una traiettoria. Di conseguenza, sebbene il modello apprenda che una traiettoria è fallita, non è in grado di identificare dove sia originato il fallimento. Una lunga traccia di ragionamento potrebbe contenere una configurazione corretta, un singolo passaggio algebrico errato e una risposta finale derivata da quell'errore; lo scalare della ricompensa tratta l'intera sequenza in modo uniforme, fallendo nel penalizzare il punto specifico di divergenza.

L'auto-distillazione on-policy tenta di risolvere questo problema utilizzando il modello sia come studente (condizionato dal prompt) che come insegnante (condizionato dal prompt più un contesto privilegiato, tipicamente la risposta corretta $a^\star$). La divergenza di Kullback-Leibler (KL) tra le distribuzioni dell'insegnante e dello studente fornisce un gradiente denso per ogni token.

Tuttavia, gli autori identificano un difetto critico nella scelta standard del contesto privilegiato ($c = a^\star$): L'Endpoint Context Bottleneck (Collo di bottiglia del contesto di fine percorso).

• Nei compiti con risposte terse (ad esempio, AIME, dove la risposta è un numero di 3 cifre), la risposta corretta vincola solo l'intervallo di token finale.
• Non fornisce informazioni sul percorso di ragionamento intermedio necessario per raggiungere quella risposta.
• Empiricamente, gli insegnanti condizionati dalla risposta producono un "silenzio" (uno spostamento predittivo vicino allo zero) attraverso la maggior parte della catena di ragionamento, con segnali che appaiono solo vicino alla risposta finale. Ciò lascia il modello senza guida esattamente nelle posizioni in cui la correzione a livello di percorso è più necessaria.

2. Metodologia: Hindsight Self-Distillation (HSD)

Gli autori propongono la Hindsight Self-Distillation (HSD), un metodo che sposta il contesto privilegiato da un endpoint (la risposta) a un percorso (una traiettoria paritaria di successo).

Meccanismo Centrale

Invece di condizionare l'insegnante esclusivamente sulla risposta corretta $a^\star$, l'HSD condiziona l'insegnante su una traiettoria paritaria di successo ($o^+$) estratta dallo stesso gruppo di addestramento, insieme alla risposta.

• Input: Per un rollout fallito $o_i$, se il gruppo contiene un rollout di successo $o^+$, l'insegnante è condizionato su $c_i = (a^\star, o^+)$.
• Fallback: Se nessun paritario nel gruppo ha successo ($S_i = \emptyset$), il metodo torna alla standard endpoint context $c_i = a^\star$.
• Costo: Questo non richiede campionamenti aggiuntivi. Il paritario di successo è già stato generato come parte del normale processo di campionamento relativo al gruppo (ad esempio, il gruppo di $G$ rollout di GRPO).

Giustificazione Teorica

• Credito Ideale: L'ideale assegnazione del credito per token dovrebbe favorire i token che aumentano la probabilità di eventuale successo del verificatore.
• Informazioni a livello di percorso: Un paritario di successo $o^+$ è un campione esatto della policy condizionata al successo $\pi^+$. Fornendo $o^+$ come contesto, l'insegnante ottiene accesso all'intero percorso di ragionamento di successo successivo.
• Localizzazione: Quando un rollout fallito $o_i$ e un paritario di successo $o^+$ condividono un prefisso fino a un punto di divergenza $\tau$:
  • Pre-divergenza ($t < \tau$): L'insegnante e lo studente vedono lo stesso prefisso. Il credito è vicino allo zero (il "silenzio").
  • Alla divergenza ($t = \tau$): L'insegnante vede la continuazione di successo $o^+_{\tau}$, mentre lo studente genera il token errato. La divergenza KL subisce un picco, creando un segnale di gradiente forte e localizzato esattamente al punto dell'errore.
  • Post-divergenza ($t > \tau$): Il segnale decade man mano che il prefisso dello studente si allontana ulteriormente dalla dimostrazione.

3. Contributi Chiave

1. Diagnosi del fallimento dell'Endpoint Context: Il documento dimostra che l'auto-distillazione condizionata alla risposta fallisce nei benchmark con risposte terse perché la risposta impone un tetto informativo ($\log V_k$) insufficiente a vincolare i percorsi di ragionamento intermedi. L'insegnante rimane "silenzoso" sui passaggi di ragionamento che contano di più.
2. Hindsight Self-Distillation (HSD): Una modifica minima, di una sola riga, al ciclo di addestramento che condiziona l'insegnante su una traiettoria paritaria di successo. Questo trasforma il panorama dell'assegnazione del credito, localizzando il segnale di gradiente alla posizione di divergenza $\tau$.
3. Validazione Empirica: Confronti controllati su Qwen3-8B e Qwen3-32B attraverso benchmark matematici (MATH, GSM8K, AIME) e di codice (APPS, LiveCodeBench).
   • L'HSD raggiunge risultati allo stato dell'arte rispetto alle varianti GRPO e ai baseline di distillazione on-policy (OPSD, SDPO, RLSD).
   • I guadagni sono più pronunciati sui compiti con risposte terse (ad esempio, AIME), dove l'endpoint context è più debole. Ad esempio, l'HSD supera il baseline GRPO di >5 punti su AIME-24 e di >7 punti su AIME-24 per il modello 32B.
   • Il profilo del credito empirico conferma la teoria: valori vicini allo zero sui prefissi condivisi e un picco netto al punto di divergenza.

4. Risultati e Analisi

• Performance: L'HSD supera tutti i baseline nei benchmark di matematica e codice a entrambe le scale di modelli. Il miglioramento rispetto al più forte baseline non-HSD (un ibrido di GRPO e OPSD) è costante, suggerendo che la supervisione basata sul percorso aggiunge valore oltre le combinazioni lineari di ricompense sparse e distillazione endpoint.
• Localizzazione del Credito: L'analisi del profilo del credito per token mostra che l'HSD concentra circa il 55% della massa del credito entro ±8 token dal punto di divergenza $\tau$. Al contrario, i metodi baseline (OPSD) distribuiscono il credito uniformemente o rimangono nella banda di silenzio.
• Copertura: L'efficacia dell'HSD dipende dall'esistenza di un paritario di successo. La probabilità di avere un paritario di successo raggiunge il picco quando il tasso di successo del gruppo $p$ è moderato (circa 0,25 per una dimensione del gruppo di 8). Ciò si allinea con l'osservazione che l'HSD produce i maggiori guadagni su AIME (dove i tassi di successo sono bassi-moderati) rispetto a HumanEval+ (dove i tassi di successo sono alti, lasciando meno rollout falliti da supervisionare).
• Costo Computazionale: L'HSD comporta un overhead modesto (circa il 25% di tempo di esecuzione in più per step rispetto a OPSD) a causa del contesto più lungo dell'insegnante, ma non richiede rollout aggiuntivi.

5. Significato e Rivendicazioni

Il documento sostiene che il limite principale dell'attuale distillazione on-policy non è il metodo di distillazione, ma la scelta del contesto privilegiato. Passando da un contesto di endpoint (risposta) a un contesto di percorso (paritario di successo), l'HSD sblocca la capacità di localizzare l'assegnazione del credito senza richiedere modelli di ricompensa esterni o campionamenti aggiuntivi.

Gli autori pongono l'HSD come una modifica semplice ed efficace che risolve il "silenzio" degli insegnanti nei compiti con risposte terse. Il lavoro suggerisce che la "prospettiva retrospettiva" (hindsight) di un paritario di successo all'interno dello stesso gruppo di addestramento è un segnale sufficiente e potente per guidare i modelli di ragionamento, trasformando efficacementamente il meccanismo di campionamento relativo al gruppo in una fonte di supervisione densa a livello di percorso.

Limitazioni Riconosciute:

• L'HSD dipende dall'esistenza di un paritario di successo; se l'intero gruppo fallisce, torna al segnale endpoint più debole.
• Il metodo è valutato su matematica e codice con verificatori programmatici; la sua applicabilità a ricompense rumorose, interazioni multi-turno o punti di partenza istruiti (instruction-tuned) non è ancora stabilita.
• La "coda difficile" (dove i tassi di successo sono estremamente bassi) potrebbe soffrire di una bassa copertura, un'area potenziale per il lavoro futuro che coinvolge il buffering dei successi passati.