Riepilogo Tecnico: Selezione di Addestramento di Riferimento Off-Policy con Guida al Piano (SORT)

1. Enunciato del Problema

L'Apprendimento per Rinforzo da Ricompense Verificabili (RLVR), in particolare l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), ha migliorato il ragionamento nei modelli linguistici rafforzando le soluzioni campionate che producono esiti positivi. Tuttavia, GRPO presenta una modalità di fallimento critica su "prompt difficili" in cui ogni rollout campionato è errato. In questi scenari, il vantaggio relativo al gruppo collassa a zero perché non vi è varianza nelle ricompense (tutte sono zero), rendendo il prompt invisibile all'aggiornamento del gradiente della politica.

Questi prompt a ricompensa zero sono spesso i segnali di addestramento più informativi, poiché sono accompagnati da soluzioni di riferimento verificate contenenti la struttura di ragionamento mancante. Tuttavia, gli approcci standard per utilizzare questi riferimenti — come l'Addestramento Supervisionato (SFT) uniforme o l'imitazione dell'intera traiettoria — falliscono perché mescolano decisioni di ragionamento fondamentali con algebra routinaria, formattazione e formulazione superficiale. Questa imitazione uniforme può portare al collasso della politica o alla verbosità senza migliorare l'accuratezza del ragionamento. I metodi di guida esistenti alterano spesso la distribuzione dei rollout o si affidano a insegnanti esterni, introducendo complessità o spostamenti distribuzionali.

2. Metodologia: SORT

Gli autori propongono la Selezione di Addestramento di Riferimento Off-Policy con Guida al Piano (SORT), un meccanismo di riparazione ausiliario progettato specificamente per i gruppi GRPO a ricompensa zero. SORT opera senza modificare il processo principale di generazione dei rollout GRPO.

Meccanismo Principale

1. Memorizzazione e Differimento: Quando un prompt produce solo rollout errati (gruppo a ricompensa zero), non viene scartato. Invece, il prompt e la sua soluzione di riferimento verificata vengono memorizzati in un buffer.
2. Estrazione del Piano: Per ogni esempio memorizzato, il modello corrente estrae un "piano di ragionamento" dalla soluzione di riferimento. Questo piano è una bozza ordinata delle decisioni chiave di ragionamento (ad esempio, lemmi, divisioni in casi, propagazione dei vincoli) ma non viene utilizzato come sequenza target per la generazione.
3. Valutazione Duale (Contesto Diagnostico): Il modello valuta i token di riferimento due volte sotto la stessa politica:
   • Condizione Base: La probabilità del token è caldata dato solo il prompt del problema.
   • Condizione Condizionata al Piano (Insegnante): La probabilità del token è calcolata dato il prompt del problema più il piano di ragionamento estratto.
4. Punteggio di Salienza dei Token: Il metodo calcola il log-rapporto tra la probabilità condizionata al piano e la probabilità base. I token in cui la probabilità aumenta significativamente sotto il condizionamento del piano sono identificati come "informativi strutturalmente" (cioè, rappresentano passaggi di ragionamento che il modello ha mancato ma può apprendere se la struttura è esplicita). I token routinari (algebra, formattazione) mostrano pochi cambiamenti.
5. Ponderazione Geometrica: SORT costruisce una perdita ausiliaria utilizzando un peso di media geometrica:
   $$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$$
   Questo peso combina la stabilità del supporto del modello base (da Addestramento Fine Dinamico, DFT) con la selettività dell'insegnante condizionato al piano. I token che diventano più prevedibili con il piano vengono aumentati di peso; quelli che non lo sono vengono diminuiti di peso o lasciati invariati.

Garanzie Teoriche

Gli autori formalizzano SORT utilizzando un modello di piano ground-truth. Dimostrano che, man mano che il piano estratto approssima il piano di ragionamento vero, il peso SORT converge a un peso "oracolo" che enfatizza esattamente i token strutturalmente critici. Il limite del rimpianto è mostrato essere proporzionale all'errore di estrazione del piano ($\gamma$) e alla probabilità base, garantendo che il metodo degradi elegantemente verso un comportamento simile a DFT se l'estrazione del piano è scarsa.

3. Contributi Chiave

• Identificazione dei Fallimenti a Vantaggio Zero: Il documento identifica i prompt a ricompensa zero come un collo di bottiglia specifico in GRPO dove il vantaggio di gruppo è zero, e introduce SORT per ripararli senza alterare la generazione dei rollout.
• Condizionamento al Piano dello Stesso Modello: A differenza dei metodi che iniettano tracce off-policy da modelli più forti o utilizzano insegnanti esterni, SORT utilizza lo stesso modello per estrarre un piano e valutare i token di riferimento, evitando dipendenze esterne.
• Ponderazione dei Token a Media Geometrica: Uno schema di ponderazione innovativo che integra la consapevolezza del supporto in stile DFT con la selettività condizionata al piano, matematicamente dimostrato approssimare la ponderazione dei token strutturali oracolo.
• Validazione Empirica: Esperimenti completi che dimostrano miglioramenti coerenti rispetto a GRPO vanilla e baselines basate su guida su molteplici dimensioni di modelli e benchmark.

4. Risultati Sperimentali

Il metodo è stato valutato su tre backbones addestrati con istruzioni (Llama-3.2-3B, Qwen2.5-7B e Qwen3-4B) su otto benchmark, inclusi compiti matematici in-distribuzione (AIME, AMC, MATH-500) e ragionamento out-of-distribution (GPQA, MMLU-Pro).

• Miglioramenti delle Prestazioni: SORT ha costantemente superato GRPO vanilla e altre baselines (LUFFY, ReLIFT, Scaf-GRPO).
  • Sul modello più debole (Llama-3.2-3B), SORT ha migliorato la media in-distribuzione dal 17,8% al 23,9% e out-of-distribution dal 22,5% al 33,8%.
  • Su modelli più forti, SORT ha fornito guadagni marginali ma coerenti, confermando la sua utilità anche quando i gruppi a ricompensa zero sono meno frequenti.
• Confronto con le Baselines:
  • vs. SFT/ReLIFT: A differenza di SFT o ReLIFT, che spesso aumentavano la lunghezza della risposta e la verbosità senza migliorare l'accuratezza (specialmente su modelli più deboli), SORT ha mantenuto generazioni compatte mentre potenziava il ragionamento.
  • vs. LUFFY: LUFFY, che mescola tracce off-policy più forti, ha mostrato meno selettività e talvolta ha degradato le prestazioni su compiti out-of-distribution.
• Dinamiche di Addestramento: SORT ha migliorato i punteggi di ricompensa senza l'espansione di lunghezza osservata in altri metodi. Ha riparato efficacemente i prompt difficili prendendo di mira specifici token di ragionamento invece di imitare intere traiettorie.

5. Significato e Affermazioni

Il documento afferma che SORT affronta una limitazione fondamentale in RLVR: l'incapacità di apprendere dai prompt più difficili in cui l'esplorazione fallisce. Trattando i riferimenti verificati non come traiettorie da copiare, ma come prove per un piano di ragionamento, SORT converte i fallimenti "tutti-sbagliati" in segnali di apprendimento strutturati e selettivi per i token.

Gli autori sottolineano che SORT è un aggiornamento ausiliario conservativo che preserva il processo originale di rollout GRPO. Non richiede insegnanti esterni, traiettorie sintetizzate o modifiche alla distribuzione di inferenza. Il metodo è particolarmente significativo per i modelli più deboli dove i gruppi a ricompensa zero sono più frequenti, offrendo una via per migliorare le capacità di ragionamento senza il costo computazionale di generare rollout corretti per ogni prompt. L'approccio è inquadrato come una "forma selettiva di auto-distillazione" che evita le insidie dell'enfatizzare eccessivamente token facili e routinari, concentrandosi invece sui passaggi incerti e strutturalmente critici del ragionamento.