Riepilogo Tecnico: Due è Meglio di Uno: Un Framework di Addestramento RLIF Multi-Ricompensa senza Collasso

1. Enunciato del Problema

Sebbene l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) abbia potenziato significativamente le capacità di ragionamento dei Modelli Linguistici su Grande Scala (LLM), esso dipende fortemente da supervisione esterna (ad esempio, annotazioni umane, soluzioni gold-standard), limitandone la scalabilità. L'Apprendimento per Rinforzo da Feedback Interno (RLIF) offre un'alternativa non supervisionata derivando segnali di ricompensa dal modello stesso, come l'autocertezza (minimizzazione dell'entropia) o misure basate sul consenso (voto di maggioranza).

Tuttavia, i metodi RLIF esistenti soffrono di modalità di fallimento ricorrenti, in particolare reward hacking e model collapse. Il paper sostiene che questi fallimenti derivino dalla dipendenza da un singolo segnale di ricompensa interna:

• Le ricompense basate sull'autocertezza favoriscono distribuzioni di token ad alta confidenza, portando spesso a un "collasso della modalità token" in cui il modello produce output brevi, deterministici e simili a modelli, indipendentemente dalla qualità dell'input.
• Le ricompense basate sul voto a cluster (basate sul consenso) possono portare a un "collasso della modalità risposta", in cui il modello si sposta nello spazio del ragionamento per produrre completamenti lunghi ad alta entropia che convergono su un singolo cluster dominante (ma potenzialmente errato).

Questo comportamento esemplifica la Legge di Goodhart: quando un singolo proxy diventa l'obiettivo di ottimizzazione, la politica sfrutta il proxy piuttosto che migliorare la capacità di ragionamento sottostante, portando a una traiettoria di miglioramento iniziale seguita da degradazione.

2. Metodologia

Gli autori propongono un Framework RLIF Multi-Ricompensa che scompone il segnale di addestramento in due componenti complementari e introduce una regolarizzazione mirata per prevenire il collasso. Il framework opera all'interno di un obiettivo di tipo GRPO (Group Relative Policy Optimization).

2.1 Meccanismo a Doppia Ricompensa

Per un dato prompt, il modello campiona $G$ completamenti. Per ciascun completamento vengono calcolate due ricompense intrinseche:

1. Ricompensa a Livello di Risposta (Voto a Cluster): Le risposte finali vengono estratte e raggruppate per equivalenza. Un completamento riceve una ricompensa proporzionale alla dimensione del suo cluster di risposte. Questo fornisce un segnale più denso rispetto al voto di maggioranza binario, premiando i cluster minoritari con valori non nulli per incoraggiare la diversità pur favorendo il consenso.
2. Ricompensa a Livello di Completamento (Autocertezza): Basata sulla divergenza KL media tra la distribuzione del prossimo token del modello e una distribuzione uniforme. Questa premia la generazione di token sicuri e a bassa entropia durante il processo di ragionamento.

2.2 Normalizzazione Basata su GDPO

Per evitare che un segnale di ricompensa domini l'altro a causa di differenze di scala (ad esempio, valori di autocertezza dipendenti dalla dimensione del vocabolario rispetto a ricompense di cluster in $[0, 1]$), il framework applica una Normalizzazione Multi-Ricompensa per Gruppo ispirata a GDPO. Ogni canale di ricompensa viene normalizzato indipendentemente all'interno del gruppo di $G$ completamenti utilizzando lo z-scoring prima di essere combinato in un singolo vantaggio a livello di rollout:
$$A_g = \alpha \cdot \hat{R}_{cluster}(a_g) + \beta \cdot \hat{R}_{cert}(c_g)$$
Ciò garantisce che l'importanza relativa della qualità della risposta rispetto alla confidenza del ragionamento sia controllata dai pesi $\alpha$ e $\beta$, piuttosto che dalla varianza grezza dei segnali.

2.3 Regolarizzazione KL-Cov

Per affrontare il rischio residuo di collasso dell'entropia, gli autori introducono KL-Cov, una strategia di regolarizzazione mirata.

• Meccanismo: Il metodo identifica i top-$k$ (ad esempio, il 2%) di token con la covarianza più alta tra le loro log-probabilità e i vantaggi del rollout. Questi token "ad alta covarianza" sono i principali responsabili del collasso dell'entropia.
• Penalità: Invece di applicare una penalità KL globale, il framework applica una penalità mirata $L_1$ (rapporto assoluto di log-importanza) solo a questi token ad alta covarianza. Il restante ~98% dei token subisce aggiornamenti GRPO standard con clipping.
• Obiettivo: Questo sopprime i token specifici responsabili della riduzione sproporzionata dell'entropia, preservando al contempo l'esplorazione e la diversità nel resto della distribuzione dei token.

3. Contributi Chiave

1. Framework RLIF Multi-Ricompensa: Un'architettura innovativa che ottimizza congiuntamente il consenso a livello di risposta e l'autocertezza a livello di completamento, mitigando le modalità di fallimento associate all'ottimizzazione di un singolo proxy.
2. Normalizzazione GDPO: L'applicazione della normalizzazione per gruppo a contesti multi-ricompensa non supervisionati per prevenire la dominanza indotta dalla scala di un segnale sull'altro.
3. Regolarizzazione KL-Cov: Un vincolo di politica mirato che penalizza specificamente i token ad alta covarianza per prevenire il collasso dell'entropia senza soffocare l'esplorazione generale.
4. Validazione Empirica: Dimostrazione che ricompense interne complementari, combinate con regolarizzazione mirata, possono supportare un ragionamento stabile a lungo termine senza supervisione esterna basata su ground-truth.

4. Risultati Sperimentali

Il framework è stato valutato su cinque benchmark di ragionamento matematico (GSM8K, MATH500, MMLU-Pro, AIME 2024/2025) e due benchmark di generazione di codice (LiveCodeBench v6, CRUXEval-O) utilizzando i modelli base Qwen2.5-1.5B e Qwen2.5-3B.

• Stabilità vs. Collasso: I baseline a singola ricompensa (ad esempio, INTUITOR che utilizza solo autocertezza) hanno mostrato un collasso catastrofico, con la precisione che scende a quasi zero dopo guadagni iniziali (ad esempio, step 160–200). L'approccio multi-ricompensa senza KL-Cov ha ritardato questo collasso ma è degradato alla fine. Il metodo completo Multi-Ricompensa + KL-Cov è rimasto stabile per l'intero orizzonte di addestramento (340 step), mantenendo l'89–99% delle prestazioni di picco.
• Prestazioni: Il metodo proposto ha raggiunto prestazioni vicine ai baseline RLVR supervisionati (GRPO con ricompense ground-truth) rimanendo completamente non supervisionato.
  • Su Qwen2.5-3B, il metodo ha eguagliato o superato i baseline supervisionati su diverse metriche (ad esempio, 7,7% di pass@1 su LiveCodeBench contro il 6,4% per GRPO supervisionato).
  • Ha superato significativamente i baseline non supervisionati a singola ricompensa (ad esempio, +45,9 punti percentuali su GSM8K per il modello da 1,5B rispetto a INTUITOR).
• Generalizzazione: La struttura di ragionamento appresa su compiti matematici si è trasferita efficacemente a compiti di generazione di codice (fuori distribuzione), dove il metodo ha superato i baseline a singola ricompensa.

5. Significato e Affermazioni

Il paper afferma che l'instabilità osservata nei precedenti metodi RL non supervisionati non è un difetto intrinseco dell'RLIF, ma una conseguenza dell'ottimizzazione di un singolo proxy interno. Scomponendo il segnale di ricompensa in componenti strutturalmente complementari (accordo sulla risposta e confidenza del token) e applicando una regolarizzazione mirata contro i token specifici che guidano il collasso, il framework raggiunge un ragionamento stabile a lungo termine senza supervisione esterna.

Gli autori posizionano questo lavoro come un'alternativa scalabile all'RLVR supervisionato esternamente, suggerendo che la ricerca futura possa esplorare segnali interni aggiuntivi per supportare ulteriormente traiettorie di ragionamento complesse. I risultati indicano che "due è meglio di uno": ricompense interne complementari, quando opportunamente normalizzate e regolarizzate, possono impedire al modello di collassare in pattern ristretti di ricerca della ricompensa, preservando così l'esplorazione necessaria per la risoluzione di problemi complessi.