Riepilogo Tecnico: f-GRPO e Oltre: Algoritmi di Apprendimento per Rinforzo Basati sulla Divergenza per l'Allineamento Generale degli LLM

1. Enunciato del Problema

L'allineamento dei Modelli Linguistici su Grande Scala (LLM) avviene tipicamente in due regimi distinti:

1. Apprendimento per Rinforzo con Ricompense Verificabili (RLVR): Il feedback è fornito tramite ricompense scalari $r(x, y)$ (ad esempio, correttezza in matematica o codice). Qui, le risposte allineate e non allineate non sono osservate esplicitamente come coppie; invece, devono essere inferite dal segnale di ricompensa. Gli approcci standard come l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) utilizzano il campionamento on-policy e vantaggi standardizzati.
2. Allineamento per Preferenza: Il feedback è fornito tramite preferenze umane (risposte scelte vs. respinte). Metodi come l'Ottimizzazione Diretta delle Preferenze (DPO) o gli Ottimizzatori f-divergenza (FDO) trattano questo come la separazione di una distribuzione allineata $D_+$ da una distribuzione non allineata $D_-$.

Lavori recenti (Haldar et al., 2025) hanno stabilito che l'allineamento per preferenza può essere interpretato come la stima di divergenze statistiche tra $D_+$ e $D_-$. Tuttavia, questa prospettiva basata sulla divergenza è stata limitata ai dati di preferenza. Nel RLVR, dove le distribuzioni esplicite $D_+$ e $D_-$ non sono disponibili, rimane una questione aperta se la stima della divergenza possa fornire una fondazione teorica unificata. Inoltre, l'allineamento alla sicurezza on-policy soffre spesso di "hacking della ricompensa" quando si utilizzano modelli di ricompensa appresi, poiché la politica può sfruttare le debolezze del modello invece di apprendere vincoli di sicurezza reali.

2. Metodologia

Gli autori propongono di estendere il framework basato sulla divergenza all'allineamento generale degli LLM inducendo distribuzioni allineate e non allineate direttamente dalle ricompense scalari.

2.1 Induzione di Distribuzioni dalle Ricompense

Nel RLVR, per un prompt dato $x$, gli autori definiscono distribuzioni allineate alla ricompensa ($D_{(r,\theta)}^+$) e non allineate alla ricompensa ($D_{(r,\theta)}^-$) basate sulla politica corrente $\pi_\theta$:

• $D_{(r,\theta)}^+$: Pone massa sulle risposte con ricompense sopra la ricompensa media $\mu_\theta^r(x)$.
• $D_{(r,\theta)}^-$: Pone massa sulle risposte con ricompense sotto la media.

Questo permette la formulazione di un problema di stima della divergenza on-policy in cui l'obiettivo è separare le risposte ad alta ricompensa da quelle a bassa ricompensa senza coppie di preferenze esplicite.

2.2 f-GRPO (Ottimizzazione della Politica Relativa di Gruppo f)

Gli autori derivano f-GRPO, una classe di obiettivi on-policy basati su rappresentazioni variazionali delle f-divergenze.

• Meccanismo: Invece di ridistribuire i pesi dei campioni esclusivamente tramite vantaggi standardizzati (come nel GRPO), f-GRPO stima la divergenza tra le distribuzioni indotte allineate alla ricompensa e non allineate alla ricompensa.
• Campionamento per Importanza: L'obiettivo utilizza un gruppo di $G$ risposte campionate. Costruisce pesi di importanza utilizzando un softmax sulle ricompense (corretto per la probabilità della politica di campionamento) e tronca l'aggiornamento includendo solo le risposte sopra la media per il termine allineato e le risposte sotto la media per il termine non allineato.
• Funzione di Perdita: La perdita combina la ricompensa implicita della politica $r_\theta$ con questi pesi indotti dalla ricompensa, ottimizzando efficacemente una f-divergenza variazionale tra le due distribuzioni indotte.

2.3 f-HAL (Perdita di Allineamento Ibrido f)

Per affrontare le limitazioni dei metodi puramente on-policy nell'allineamento alla sicurezza (dove le ricompense sono apprese e imperfette), gli autori introducono f-HAL.

• Obiettivo Ibrido: f-HAL interpola tra l'ottimizzazione della ricompensa on-policy (f-GRPO) e la supervisione per preferenza off-policy (FDO).
• Formula: $L_{f-HAL} = \lambda L_{FDO} + (1-\lambda) L_{f-GRPO}$.
• Funzione: Utilizza ricompense on-policy per l'esplorazione, ancorando al contempo la politica con dati di preferenza off-policy per prevenire l'hacking della ricompensa. Teoricamente, questo stima una divergenza tra miscele di distribuzioni indotte dalla ricompensa e distribuzioni indotte dalla preferenza.

3. Contributi Teorici Chiave

Il documento fornisce garanzie teoriche rigorose per gli obiettivi proposti:

• Stima della Divergenza: Gli autori dimostrano che f-GRPO e f-HAL non sono semplici euristiche, ma stimano coerentemente le f-divergenze tra distribuzioni ben definite allineate e non allineate (Teorema 4.3).
• Coerenza dell'Allineamento: Gli aggiornamenti della politica a punto fisso risultano coerenti con l'allineamento. Nello specifico, le risposte con una densità più alta nella distribuzione allineata rispetto a quella non allineata vengono ridistribuite con pesi maggiori.
• Miglioramento della Ricompensa: Sotto funzioni di collegamento canoniche (dove $g^{-1}(f'_\infty) = \infty$), gli autori dimostrano un miglioramento monotono della ricompensa attesa. A differenza del GRPO standard, che può assegnare una probabilità non nulla a risposte sotto la media, f-GRPO con collegamenti canonici concentra la massa di probabilità strettamente sulle risposte sopra la media nel limite, garantendo la convergenza alla politica a ricompensa massima.
• Confronto con GRPO: Il documento caratterizza il punto fisso del GRPO non troncato, mostrando che ridistribuisce i pesi della politica di riferimento tramite l'esponenziale delle ricompense standardizzate. Tuttavia, f-GRPO offre una separazione "più netta", assegnando massa zero alle risposte sotto la media in condizioni specifiche, portando a garanzie di miglioramento teorico più forti.

4. Risultati Sperimentali

Gli autori hanno valutato f-GRPO e f-HAL su due compiti principali:

4.1 Ragionamento Matematico (Compito RLVR)

• Configurazione: Fine-tuning dei modelli Qwen2.5-Math (1.5B e 7B) sui dataset GSM8K, LIMR e OpenRS utilizzando ricompense verificabili.
• Risultati: f-GRPO supera costantemente il GRPO standard attraverso varie scelte di f-divergenza (ad esempio, Pearson, KL, Hellinger).
  • Sul dataset impegnativo LIMR, le varianti f-GRPO hanno ottenuto punteggi Pass@1 più alti e classifiche aggregate migliori rispetto al GRPO.
  • I guadagni più significativi sono stati osservati su dataset più difficili (LIMR, OpenRS), validando il vantaggio teorico di una separazione delle distribuzioni più netta.

4.2 Allineamento alla Sicurezza (Compito di Preferenza con Ricompense Apprese)

• Configurazione: Allineamento dei modelli su un dataset di conformità-rifiuto utilizzando un modello di ricompensa appreso (DeBERTa-v3-large) per i metodi on-policy, confrontandoli con allineatori diretti off-policy (DPO, KTO, BCO).
• Risultati:
  • Hacking della Ricompensa: I metodi puramente on-policy (GRPO) hanno performance scarse, esibendo un comportamento di "rifiuto indiscriminato" (rifiuto di prompt sicuri) a causa dello sfruttamento del modello di ricompensa appreso.
  • Mitigazione Ibrida: L'ibrido f-HAL (con $\lambda=0.5$) ha mitigato con successo l'hacking della ricompensa. Combinando l'esplorazione on-policy con la supervisione per preferenza off-policy, ha mantenuto la consapevolezza del contesto (rispondendo correttamente a prompt sicuri) rifiutando al contempo quelli dannosi.
  • Performance: L'ibrido f-HAL ha spesso superato l'allineamento diretto puro su modelli più grandi (7B), suggerendo che l'esplorazione on-policy è benefica quando la capacità del modello è sufficiente. Su modelli più piccoli (1.5B), gli allineatori diretti sono rimasti leggermente più forti, ma f-HAL ha comunque superato significativamente il RL on-policy puro.

5. Significato e Affermazioni

Il documento afferma di fornire una fondazione unificata e pratica per gli algoritmi di allineamento degli LLM:

• Unificazione: Estende la visione basata sulla divergenza dell'allineamento dai dati di preferenza al RLVR, mostrando che entrambi i regimi possono essere intesi come la stima di divergenze tra distribuzioni allineate e non allineate.
• Rigor Teorico: Stabilisce che questi obiettivi offrono garanzie di miglioramento della ricompensa più forti rispetto ai metodi on-policy standard come il GRPO, modellando esplicitamente la separazione delle distribuzioni.
• Utilità Pratica: L'approccio ibrido (f-HAL) offre una soluzione robusta per l'allineamento alla sicurezza quando le ricompense verificabili non sono disponibili, bilanciando efficacemente l'esplorazione (tramite ricompense) e la stabilità (tramite preferenze) per prevenire l'hacking della ricompensa.

Gli autori notano con modestia che, sebbene la teoria supporti un miglioramento monotono per tutte le f-divergenze canoniche, diverse divergenze possono indurre dinamiche diverse su campioni finiti. Gli esperimenti sono limitati a modelli fino a 7 miliardi di parametri per validare la fattibilità del framework, con codice open-source fornito per la riproducibilità.