OR Else: A Differentiable Trust Region for Policy Optimization

Sintesi Tecnica: OR ELSE: UNA REGIONE DI FIDUCIA DIFFERENZIABILE PER L'OTTIMIZZAZIONE DELLA POLICY

Definizione del Problema
L'Apprendimento per Rinforzo dal Feedback Umano (RLHF) per i Large Language Models (LLM) si basa comunemente sulla Proximal Policy Optimization (PPO) e sulla sua variante, Group Relative Policy Optimization (GRPO). Entrambi i metodi utilizzano un obiettivo surrogato con clipping per vincolare gli aggiornamenti della policy. Sebbene il meccanismo di clipping crei una regione a gradiente nullo unidirezionale per prevenire un eccessivo drift della policy nella direzione "favorevole", la transizione in questa regione è geometricamente brusca: la derivata della funzione obiettivo rispetto al rapporto di probabilità cambia in modo discontinuo nel limite di clipping. Gli autori indagano se l'Output Reset (OR), una regola di saturazione unidirezionale e fluida originariamente progettata per l'addestramento di classificatori, offra un'alternativa superiore per il post-training degli LLM. Nello specifico, il documento si chiede se la sostituzione del surrogato con una perdita basata su OR, differenziabile, possa migliorare la stabilità dell'ottimizzazione e i punteggi di reward finali senza introdurre nuove patologie.

Metodologia
Il documento introduce PPO-OR e GRPO-OR, due varianti che sostituiscono il termine della policy con clipping con una perdita a margine quadratico derivata da OR nello spazio dei log-rapporti dei token.

• Meccanismo Core: Inveve di utilizzare il rapporto di probabilità $r_t(\theta)$, i metodi operano sul rapporto di log-probabilità per token $\rho_t = \log \pi_\theta(a_t|s_t) - \log \pi_{\theta_{old}}(a_t|s_t)$.
• La Perdita OR: Per un token con un vantaggio stimato non nullo $\hat{A}_t$, viene impostato un margine target $\sigma_t \alpha_{OR}$ (dove $\sigma_t = \text{sign}(\hat{A}_t)$). Si tratta di un margine quadratico unidirezionale: $\ell_{OR,t} = [\max(0, \alpha_{OR} - \sigma_t \rho_t)]^2$.
• Comportamento di Output Reset: Una volta che $\rho_t$ attraversa il margine nella direzione favorita dal segno del vantaggio, il target viene "resettato" al valore corrente di $\rho_t$. Ciò risulta in un residuo nullo e in un contributo diretto del gradiente nullo per quel token. La derivata si avvicina a zero continuamente al confine, rendendo la perdita $C^1$ continua (a differenza del clipping di PPO, che è $C^0$ continua ma non differenziabile).
• Stima del Vantaggio:
  • PPO-OR: Mantiene la Generalized Advantage Estimation (GAE) con una testa di valore appresa.
  • GRPO-OR: Mantiene i vantaggi relativi al gruppo (calcolati da $G=2$ risposte per prompt) senza un critic.
• Configurazione Sperimentale: Lo studio utilizza Llama-3.2-1B-Instruct sul dataset Anthropic hh-rlhf. Tutti i metodi condividono un singolo modello di reward congelato e sono valutati su tre seed. Gli esperimenti sono progettati come confronti accoppiati all'interno della stessa famiglia: PPO-clip vs. PPO-OR (sotto GAE) e GRPO vs. GRPO-OR (sotto vantaggi relativi al gruppo). I confronti tra famiglie diverse sono annotati come non controllati a causa delle differenze nella stima del vantaggio, nell'uso del critic e nella lunghezza delle risposte.

Contributi Chiave

1. Proposta Algoritmica: L'introduzione di PPO-OR e GRPO-OR, che sostituiscono il surrogato con clipping con una perdita a margine quadratico, differenziabile e unidirezionale nello spazio del log-rapporto.
2. Caratterizzazione Teorica: Dimostrazione formale che l'obiettivo OR è $C^1$ continuo al confine di saturazione e che la direzione di aggiornamento a livello di campione è determinata strettamente dal segno del vantaggio, svanendo continuamente al superamento del margine.
3. Valutazione Empirica: Un confronto rigoroso tra clipping e OR all'interno di due distinte famiglie di stima del vantaggio, evidenziando che i benefici di OR non sono uniformi ma dipendono dal pipeline di ottimizzazione circostante.
4. Insight Diagnostico: L'identificazione del fatto che sostituire il clipping con OR non risolve intrinsecamente il problema del grande drift cumulativo della policy osservato nelle impostazioni relative al gruppo, distinguendo la saturazione del gradiente locale dal controllo globale della policy.

Risultati
Il documento riporta i punteggi del modello di reward durante l'addestramento e le diagnostiche di ottimizzazione su tre seed:

• Famiglia GAE (PPO-clip vs. PPO-OR):

  • Punteggio Reward: PPO-OR ha ottenuto un punteggio medio finale più elevato (+0.500) rispetto a PPO-clip (+0.195), con una differenza di +0.305.
  • Stabilità: PPO-OR ha mostrato una deviazione standard tra i seed più ampia (0.158) rispetto a PPO-clip (0.110).
  • Drift: Entrambi i metodi hanno mantenuto uno spostamento (displacement) del log-rapporto tra rollout e attuale simile e basso (circa 0.3–0.5).

• Famiglia Relativa al Gruppo (GRPO vs. GRPO-OR):

  • Punteggio Reward: GRPO-OR non ha migliorato il punteggio medio; era leggermente inferiore (+0.457) rispetto a GRPO (+0.488).
  • Stabilità: GRPO-OR ha mostrato una deviazione standard tra i seed significativamente più piccola (0.027) rispetto a GRPO (0.080).
  • Diagnostica: GRPO-OR ha raggiunto un residuo OR terminale vicino allo zero e una frazione di overshoot in calo, mentre la traccia corrispondente di GRPO rimaneva elevata e altamente variabile.
  • Drift: Fondamentalmente, GRPO-OR non ha ridotto il grande spostamento (displacement) tra rollout e attuale osservato in GRPO. Entrambi i metodi relativi al gruppo hanno mostrato uno spostamento sostanzialmente più alto (circa 5–13) rispetto ai metodi GAE.

Significatività e Rivendicazioni
Il documento conclude con moderazione, sottolineando che gli effetti osservati di OR sono dipendenti dal contesto:

• Non una Regione di Fiducia Universale: Gli autori dichiarano esplicitamente che la saturazione fluida dell'obiettivo OR non costituisce una vera regione di fiducia formale. Essa sopprime il contributo diretto del gradiente dei singoli token dopo che hanno superato un margine, ma non vincola il drift cumulativo della policy causato da parametri condivisi, perdite ausiliarie o cambiamenti nei segni del vantaggio tra le iterazioni.
• Dipendenza dal Pipeline: L'efficacia di OR è legata al metodo di stima del vantaggio. Nell'impostazione GAE, OR è correlato a punteggi di reward più elevati ma con una maggiore varianza. Nell'impostazione relativa al gruppo, OR ha ridotto la varianza e stabilizzato la traccia della perdita, ma non ha migliorato il punteggio medio di reward né ha ridotto il drift della policy.
• Limitazioni: Lo studio riconosce che i risultati sono specifici per un modello leggero da 1B, un singolo modello di reward congelato e una dimensione del gruppo limitata ($G=2$). I risultati caratterizzano questo specifico setting sperimentale piuttosto che stabilire una superiorità generale rispetto a PPO o GRPO. Il documento ipotizza che il grande drift della policy nei metodi relativi al gruppo rimanga un problema irrisolto che OR da solo non può risolvere, suggerendo che il lavoro futuro debba affrontare lo spostamento cumulativo attraverso una regolarizzazione del riferimento più forte o penalità esplicite dello spostamento.

In sintesi, il documento dimostra che l'Output Reset offre un'alternativa differenziabile al clipping che altera il comportamento di ottimizzazione e può migliorare i punteggi di reward in contesti specifici, ma non risolve intrinsecamente le sfide della stabilità della policy o del drift nelle metodologie di RLHF relative al gruppo.