Sintesi Tecnica: Ottimizzazione della Policy Libera da Valore tramite Partizionamento dei Reward

Definizione del Problema

L'allineamento dei Large Language Models (LLM) con le preferenze umane si basa tipicamente sul Reinforcement Learning from Human Feedback (RLHF) o sul Direct Preference Optimization (DPO). Tuttavia, questi paradigmi affrontano significative sfide di scalabilità e stabilità:

• RLHF richiede l'annotazione umana costosa di preferenze a coppie, l'addestramento di un separato Reward Model (RM) e cicli di apprendimento per rinforzo instabili (es. PPO), che sono inefficienti dal punto di vista del campionamento e sensibili agli iperparametri.
• I metodi di tipo DPO (Direct Preference Optimization) eliminano l'esplicito RM e il ciclo RL, ma richiedono dati di preferenza a coppia curati. Man mano che i modelli migliorano, distinguere tra risposte di alta qualità diventa sempre più difficile, aumentando i costi di annotazione.
• L'apprendimento a singola traiettoria (Single-Trajectory Learning) offre un'alternativa pratica utilizzando tuple $(prompt, risposta, reward\_scalare)$, che sono più facili da annotare (es. pollice su/giù). Tuttavia, i metodi esistenti per questo scenario, come il Direct Reward Optimization (DRO), si basano sull'apprendimento congiunto di una policy e di una funzione di valore. Questa ottimizzazione congiunta introduce varianza, instabilità e sensibilità ai dati off-policy, poiché gli errori nella stima del valore possono influenzare negativamente l'addestramento della policy.

Il problema centrale affrontato è la necessità di un metodo stabile, scalabile e semplice per ottimizzare le policy direttamente da dati di reward scalari senza la complessità e l'instabilità derivanti dall'apprendimento di una funzione di valore ausiliaria.

Metodologia: Reward Partitioning Optimization (RPO)

Gli autori propongono la Reward Partitioning Optimization (RPO), un obiettivo libero da valore che sfrutta la forma analitica della policy ottimale sotto regolarizzazione KL per eliminare la necessità di una funzione di valore appresa.

Fondamento Teorico

Partendo dalla formulazione della policy ottimale nella massimizzazione del reward con regolarizzazione KL:
$$\pi^*(y|x) = \pi_{ref}(y|x) \exp\left(\frac{1}{\tau} (r(x, y) - V^*(x))\right)$$
dove $V^*(x)$ è la funzione di valore "soft" che funge da funzione di partizione per normalizzare i reward. I metodi tradizionali come DRO approssimano $V^*(x)$ utilizzando una rete neurale separata, portando a un'ottimizzazione accoppiata di policy ($\pi_\theta$) e valore ($V_\phi$).

RPO evita questo approccio stimando empiricamente la funzione di partizione direttamente dai dati. Per un dato prompt $x$, il metodo aggrega tutte le risposte $y_j$ disponibili nel dataset per calcolare una funzione di partizione empirica $\hat{Z}(x)$:
$$\hat{Z}(x) = \sum_{j \in I_x} \pi_{ref}(y_j|x) \exp\left(\frac{1}{\tau} r(x, y_j)\right)$$
dove $I_x$ è l'insieme degli indici dei campioni per il prompt $x$. Il valore empirico è quindi $\hat{V}(x) = \tau \log \hat{Z}(x)$.

Obiettivo di Ottimizzazione

RPO formula il compito di apprendimento come una regressione diretta sul log-rapporto tra la policy appresa e la policy di riferimento. La funzione di perdita minimizza l'errore quadratico tra il log-rapporto predetto e il reward centrato e scalato:
$$\mathcal{L}_{RPO}(\theta) = \frac{1}{2} \mathbb{E}_{(x,y,r) \sim D} \left[ \left( \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - \frac{1}{\tau}(r(x, y) - \hat{V}(x)) \right)^2 \right]$$

Le caratteristiche chiave del metodo includono:

• Libero da Valore (Value-Free): Non viene addestrata alcuna rete di valore ausiliaria; $\hat{V}(x)$ è calcolato "on-the-fly" dalla policy di riferimento e dai reward osservati.
• Gradienti Stabili: L'aggiornamento del gradiente dipende solo dai parametri della policy, evitando la backpropagation attraverso uno stimatore di valore appreso.
• Compatibilità Offline: Il metodo è completamente offline e scala su grandi dataset senza richiedere cicli di RL online.

Contributi Chiave

1. Proposta di RPO: Un nuovo metodo di ottimizzazione della policy a singola traiettoria che sostituisce la stima del valore con la normalizzazione empirica del reward.
2. Analisi di DRO: Una critica teorica e pratica del Direct Reward Optimization, evidenziandone l'instabilità dovuta all'ottimizzazione congiunta di policy e valore.
3. Derivazione Formale: Una prova che dimostra come RPO approssimi la struttura della policy ottimale sfruttando la formulazione della funzione di partizione.
4. Valutazione Estesa: Esperimenti completi su architetture encoder-decoder (Flan-T5) e decoder-only (Mistral, LLaMA, Qwen), dimostrando una superiorità costante rispetto a SFT, KTO e DRO.

Risultati Sperimentali

Gli autori hanno valutato RPO sul dataset UltraFeedback e su molteplici benchmark (AlpacaEval, MT-Bench, IFEval, GSM8K).

Prestazioni In-Domain (UltraFeedback)

• Metriche: RPO ha superato costantemente SFT, KTO e DRO su metriche automatiche (BERTScore, ROUGE-L, Distinct-2) e sulla sicurezza (Toxicity).
• LLM-as-a-Judge: RPO ha ottenuto tassi di vittoria più elevati contro i baseline quando valutato da GPT-4o e Claude-3.5.
• Stabilità: L'analisi della divergenza KL ha mostrato che RPO mantiene traiettorie fluide e controllate, mentre DRO ha mostrato una forte crescita della divergenza (specialmente nei modelli decoder-only) e KTO ha mostrato oscillazioni.
• Efficienza: RPO ha dimostrato una convergenza più rapida e tempi di addestramento inferiori rispetto a DRO e KTO in tutte le scale dei modelli.

Generalizzazione Out-of-Distribution (OOD)

• RPO ha mostrato miglioramenti robusti ma dipendenti dal task. I guadagni sono stati più pronunciati nei benchmark di istruzione (AlpacaEval, IFEval).
• Le prestazioni sui compiti di ragionamento (GSM8K) e sulle conversazioni multi-turno (MT-Bench) hanno mostrato miglioramenti consistenti ma più moderati, variando in base alla famiglia di modelli.

Studi di Ablazione

• Temperatura ($\tau$): Il metodo è robusto a un moderato smoothing ($\tau=5.0$) ma soffre di un significativo degrado delle prestazioni con una scalatura molto netta ($\tau=0.1$), portando a un'ottimizzazione instabile.
• Normalizzazione Empirica ($\hat{V}(x)$): La rimozione della normalizzazione del reward a livello di prompt ha causato un degrado costante nella similarità semantica, nella diversità e nella sicurezza, confermando il suo ruolo critico nel stabilizzare le scale dei reward.
• Densità del Dataset: Le prestazioni degradano man mano che diminuisce il numero di completamenti per ogni prompt, con un setting di densità al 25% che causa cali sostanziali della qualità. Ciò evidenzia la dipendenza del metodo da distribuzioni di reward diversificate per prompt per una corretta stima della partizione.
• Robustezza al Rumore: RPO rimane stabile sotto rumore di reward moderato ($\sigma=0.1, 0.5$), ma le prestazioni declinano all'aumentare dell'intensità del rumore, sebbene non collassi nemmeno sotto corruzione forte ($\sigma=1.0$).

Significato e Limitazioni

Il paper sostiene che RPO offra un'alternativa semplice, scalabile e stabile ai metodi di allineamento esistenti. Eliminando la necessità di apprendere la funzione di valore, riduce la complessità di ottimizzazione e la varianza, fornendo al contempo una supervisione del reward assoluta. Gli autori posizionano RPO come una direzione promettente per l'ottimizzazione delle preferenze scalabile, particolarmente in scenari in cui i dati a coppia sono scarsi ma il feedback scalare è disponibile.

Limitazioni riconosciute dagli autori:

• Requisiti di Dati: RPO si basa su dati raggruppati dove esistono più completamenti per ogni prompt per stimare efficacemente la funzione di partizione. Le prestazioni degradano se la diversità per prompt è insufficiente.
• Qualità del Reward: Sebbene robusto al rumore moderato, il metodo rimane dipendente dalla qualità delle annotazioni del reward; una corruzione severa impatta negativamente l'allineamento.
• Ambito di Valutazione: La valutazione attuale è focalizzata principalmente su benchmark di istruzione e allineamento. Gli autori notano che domini più ampi, setting multilingue e compiti di ragionamento a lungo termine richiedono ulteriori studi per valutare pienamente la generalizzazione.