Sintesi Tecnica: Una Lente Unificante sull'Incertezza della Ricompensa in RLHF

Definizione del Problema

L'apprendimento per rinforzo da feedback umano (RLHF) è attualmente limitato dal reward hacking, un fenomeno in cui una policy sfrutta gli errori in un Modello di Ricompensa (RM) proxy per massimizzare i punteggi senza ottenere reali miglioramenti qualitativi. Questo è un caso della legge di Goodhart, che si manifesta come sicofantia, bias di lunghezza e altri artefatti superficiali.

Una strategia di mitigazione standard è il pessimismo: penalizzare le ricompense nelle regioni in cui l'RM è incerto. Tuttavia, gli standard RM scalari non forniscono una nozione fondata di incertezza. Il lavoro precedente affronta questo problema addestrando ensemble di RM e aggregando i loro output tramite euristiche come l'Aggregazione della Media (Mean aggregation), l'Ottimizzazione del Caso Peggiore (Worst-Case Optimization, WCO) e l'Ottimizzazione Pesata sull'Incertezza (Uncertainty-Weighted Optimization, UWO). Sebbene questi metodi offrano benefici empirici, sono presentati come regole ad hoc con poca guida teorica sulle loro relazioni, assunzioni implicite o sintonizzazione degli iperparametri.

Metodologia

Gli autori propongono di sostituire l'RM scalare deterministico con un modello di ricompensa distribuzionale $p(r | x, y)$. Questa distribuzione deriva da fonti quali deep ensemble o costruzioni bayesiane dell'ultimo strato. Il documento deriva un framework unificato per gestire l'incertezza della ricompensa attraverso due distinte lenti teoriche, entrambe le quali producono la stessa struttura di ricompensa effettiva in forma chiusa:

1. Inferenza Bayesiana (Ramo Ottimistico):
   Considerando l'ottimizzazione della policy come inferenza sotto un'osservazione di "ottimalità", gli autori marginalizzano l'incertezza della ric compensa. Ciò porta a una ricompensa effettiva ottimistica:
   $$\tilde{r}_{opt}(x, y) = \beta \log \mathbb{E}_{p(r|x,y)}[e^{r/\beta}]$$
   Per la disuguaglianza di Jensen, questo gonfia la ricompensa effettiva ($\tilde{r}_{opt} \geq \mu$).

2. Ottimizzazione Robusta Distribuita tramite KL (Ramo Pessimistico):
   Per mitigare il reward hacking, gli autori formulano il problema come un gioco avversariale in cui un avversario sceglie la distribuzione di ricompensa $Q$ per minimizzare la ricompensa attesa, soggetto a un costo di divergenza KL dalla posterior creduta $p$. Ciò produce la ricompensa effettiva pessimistica:
   $$\tilde{r}_{rob}(x, y) = -\beta \log \mathbb{E}_{p(r|x,y)}[e^{-r/\beta}]$$
   Questa è la misura del rischio entropico della distribuzione della ricompensa. Per la disuguaglianza di Jensen, l'incertezza defla la ricompensa effettiva ($\tilde{r}_{rob} \leq \mu$).

L'Espressione Unificante

Il nucleo del contributo teorico è l'espressione in forma chiusa per la ricompensa effettiva sotto incertezza:
$$\tilde{r}(x, y) = \pm \beta \log \mathbb{E}_{p}[e^{\pm r/\beta}]$$
Il segno dipende dal fatto che l'obiettivo sia ottimistico (Bayesiano) o pessimistico (Robusto).

Espansione dei Cumulanti e Caso Gaussiano

Gli autori analizzano la ricompensa effettiva utilizzando un'espansione dei cumulanti della distribuzione della ricompensa $p(r|x,y)$:
$$\tilde{r}_{opt/rob} = \mu \pm \frac{\sigma^2}{2\beta} + \frac{\kappa_3}{6\beta^2} \pm \frac{\kappa_4}{24\beta^3} + \dots$$
Nel caso specifico in cui la distribuzione della ricompensa è Gaussiana ($p(r|x,y) = \mathcal{N}(\mu, \sigma^2)$), tutti i cumulanti di ordine superiore scompaiono, risultando in una forma chiusa precisa:
$$\tilde{r}_{rob} = \mu - \frac{\sigma^2}{2\beta}$$
Fondamentalmente, il coefficiente per il termine della varianza è determinato dal parametro di regolarizzazione KL $\beta già presente nell'obiettivo RLHF, piuttosto che da un separato iperparametro sintonizzabile.

Contributi Chiave

1. Una Lente Unificante: Il documento dimostra che l'obiettivo RLHF con incertezza della ricompensa ammette un singolo modello di ricompensa effettiva in forma chiusa derivato sia dall'inferenza Bayesiana che dalla KL-DRO.
2. Unificazione delle Euristiche Precedenti: Gli autori mostrano che le esistenti regole di aggregazione sono limiti specifici o troncamenti del ramo pessimistico $\tilde{r}_{rob}$:
   • Aggregazione della Media: Emerge come il limite $\beta \to \infty$ (neutrale al rischio).
   • Ottimizzazione del Caso Peggiore (WCO): Emerge come il limite $\beta \to 0$ (avversario illimitato).
   • Ottimizzazione Pesata sull'Incertezza (UWO): Emerge come il troncamento Gaussiano della serie, dove il coefficiente di penalità $\lambda$ è implicitamente impostato a $1/(2\beta)$.
3. Guida all'Implementazione: Il documento chiarisce le assunzioni implicite dei metodi esistenti:
   • La Media assume che l'incertezza non conti.
   • La WCO assume la peggiore distribuzione possibile (avversario non vincolato).
   • La UWO assume che la distribuzione della ricompensa sia approssimativamente Gaussiana.
   • Il documento propone un default fondato per le posterior Gaussiane: $\tilde{r} = \mu - \sigma^2/(2\beta)$, eliminando la necessità di sintonizzare un ulteriore iperparametro di penalità della varianza.

Risultati e Stima

Il documento discute la stima pratica di $\tilde{r}_{rob}$ da un campione finito di $K$ modelli di ricompensa (ad esempio, un ensemble):

• Stimatore Diretto Log-MGF: $\hat{\tilde{r}} = -\beta \log (\frac{1}{K} \sum e^{-r_i/\beta})$. Questo è consistente ma distorto per $K$ finito e sensibile agli outlier quando $\beta$ è piccolo.
• Stimatore Troncato Gaussiano: $\hat{\tilde{r}} = \hat{\mu} - \hat{\sigma}^2/(2\beta)$. Gli autori raccomandano questo come default, notando che per dimensioni tipiche di ensemble ($K \in \{3, \dots, 10\}$), i cumulanti di ordine superiore sono scarsamente stimabili, rendendo la l'approssimazione Gaussiana robusta.

Significato e Rivendicazioni

Il documento sostiene di fornire una base teorica per l'incertezza della ricompensa in RLHF, andando oltre le regole di aggregazione euristiche. La sua importanza risiede nel:

• Chiarire le Assunzioni: Mappa esplicitamente i metodi esistenti (Media, WCO, UWO) su specifiche assunzioni sulla forma della distribuzione della ricompensa e sul budget KL dell'avversario.
• Efficienza dei Parametri: Stabilisce che, sotto l'assunzione Gaussiana, la penalità della varianza è intrinsecamente legata al coefficiente KL $\beta$, eliminando la necessità di un ulteriore iperparametro libero.
• Connettere i Campi: Collega il pessimismo in RLHF all'apprendimento per rinforzo distribuito e al pessimismo nell'offline RL, mostrando che la formulazione log-MGF / rischio entropico sorge da principi analoghi in questi domini.

Gli autori concludono che, sebbene il loro framework assuma un RM distribuzionale (richiedendo ensemble o teste Bayesiane) e una corretta calibrazione, offre una ricetta per estendersi oltre le assunzioni Gaussiane tramite cumulanti di ordine superiore o pessimismo basato sui quantili (ad esempio, CVaR) per distribuzioni a coda pesante.