Riepilogo Tecnico: Oltre l'RLHF: Un Framework Teorico Unificato per l'Allineamento

Enunciato del Problema

L'Apprendimento per Rinforzo da Feedback Umano (RLHF) è diventato il paradigma dominante per allineare i Modelli Linguistici su Larga Scala (LLM) alle preferenze umane. Tuttavia, il documento identifica significative lacune teoriche nella comprensione attuale dell'RLHF e dei metodi di allineamento correlati:

1. Mancanza di Giustificazione: Le teorie esistenti trattano spesso l'obiettivo dell'RLHF come una tautologia (convergenza verso la versione a popolazione dell'obiettivo stesso) invece di fornire una giustificazione teorica dell'apprendimento sul motivo per cui converge al modello linguistico target.
2. Framework Incompatibili: Metodi diversi (ad es. DPO, RLHF, REBEL) sono analizzati sotto framework teorici disparati, impedendo un confronto diretto delle loro garanzie di convergenza.
3. Il Dilemma dell'RLHF: L'obiettivo standard dell'RLHF affronta un dilemma asintotico riguardo alla forza di regolarizzazione $\beta$. Se $\beta$ rimane fisso, il modello sottostima (rimanendo troppo vicino alla politica di riferimento); se $\beta$ decade a zero all'aumentare dei dati, la soluzione può degenerare.
4. Divario Empirico vs Teorico: Sperimentalmente, obiettivi on-policy come l'RLHF spesso superano metodi basati sulla verosimiglianza come l'Ottimizzazione Diretta delle Preferenze (DPO), eppure le teorie esistenti non riescono a spiegare questa superiorità poiché offrono garanzie ad hoc per ciascun metodo individualmente.

Gli autori propongono di riformulare l'allineamento non come massimizzazione della ricompensa, ma come apprendimento di distribuzioni da preferenze a coppie. La domanda fondamentale è: Sotto quali ipotesi possiamo derivare obiettivi di addestramento che convergano provabilmente a un modello linguistico target ($\pi^*$)?

Metodologia

Il documento postula l'esistenza di un modello linguistico target (oracolo) $\pi^*$ e modella esplicitamente come il feedback di preferenza riveli informazioni su $\pi^*$.

1. Il Modello di Preferenza

Gli autori assumono un modello Bradley-Terry (BT) in cui la probabilità di preferire la risposta $a$ rispetto a $b$ dato il prompt $x$ è determinata direttamente dalle probabilità del modello target, piuttosto che da una funzione di ricompensa esterna:
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
Qui, $\gamma > 0$ è un iperparametro. Questa ipotesi implica che il modello di preferenza sia esplicitamente un modello linguistico, in contrasto con il DPO che si basa sull'ipotesi "all-policy" per derivare una relazione tra ricompense e LM.

2. Obiettivi Proposti

Sulla base di questa prospettiva di apprendimento di distribuzioni, gli autori derivano tre obiettivi di allineamento fondati su principi:

• Massima Verosimiglianza delle Preferenze (PMLE):
  Questo obiettivo massimizza la verosimiglianza delle preferenze a coppie osservate sotto l'assunzione BT, regolarizzata da una divergenza KL rispetto a una politica di riferimento $\pi_0$.
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  A differenza del DPO, che minimizza un rapporto di verosimiglianza senza un regolarizzatore esplicito (potenzialmente portando a distribuzioni degenerate), il PMLE include un termine KL esplicito per garantire stabilità.

• Distillazione delle Preferenze:
  Questo approccio apprende prima un modello di ricompensa $\hat{R}$ (equivalente all'apprendimento di un simulatore di preferenze) e poi distilla questa distribuzione di preferenze nel modello linguistico. Invece di utilizzare la perdita quadratica (come nel REBEL), minimizza la divergenza KL tra le distribuzioni di preferenze binarie del simulatore appreso e la politica target:
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  Questa formulazione è derivata esplicitamente dal modello BT ed evita le questioni di giustificazione statistica della perdita quadratica.

• Minimizzazione della KL Inversa (RKL):
  Riconoscendo che l'obiettivo è l'apprendimento di distribuzioni, gli autori propongono di minimizzare la divergenza KL inversa $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$. Poiché $\pi^*$ è sconosciuto, inseriscono un estimatore $\hat{\pi}$ derivato dal modello di ricompensa.
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  Questo obiettivo assomiglia all'RLHF ma include un termine di entropia aggiuntivo ($-\gamma H(\pi(x))$). Gli autori sostengono che ciò agisca come una correzione all'RLHF, risolvendo il dilemma asintotico in cui l'RLHF standard non converge al vero $\pi^*$ quando $n \to \infty$.

3. Garanzie Teoriche

Il documento fornisce garanzie di convergenza non asintotiche $O(1/n)$ per tutti e tre i metodi. Nello specifico, dimostrano che l'errore KL diretto $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ converge a zero con un tasso di $O(1/n)$, dove $n$ è la dimensione del dataset.

• PMLE e Distillazione delle Preferenze: Raggiungono limiti dipendenti dal coefficiente di copertura della classe di politiche $\Pi$.
• KL Inversa: Raggiunge un limite più stretto che dipende dal coefficiente di copertura della classe di modelli indotta dalla ricompensa $\mathcal{P}_\gamma(\mathcal{R})$, che è spesso più piccola di quella di $\Pi$. Questo spiega teoricamente perché i metodi on-policy (come RKL/RLHF) spesso superano sperimentalmente i metodi basati sulla verosimiglianza (come PMLE/DPO).

Risultati Chiave

Risultati Teorici

• Giustificazione per l'RLHF: L'obiettivo RKL fornisce una forte giustificazione teorica per l'obiettivo RLHF, mostrando che è un caso particolare (con $\gamma \to 0$) di un obiettivo coerente di apprendimento di distribuzioni, a condizione che venga applicata una correzione di entropia.
• Risoluzione del Dilemma: L'analisi teorica e gli esperimenti su giocattoli (Figura 1) dimostrano che, mentre l'RLHF standard soffre di incoerenza (saturazione a errore non nullo) quando $n \to \infty$ a causa del dilemma di regolarizzazione, il metodo RKL proposto converge al vero modello target.
• Superiorità dei Metodi On-Policy: La teoria conferma che la KL Inversa (simile all'RLHF) gode di una garanzia di convergenza superiore rispetto al PMLE (simile al DPO) perché sfrutta la minore complessità della classe del modello di ricompensa piuttosto che l'intera classe di politiche.

Risultati Empirici

Gli esperimenti sono stati condotti su due compiti:

1. Sintesi TL;DR: Utilizzando i modelli Pythia-2.8B e Pythia-6.9B.
   • Tassi di Vittoria: I metodi proposti (PMLE, Distillazione delle Preferenze, KL Inversa) hanno costantemente ottenuto tassi di vittoria GPT-4 più elevati rispetto alle loro baseline (DPO, REBEL, RLHF).
   • Divergenza KL: Il PMLE ha raggiunto una divergenza KL significativamente più bassa rispetto al modello di riferimento rispetto al DPO, validando il beneficio del regolarizzatore esplicito.
2. Chat Generale (UltraFeedback): Utilizzando LLaMA-3-8B-Instruct.
   • Valutato su MT-Bench, AlpacaEval 2.0 e Arena Hard.
   • PMLE e Distillazione delle Preferenze hanno superato DPO e REBEL nella maggior parte dei benchmark, mostrando in particolare guadagni significativi in AlpacaEval 2.0 e Arena Hard.

Significato e Affermazioni

Il documento afferma di fornire il primo framework teorico unificato per l'allineamento che tratta il problema come apprendimento di distribuzioni da preferenze a coppie. I suoi contributi principali sono:

1. Prospettiva Unificata: Unifica i metodi esistenti (DPO, RLHF, REBEL) sotto un'unica assunzione probabilistica, rendendo esplicite le loro ipotesi nascoste.
2. Fondamento Teorico: Offre rigorose garanzie di convergenza non asintotiche $O(1/n)$ per l'apprendimento di una distribuzione target da feedback a coppie, un risultato precedentemente non disponibile per questo scenario.
3. Spiegazione delle Tendenze Empiriche: Fornisce la prima conferma teorica dell'osservazione empirica secondo cui gli obiettivi on-policy (RLHF) spesso superano gli obiettivi basati sulla verosimiglianza (DPO), attribuendo ciò alle proprietà di copertura della classe del modello di ricompensa rispetto alla classe di politiche.
4. Correzione all'RLHF: Identifica una specifica carenza nell'obiettivo RLHF standard (la mancanza di un termine di entropia che porta all'incoerenza) e propone un obiettivo corretto (RKL) che mantiene i benefici pratici dell'RLHF garantendo al contempo la coerenza teorica.

Gli autori concludono che, sebbene i loro metodi siano competitivi con baseline solide, il valore principale risiede nel framework teorico che spiega perché questi metodi funzionano e come possono essere migliorati. Il lavoro futuro suggerito include l'esplorazione di obiettivi di ricerca di modalità rispetto a copertura di modalità e l'estensione del framework a divergenze alternative.