Provably avoiding over-optimization in Direct Preference Optimization without knowing the data distribution

Enunciato del Problema

L'Ottimizzazione Diretta delle Preferenze (DPO) è diventata uno standard per l'addestramento successivo di grandi modelli linguistici (LLM) grazie alla sua semplicità e alla capacità di bypassare la modellazione esplicita della ricompensa. Tuttavia, è noto che la DPO soffre di sovra-ottimizzazione: man mano che l'addestramento procede, il modello può massimizzare la perdita di addestramento degradando al contempo la qualità effettiva delle risposte generate rispetto al modello iniziale. Questo problema è aggravato dal fatto che la DPO standard e l'Apprendimento per Rinforzo dai Feedback Umani (RLHF) trattano la ricompensa stimata come una verità fondamentale perfetta, ignorando l'incertezza.

Le garanzie teoriche per mitigare la sovra-ottimizzazione si basano tipicamente sul pessimismo, assicurando che la politica appresa sia robusta agli errori di stima. Le varianti pessimistiche esistenti (ad esempio, DPO regolarizzata con $\chi^2$, DPO+SFT) raggiungono forti limiti teorici dipendenti esclusivamente da un coefficiente di concentrabilità a singola politica ($C^\star$), il che implica robustezza anche se il dataset non copre l'intero spazio delle politiche. Tuttavia, queste garanzie dipendono criticamente dalla conoscenza della distribuzione generatrice dei dati ($\pi_{data}$) o dall'accesso a una politica di riferimento ben coperta da $\pi_{data}$. Nella pratica, questa assunzione è spesso violata, ad esempio quando si effettuano fine-tuning su modelli più piccoli con dati di preferenza generati da sistemi proprietari più grandi (ad esempio GPT-4), dove $\pi_{data}$ è sconosciuta e inaccessibile.

La domanda di ricerca centrale affrontata è: Possiamo progettare un algoritmo simile alla DPO che sia provabilmente robusto alla sovra-ottimizzazione senza la conoscenza della distribuzione generatrice dei dati $\pi_{data}$?

Metodologia: PEPO

Gli autori introducono PEPO (Pessimistic Ensemble based Preference Optimization), un algoritmo in un singolo passaggio che raggiunge il pessimismo attraverso un ensemble di politiche addestrate su sottoinsiemi di dati disgiunti, senza richiedere la conoscenza di $\pi_{data}$.

1. Addestramento dell'Ensemble:
Il dataset di preferenze $D$ è partizionato in $L$ sottoinsiemi disgiunti. Per ogni sottoinsieme $D_\ell$, una politica leggera $\tilde{\pi}_\ell$ viene addestrata utilizzando un obiettivo DPO pessimistico. Questo obiettivo modifica la perdita DPO standard spostando orizzontalmente la funzione sigmoide di un parametro $\lambda_\ell$, riducendo efficacemente il margine richiesto per una probabilità di vittoria. Questo spostamento induce una stima conservativa (pessimistica) del divario di ricompensa.

2. Aggregazione Pessimistica:
La politica di output $\pi_{out}$ è definita come la soluzione a un problema RLHF "virtuale" che ottimizza la ricompensa nel caso peggiore attraverso l'ensemble. La ricompensa implicita per l'ensemble è costruita prendendo il minimo tra i $L$ modelli dei loro divari di ricompensa stimati, aggiustati per la distribuzione dei dati negli altri sottoinsiemi (per garantire l'indipendenza).
$$r^-(x, a) = \beta \min_{\ell \in [L]} \left( \log \frac{\tilde{\pi}_\ell(a|x)}{\pi_{ref}(a|x)} - \zeta_\ell(x) \right)$$
dove $\zeta_\ell(x)$ tiene conto del contributo dei dati al di fuori del $\ell$-esimo sottoinsieme.

3. Campionamento Efficiente:
La soluzione in forma chiusa per $\pi_{out}$ comporta una costante di normalizzazione su tutto lo spazio delle risposte, che è intrattabile. Per aggirare questo problema, PEPO impiega il campionamento per rifiuto (Algoritmo 2). Qualsiasi membro dell'ensemble $\tilde{\pi}_\ell$ funge da distribuzione proposta perché il numeratore di $\pi_{out}$ è limitato da $\tilde{\pi}_\ell$. Per applicazioni pratiche su larga scala, gli autori propongono anche un'approssimazione a livello di token che applica l'aggregazione pessimistica a ogni passo di decodifica, evitando la necessità di campionamento per rifiuto a livello di traiettoria e riducendo significativamente la latenza di generazione.

Contributi Chiave

Contributi Teorici:

• Complessità del Campione senza $\pi_{data}$: Nel setting tabellare, PEPO raggiunge garanzie di complessità del campione dipendenti esclusivamente dal coefficiente di concentrabilità a singola politica ($C^\star$). Ciò contrasta con la DPO standard, che soffre di un coefficiente di concentrabilità a tutte le politiche ($C_{all}$), e con le varianti pessimistiche DPO esistenti che richiedono la conoscenza di $\pi_{data}$.
• Dimensione Ottimale dell'Ensemble: L'analisi caratterizza la dimensione ottimale dell'ensemble $L$ come il valore minimo sufficiente a garantire il pessimismo con alta probabilità. I limiti teorici mostrano che $L$ scala logaritmicamente con le dimensioni degli spazi degli stati e delle azioni.
• Robustezza: I limiti valgono senza assumere che il dataset copra l'intera classe di politiche, affrontando il divario del "$\pi_{data}$ sconosciuto" nei lavori teorici precedenti.

Contributi Pratici:

• Validazione Empirica: PEPO è stato valutato su modelli con 7B, 8B e 34B parametri (Zephyr-7B, Llama-3.1-8B, Mistral-7B, Yi-34B) utilizzando il dataset UltraFeedback.
• Mitigazione della Sovra-ottimizzazione: Gli esperimenti dimostrano che mentre la DPO standard mostra un calo netto dei tassi di vittoria dopo i guadagni iniziali (sovra-ottimizzazione), le prestazioni di PEPO si stabilizzano e migliorano.
• Superiorità rispetto alle Baseline: PEPO supera costantemente $\chi^2$PO e DPO+SFT in contesti dove $\pi_{data} \neq \pi_{ref}$ (ad esempio UltraFeedback), dove le garanzie teoriche di quelle baseline sono invalide.
• Efficienza: L'implementazione a livello di token raggiunge un compromesso favorevole tra tasso di vittoria e tempo di generazione, offrendo prestazioni quasi ottimali con una latenza significativamente inferiore rispetto al campionamento per rifiuto completo.

Risultati

• Sovra-ottimizzazione: La Figura 1 mostra che il tasso di vittoria della DPO contro il modello iniziale raggiunge un picco e poi declina, mentre PEPO (con un $L$ appropriato) mostra un miglioramento sostenuto. Si dimostra che l'arresto anticipato basato sulla perdita di validazione non è affidabile per selezionare il miglior checkpoint DPO.
• Confronto: Nella Figura 3, PEPO raggiunge tassi di vittoria più elevati su AlpacaEval2 rispetto a $\chi^2$PO e SFT+DPO su tutti i modelli testati. Il divario di prestazioni si riduce solo quando $\pi_{data} = \pi_{ref}$, confermando che il vantaggio di PEPO deriva dalla sua capacità di gestire distribuzioni di dati sconosciute.
• Ablazione: Gli esperimenti confermano che $L$ è un iperparametro critico; un valore troppo piccolo non induce un pessimismo sufficiente, mentre un valore troppo grande riduce i dati effettivi per modello, degradando le prestazioni.

Significato e Affermazioni

Il documento afferma di presentare il primo algoritmo simile alla DPO che evita provabilmente la sovra-ottimizzazione senza la conoscenza della distribuzione generatrice dei dati. Questo è significativo perché colma il divario tra robustezza teorica (concentrabilità a singola politica) e vincoli pratici ($\pi_{data}$ sconosciuta), uno scenario comune nell'allineamento reale degli LLM dove i dati sono generati da modelli proprietari o diversificati.

Gli autori posizionano PEPO come una soluzione pratica che mantiene la semplicità della DPO (addestramento in un singolo passaggio, nessun modello di ricompensa esplicito) incorporando al contempo la sicurezza teorica della regolarizzazione pessimistica. Riconoscono che le loro garanzie teoriche sono attualmente stabilite nel setting tabellare, e estendere questi risultati a classi generali di approssimazione di funzioni senza conoscere $\pi_{data}$ rimane una sfida aperta. Inoltre, il metodo corrente produce una politica non parametrica (tramite campionamento), che è ideale per l'ultimo passaggio di una pipeline di addestramento ma non per checkpoint intermedi, suggerendo una direzione per lavori futuri su output parametrici.