Relative Density Ratio Optimization for Stable and Statistically Consistent Model Alignment

1. Il Problema

L'allineamento dei modelli linguistici (LLM) con le preferenze umane è fondamentale per garantire sicurezza e affidabilità. Tuttavia, gli approcci esistenti presentano due limiti principali:

• Mancanza di consistenza statistica: Metodi come RLHF (Reinforcement Learning from Human Feedback), DPO (Direct Preference Optimization) e KTO (Kahneman-Tversky Optimization) si basano su assunzioni specifiche sui modelli di preferenza umana (es. il modello di Bradley-Terry o la teoria del prospetto). Queste assunzioni spesso non catturano la complessità reale delle preferenze umane (es. preferenze cicliche), privando questi metodi della garanzia che il modello converga alla vera preferenza umana all'aumentare del numero di campioni.
• Instabilità nell'ottimizzazione diretta: Una soluzione recente, la Direct Density Ratio Optimization (DDRO), elimina l'assunzione di un modello di preferenza specifico e ottiene la consistenza statistica stimando direttamente il rapporto di densità tra dati preferiti e non preferiti. Tuttavia, DDRO soffre di instabilità durante l'addestramento. Il rapporto di densità standard può divergere (tendere all'infinito) quando i supporti delle distribuzioni di dati preferiti e non preferiti sono diversi, causando esplosioni del gradiente e fallimenti nell'ottimizzazione.

2. Metodologia Proposta: RDRO

Gli autori propongono la Relative Density Ratio Optimization (RDRO), un nuovo metodo di allineamento che risolve il problema dell'instabilità mantenendo la consistenza statistica.

• Concetto Chiave: Invece di stimare il rapporto di densità standard $g^*(y|x) = p_-(y|x) / p_+(y|x)$, RDRO stima il rapporto di densità relativo $r^*(y|x)$, definito come il rapporto tra la distribuzione dei dati preferiti e una miscela delle distribuzioni di dati preferiti e non preferiti:
  $$r^*(y|x) = \frac{p_+(y|x)}{\alpha p_+(y|x) + (1-\alpha)p_-(y|x)}$$
  dove $\alpha$ è un iperparametro (tipicamente la frazione di campioni preferiti nel dataset).

• Vantaggi Teorici del Rapporto Relativo:

  • Limitazione Superiore: A differenza del rapporto di densità standard che può andare a infinito, il rapporto relativo è limitato superiormente da $1/\alpha$. Questo impedisce la divergenza e garantisce stabilità numerica.
  • Stabilità del Gradiente: L'analisi mostra che il gradiente della funzione di perdita è naturalmente stabilizzato. Il termine di regolarizzazione (spesso necessario in DDRO tramite KL-divergenza) è implicitamente gestito dal parametro $\alpha$.

• Formulazione dell'Obiettivo:
  Il metodo minimizza la divergenza di Bregman tra il rapporto di densità relativo vero e quello modellato dal policy $p_\theta$. Quando si utilizza una funzione specifica per la divergenza, il problema si riduce a una regressione logistica. La funzione di perdita finale (Eq. 18) è:
  $$L_{RDRO}(\theta) = \frac{1}{N}\sum_{n=1}^N \left[ (1+\alpha)\phi(T_\theta(x_n^+, y_n^+)) - T_\theta(x_n^+, y_n^+) \right] + \frac{1}{M}\sum_{m=1}^M (1-\alpha)\phi(T_\theta(x_m^-, y_m^-))$$
  dove $T_\theta = \log p_\theta - \log p_{ref}$ e $\phi(t) = \log(1+e^t)$ è la funzione softplus.

3. Contributi Chiave

1. Nuovo Algoritmo di Allineamento: Introduzione di RDRO, basato sulla stima del rapporto di densità relativo, che non richiede assunzioni sul modello di preferenza umana.
2. Garanzie Teoriche:
   • Stabilità: Dimostrazione teorica che il rapporto relativo è limitato, evitando la divergenza che affligge DDRO.
   • Consistenza Statistica: Garanzia che il modello converge alla vera preferenza umana all'aumentare dei dati.
   • Convergenza più Stretta: Analisi che mostra come il limite superiore dell'errore di stima di RDRO sia significativamente più stretto rispetto a quello di DDRO. In particolare, RDRO evita termini come $1/m_+$ (dove $m_+$ è il valore minimo della distribuzione nei suoi supporti) che possono essere molto grandi in DDRO.
3. Validazione Sperimentale: Dimostrazione empirica dell'efficacia su modelli moderni (Qwen 2.5 e Llama 3) e dataset reali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli Qwen 2.5 (1.5B, 3B) e Llama 3 (3B, 8B) utilizzando due dataset di preferenze: UF-G (UltraFeedback filtrato per utilità) e MIX-14K.

• Metrica: Tasso di vittoria controllato per la lunghezza (AlpacaEval LC Win Rate).
• Confronto: RDRO è stato confrontato con KTO (stato dell'arte basato su teoria del prospetto) e DDRO.
• Risultati su UF-G: RDRO ha ottenuto prestazioni superiori o comparabili rispetto a KTO e DDRO su tutti i modelli. In particolare, per i modelli Llama-3B e Llama-8B, i miglioramenti rispetto agli altri metodi sono stati statisticamente significativi. Questo dataset è considerato più difficile perché non garantisce sempre la presenza di una risposta preferita e una non preferita per lo stesso prompt.
• Risultati su MIX-14K: RDRO ha mostrato prestazioni competitive con KTO e DDRO. Le differenze sono minori probabilmente perché questo dataset deriva da triplette (prompt, risposta preferita, risposta non preferita), rendendo il compito di allineamento più semplice.
• Sensibilità agli Iperparametri: L'analisi di sensibilità su $\alpha$ mostra che le prestazioni di RDRO sono robuste e variano poco al variare di $\alpha$, confermando la stabilità del metodo.

5. Significato e Impatto

Il lavoro di RDRO è significativo perché colma il divario tra stabilità pratica e consistenza teorica nell'allineamento degli LLM.

• Risolve il problema fondamentale della divergenza nei metodi basati sul rapporto di densità, rendendo l'ottimizzazione diretta delle preferenze più affidabile senza bisogno di regolarizzazioni euristica.
• Fornisce una base teorica solida che non dipende da modelli di preferenze umani potenzialmente errati (come Bradley-Terry), offrendo una garanzia di convergenza più forte rispetto agli approcci precedenti.
• Dimostra che è possibile ottenere allineamenti di alta qualità su modelli LLM di grandi dimensioni utilizzando dataset realistici e complessi, rendendo RDRO un'alternativa promettente e robusta alle tecniche attuali come DPO e KTO.