Sintesi Tecnica: Multi-Objective Preference Optimization (MOPO)

1. Definizione del Problema

Gli approcci attuali per l'allineamento dei Large Language Models (LLM) con le preferenze umane, come il Reinforcement Learning from Human Feedback (RLHF) e il Direct Preference Optimization (DPO), si basano prevalentemente sull'ottimizzazione a obiettivo singolo. Questi metodi tipicamente collassano molteplici preferenze umane (ad esempio, utilità, innocuità, veridicità, diversità) in un singolo segnale di ricompensa scalare tramite somme pesate o scalarizzazione euristica.

Il documento sostiene che questo approccio sia fondamentalmente limitato perché:

1. Obiettivi Conflittuali: Le preferenze umane sono spesso multidimensionali e conflittuali (ad esempio, massimizzare l'utilità può degradare l'innocuità).
2. Perdita della Pareto Ottimalità: La scalarizzazione nasconde i compromessi e non riesce a recuperare la frontiera di Pareto — l'insieme di soluzioni non dominate dove nessun obiettivo può essere migliorato senza peggiorarne un altro.
3. Rigidità dell'Inferenza: Gli esistenti metodi multi-obiettivo richiedono spesso vettori di preferenza espliciti dell'utente al momento dell'inferenza (ad esempio, "0.6 utile, 0.4 sicuro"), che gli utenti raramente articolano esplicitamente, oppure si affidano al riaddestramento per ogni configurazione di pesi.

Il problema centrale affrontato è l'Allineamento delle Preferenze Multi-Obiettivo: apprendere una singola policy che bilanci simultaneamente molteplпли potenzialmente conflittuali obiettivi basandosi su dati di preferenza a coppie, senza richiedere una scalarizzazione esplicita o pesi forniti dall'utente durante l'inferenza.

2. Metodologia: MOPO

Gli autori propongono il Multi-Objective Preference Optimization (MOPO), un framework di ottimizzazione vincolata offline che apprende direttamente da dati di preferenza a coppia.

2.1 Formulazione

MOPO inquadra il problema dell'allineamento come un Problema di Ottimizzazione Vincolata Concava (COP). Inveve di massimizzare una somma pesata di ricompense, massimizza un obiettivo primario imponendo al contempo dei vincoli di limite inferiore su obiettivi secondari.

Data una policy di riferimento $\pi_{ref}$, una funzione di preferenza primaria $p(\cdot)$, e un vettore di funzioni di preferenza secondarie $q(\cdot)$, il problema è:
$$\begin{aligned} \max_{\pi} \quad & \mathbb{E}_{x, y, y'} [p(y \succ y' | x)] - \tau \text{KL}(\pi \parallel \pi_{ref}) \\ \text{s.t.} \quad & \mathbb{E}_{x, y, y'} [q(y \succ y' | x)] \geq \mathbf{b} \end{aligned}$$
dove $\mathbf{b}$ rappresenta le soglie di sicurezza regolabili per gli obiettivi secondari, e $\tau$ è un parametro di regolarizzazione.

2.2 Componenti Algoritmiche

Per risolvere questo problema senza ricompense puntuali, MOPO utilizza i seguenti meccanismi:

• Rapporto di Importance Sampling ($\rho$): La policy è rappresentata tramite il rapporto $\rho(y) = \pi(y) / \pi_{ref}(y)$. L'ottimizzazione viene eseguita su $\rho$ per derivare una soluzione in forma chiusa per la policy ottimale.
• Formulazione Duale Lagrangiana: Il problema vincolato viene convertito in un problema duale che coinvolge moltiplicatori di Lagrange $\lambda$. La $\rho^*$ ottimale è derivata come:
  $$\rho^*_\lambda(y) = \exp\left( \tau^{-1} \mathbb{E}_{y' \sim \mu} [p(y \succ y') + \lambda^T q(y \succ y')] - 1 \right)$$
  Qui, $\lambda$ agisce come una penalità che aumenta se la policy sottoperforma sugli obiettivi secondari.
• Stima Robusta del Limite Inferiore: Per gestire gli errori di stima in dataset finiti, MOPO non vincola direttamente la pura aspettativa empirica. Invece, vincola un limite inferiore delle stime di preferenza. Ciò viene ottenuto risolvendo un problema di ottimizzazione avversaria ausiliario per trovare una distribuzione $\pi_k$ che minimizzi la preferenza per l'obiettivo $k$ entro un budget di divergenza KL ($\epsilon$). Questo produce una stima robusta del limite inferiore utilizzata nel ciclo di ottimizzazione principale.
• Aggiornamenti Iterativi: L'algoritmo alterna tra:
  1. Aggiornamento dei parametri del limite inferiore ($\chi$) per stringere le stime dei vincoli.
  2. Aggiornamento dei moltiplicatori di Lagrange ($\lambda$) per bilanciare gli obiettivi.
  3. Aggiornamento dei parametri della policy ($\psi$) tramite behavioral cloning pesato per importanza.

2.3 Implementazione Pratica

• Policy di Riferimento Ritardata (Lagged Reference Policy): Per prevenire il collasso e garantire una progressione stabile verso la frontiera di Pareto, la policy di riferimento $\pi_{ref}$ viene aggiornata periodicamente (ogni $t_0$ passi) alla policy corrente $\pi^{(t-t_0)}$, invece di rimanere fissa.
• Programmazione Adattiva dei Vincoli: Poiché le soglie esatte dei vincoli $\mathbf{b}$ sono sconosciute, esse vengono impostate in modo adattivo in base alle prestazioni della policy precedentemente ottimizzata, scalate da un parametro di rilassamento $\beta$.
• Architettura Multi-Head: Per l'inferenza, MOPO impiega un backbone transformer condiviso con molteplici teste di policy. Al momento dell'inferenza, l'utente seleziona un obiettivo primario e viene utilizzata la corrispondente testa, consentendo a un singolo modello di adattarsi a diverse priorità di preferenza senza riaddestramento.

3. Contributi Chiave

1. Framework MOPO: Introduzione di un algoritmo di ottimizzazione vincolata offline che ottimizza simultaneamente più obiettivi, raggiungendo l'ottimalità di Pareto senza collassare le preferenze in uno scalare singolo.
2. Garanzie Teoriche: Dimostrazione che la formulazione vincolata proposta recupera le policy che giacciono sulla vera frontiera di Pareto, a differenza dei metodi di scalarizzazione standard (DPO, RLHF) che non riescono a coprire l'intera frontiera.
3. Robustezza all'Errore di Stima: Sviluppo di un meccanismo di vincolo del limite inferiore che rende la policy robusta al rumore nella stima delle preferenze, evitando violazioni dei vincoli in fase di deployment.
4. Validazione Empirica:
   • Benchmark Sintetici: MOPO recupera esattamente la policy ottimale e la frontiera di Pareto in scenari sintetici dove la verità fondamentale è nota.
   • LLM nel Mondo Reale: Esperimenti su modelli da 7 miliardi di parametri (ad esempio, Zephyr-7b-beta, Llama-3.1-8B) su compiti come "Helpful Assistant" e "Reddit Summarization" mostrano che MOPO ottiene ricompense più elevate e domina la frontiera di Pareto rispetto ai baseline (inclusi varianti di RiC, PARM, MODPO e DPO).
   • Stabilità: Gli studi di ablazione confermano la stabilità dell'algoritmo attraverso diversi iperparametri (rilassamento del vincolo $\beta$, lag $t_0$, e regolarizzazione $\tau$).

4. Risultati

• Recupero della Pareto Front: Negli esperimenti sintetici, MOPO approssima con successo la frontiera di Pareto, mentre DPO addestrato su obiettivi singoli o ricompense scalarizzate perde parti significative della frontiera.
• Prestazioni sugli LLM: Nei compiti "Helpful Assistant" e "Reddit Summary", MOPO (specificamente la variante Lagrangiana, MOPO-Lag) supera costantemente o eguaglia i baseline allo stato dell'arte in termini di molteplici obiettivi (utilità, innocuità, umorismo, fedeltà).
• Scalabilità: Il metodo scala da modelli piccoli (phi-1.5) a modelli più grandi da 7B/8B.
• Soddisfacimento dei Vincoli: Nei compiti con vincolo di verbosità (controllo della lunghezza della risposta), MOPO riesce a mantenere le lunghezze delle risposte entro i limiti specificati pur migliorando l'utilità.

5. Significato e Rivendicazioni

Il documento afferma che MOPO affronta una lacuna critica nei paradigmi di allineamento attuali: l'incapacità di gestire preferenze umane multidimensionali senza una scalarizzazione arbitraria o l'intervento dell'utente durante l'inferenza.

• Cambio di Paradigma: Sposta l'attenzione oltre l'assunto del "singolo segnale di ricompensa" del classico RLHF/DPO, offrendo un modo rigoroso per navigare i compromessi tra obiettivi conflittuali (ad esempio, sicurezza vs utilità).
• Utilità Pratica: Recuperando policy Pareto-ottimali offline, MOPO consente il deployment di modelli che sono robusti e adattabili a diverse esigenze degli utenti senza richiedere vettori di preferenza espliciti o riaddestramenti per ogni nuova configurazione di pesi.
• Direzioni Future: Gli autori notano con modestia che, sebbene i risultati empirici siano solidi, un'analisi teorica rigorosa della convergenza di MOPO e delle sue garanzie di ottimalità rimane un importante sviluppo futuro.

Il lavoro suggerisce che, per modelli generativi complessi, trattare l'allineamento come un problema di ottimizzazione multi-obiettivo vincolato è superiore al trattamento come un problema di ottimizzazione a obiettivo singolo con ricompense pesate.