Best Policy Learning from Trajectory Preference Feedback

1. Il Problema

Il paper affronta le limitazioni dell'attuale approccio Reinforcement Learning from Human Feedback (RLHF). Il RLHF standard si basa sull'addestramento di un modello di ricompensa (reward model) scalare a partire da annotazioni umane. Questo processo è vulnerabile a:

• Mis-specification: La difficoltà di ridurre obiettivi umani complessi a un singolo scalare.
• Reward Hacking: Gli agenti possono trovare modi per massimizzare la ricompensa appresa senza allinearsi realmente all'intento umano.

L'alternativa proposta è il Preference-based Reinforcement Learning (PbRL), che utilizza confronti binari diretti tra traiettorie (es. "la traiettoria A è meglio di B") invece di punteggi assoluti. Tuttavia, il PbRL pratico spesso inizia con dataset offline di preferenze raccolti "off-policy", che possono essere distorti, fuori distribuzione (OOD) o generati da valutatori (raters) con competenze sub-ottimali.

L'obiettivo specifico del lavoro è il Best Policy Identification (BPI): identificare la politica ottimale che massimizza la ricompensa attesa in un MDP (Processo Decisionale di Markov) con dinamiche e ricompense sconosciute, utilizzando un mix di:

1. Un dataset offline di preferenze tra coppie di traiettorie (potenzialmente rumoroso e generato da un esperto imperfetto).
2. Una fase di esplorazione online pura (pure exploration), dove l'agente genera nuove traiettorie e chiede feedback per affinare la sua conoscenza, con l'obiettivo di minimizzare il Simple Regret (la differenza di ricompensa tra la politica finale e quella ottimale) piuttosto che il Cumulative Regret.

2. Metodologia: L'algoritmo PSPL

Gli autori propongono PSPL (Posterior Sampling for Preference Learning), un algoritmo ispirato al Top-Two Thompson Sampling.

Modellazione e Assunzioni

• Ambiente: MDP episodico con orizzonte $H$, stati $S$, azioni $A$.
• Feedback: Il valutatore (rater) confronta due traiettorie $\tau_0$ e $\tau_1$ e fornisce un feedback binario $Y \in \{0, 1\}$ basato su un modello Bradley-Terry.
• Competenza del Rater: La qualità del valutatore è modellata da due parametri:
  • $\beta$: Misura della "deliberazione" o certezza della decisione (se $\beta \to \infty$, il rater è sempre corretto rispetto alla sua stima).
  • $\lambda$: Misura della conoscenza del rater rispetto alla vera ricompensa ambientale $\theta$ (se $\lambda \to \infty$, la stima del rater $\vartheta$ converge a $\theta$).
• Priori: Si assume una distribuzione a priori Gaussiana per il vettore di ricompensa $\theta$ e Dirichlet per le dinamiche di transizione $\eta$.

L'Algoritmo PSPL (Algorithm 1)

L'algoritmo opera in due fasi principali:

1. Inizializzazione con Dati Offline:
   • Il dataset offline $D_0$ viene utilizzato per aggiornare i prior su $\theta$ e $\eta$, creando dei prior informati ($\nu_1, \chi_1$).
   • Questo passaggio è cruciale: il dataset offline non viene solo usato per l'addestramento iniziale, ma per modellare la distribuzione a posteriori delle incertezze, tenendo conto della competenza del rater ($\beta, \lambda$).
2. Fase Online di Esplorazione Pura:
   • Per ogni episodio $k$, l'agente campiona due set di parametri $(\theta^{(0)}, \eta^{(0)})$ e $(\theta^{(1)}, \eta^{(1)})$ dai posteriori attuali.
   • Calcola due politiche candidate $\pi^{(0)}_k$ e $\pi^{(1)}_k$ basate su questi parametri campionati.
   • Esegue due traiettorie corrispondenti e chiede al rater di preferirne una ($Y_k$).
   • Aggiorna i posteriori basandosi sul nuovo feedback.
   • Alla fine di $K$ episodi, la politica finale è quella derivata dalla stima MAP (Maximum A Posteriori) dai posteriori aggiornati.

Approssimazione Pratica: Bootstrapped PSPL (Algorithm 2)

Poiché l'aggiornamento esatto dei posteriori (Equazioni 4 e 5) è intrattabile a causa della perdita di coniugazione, gli autori introducono una versione pratica basata sul Bayesian Bootstrapping:

• Invece di campionare direttamente dal posterior, si risolve un problema di ottimizzazione per la stima MAP su una funzione di perdita surrogata perturbata.
• La funzione di perdita totale è composta da:
  • $L_1$: Perdita sui dati online.
  • $L_2$: Perdita sui dati offline.
  • $L_3$: Termine di regolarizzazione (prior).
• Si introducono pesi casuali (perturbazioni) su questi termini per simulare il campionamento dal posterior, rendendo l'algoritmo computazionalmente fattibile.

3. Contributi Chiave

1. Nuovo Framework Teorico: Il primo framework formale per l'apprendimento della migliore politica (BPI) in MDP sconosciuti che integra dati di preferenze offline e online.
2. Algoritmo PSPL: Introduzione del primo algoritmo di apprendimento della migliore politica per questo setting specifico, basato sul campionamento del posterior.
3. Garanzie Teoriche (Simple Regret):
   • Forniscono il primo limite superiore per il Simple Bayesian Regret nel contesto PbRL.
   • Dimostrano che il regret dipende dalla qualità del dataset offline ($N$) e dalla competenza del rater ($\beta, \lambda$).
   • Il bound converge a zero esponenzialmente all'aumentare della dimensione del dataset e della competenza del rater.
4. Analisi della Competenza del Rater: Mostrano teoricamente ed empiricamente che conoscere (o stimare) la competenza del valutatore ($\lambda, \beta$) è fondamentale: un agente informato sulla competenza del rater ottiene un regret significativamente inferiore rispetto a un agente che assume un rater perfetto o ignora la competenza.

4. Risultati Sperimentali

Gli autori hanno valutato l'algoritmo su:

• Ambienti di Controllo Sintetici: MountainCar e RiverSwim.
• Generazione di Immagini: Dataset Pick-a-Pic (preferenze umane per la generazione testo-immagine).

Risultati Principali:

• Confronto con Baseline: PSPL (e la sua versione bootstrapped) supera significativamente gli algoritmi state-of-the-art come DPO (Direct Preference Optimization), IPO (Identity Preference Optimization) e LPbRL (Logistic Preference-based RL).
• Vantaggio dell'Offline: L'uso dei dati offline per "warm-start" i prior riduce drasticamente il regret rispetto all'apprendimento da zero.
• Robustezza: L'algoritmo è robusto anche quando i parametri di competenza del rater ($\lambda, \beta$) sono mal specificati (mis-specified), mantenendo prestazioni superiori alle baseline.
• Generazione di Immagini: Nel task di Pick-a-Pic, PSPL dimostra una capacità superiore di allineare il modello generativo alle preferenze umane rispetto a DPS (Dueling Posterior Sampling), ottenendo punteggi di ricompassa finale più alti.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi motivi:

• Ponte tra Offline e Online: Colma il divario teorico tra l'uso di grandi dataset di preferenze offline (comuni nell'RLHF) e l'esplorazione online necessaria per affinare le politiche.
• Gestione dell'Incertezza del Rater: Introduce un approccio rigoroso per gestire la "competenza" del valutatore umano, un aspetto spesso trascurato ma critico nella pratica (dove i dati umani sono rumorosi e non sempre esperti).
• Ottimizzazione per BPI: Sposta il focus dalla minimizzazione del regret cumulativo (tipico dell'RL standard) alla minimizzazione del Simple Regret, che è l'obiettivo reale nell'allineamento dei modelli linguistici (LLM) e generativi, dove ciò che conta è la qualità della politica finale dopo il fine-tuning, non il costo delle esplorazioni intermedie.
• Fondamento per Futuri Sviluppi: Fornisce una base solida per lo sviluppo di algoritmi PbRL più robusti e scalabili, specialmente in scenari dove i dati umani sono costosi o imperfetti.

In sintesi, il paper propone un metodo matematicamente fondato e praticamente efficace per allineare agenti AI alle preferenze umane, sfruttando intelligentemente dati storici imperfetti e integrandoli con un'esplorazione online mirata.