PAWS: Preference Learning with Advantage-Weighted Segments

Sintesi Tecnica: PAWS (Preference Learning with Advantage-Weighted Segments)

Problematica
Il Reinforcement Learning basato sulle preferenze (PbRL) mira ad apprendere policy da confronti a livello di traiettoria umana piuttosto che da funzioni di ricompensa esplicite. Tuttavia, i metodi esistenti soffrono di un fondamentale shift di distribuzione tra addestramento e inferenza. Tipicamente, i metodi PbRL addestrano una funzione di utilità (ad esempio, un modello di ricompensa o di vantaggio) su preferenze a livello di segmento o di traiettoria. Tuttavia, durante l'ottimizzazione della policy, questi modelli vengono interrogati su singole coppie stato-azione per calcolare i segnali di apprendimento per ogni step.

Questo disallineamento crea un problema di assegnazione del credito temporale (temporal credit assignment). Come illustrato nel paper, molti diversi assegnamenti di vantaggio per singolo step possono sommare lo stesso label di preferenza a livello di segmento. Di conseguenza, il modello di utilità è sotto-vincolato a livello del singolo step. Quando l'ottimizzatore della policy interroga questo modello su singoli step (inferenza) nonostante sia stato addestrato su segmenti, i segnali di apprendimento risultanti sono ambigui e inaffidabili, degradando severamente l'apprendimento della policy, particolarmente in regimi con pochi dati.

Metodologia: PAWS
Gli autori propongono PAWS (Preference Learning with Advantage-Weighted Segments) per risolvere questo shift di distribuzione allineando l'addestramento dell'utilità con l'ottimizzazione della policy a livello di segmento.

1. Apprendimento del Vantaggio (Advantage Learning):

   • Invece di apprendere una funzione di ricompensa, PAWS apprende direttamente una funzione di vantaggio $A_\phi$ dalle coppie di preferenza a livello di segmento $(\tau^+, \tau^-)$.
   • La verosimiglianza della preferenza è modellata utilizzando una formulazione di Bradley-Terry basata sulla somma dei vantaggi all'interno di un segmento: $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$.
   • Il modello può essere implementato utilizzando un Transformer encoder o un Multi-Layer Perceptron (MLP).

2. Ottimizzazione della Policy Basata su Segmenti:

   • Invece di inferire utilità per singolo step, PAWS esegue gli aggiornamenti della policy direttamente sui segmenti di traiettoria.
   • Il metodo formula un problema di ottimizzazione vincolata per trovare una distribuzione di segmenti ottimale $p^*(\tau)$ che massimizzi il vantaggio atteso rimanendo entro una regione di fiducia (limite di divergenza KL $\epsilon$) rispetto alla distribuzione dei dati originale $p_D(\tau)$.
   • La soluzione produce una distribuzione di segmenti pesata: $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$.
   • La policy $\pi_\theta$ viene quindi aggiornata massimizzando un obiettivo di massima verosimiglianza pesato, dove i pesi sono l'esponenziale dei vantaggi dei segmenti:
     $$\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$$
   • Fondamentalmente, il peso di importanza è applicato all'intero segmento, garantendo che l'aggiornamento della policy rispetti l'informazione di preferenza a livello di segmento.

3. Controllo degli Iperparametri tramite Dimensione del Campione Effettivo:

   • Per evitare la sintonizzazione manuale del limite KL $\epsilon$ (che dipende dalla dimensionalità delle azioni e dalla dimensione del dataset), PAWS introduce una strategia guidata dai dati per controllare il moltiplicatore di Lagrange $\lambda$.
   • Gli autori propongono di impostare $\lambda$ per ottenere una dimensione del campione effettivo ($n_{eff}$) desiderata, calcolata dai pesi di importanza. Ciò consente un controllo intuitivo su quanti segmenti contribuiscono significativamente all'aggiornamento, bilanciando lo sfruttamento dei segmenti ad alto vantaggio con la stabilità.

Contributi Chiave

• Analisi dello Shift di Distribuzione: Il paper identifica il disallineamento tra l'addestramento dell'utilità a livello di segmento e l'inferenza a livello di step come un limite centrale dei metodi PbRL esistenti, che causa un'assegnazione del credito temporale ambigua.
• Algoritmo PAWS: Un nuovo metodo di apprendimento delle preferenze basato su segmenti che esegue aggiornamenti della policy utilizzando segmenti pesati dal vantaggio, preservando l'informazione di preferenza a livello di traiettoria ed evitando segnali per singolo step inaffidabili.
• Sintonizzazione Data-Driven degli Iperparametri: Una strategia intuitiva per impostare gli iperparametri di ottimizzazione della policy basata sulla dimensione del campione effettivo dei dati pesati dalle preferenze, riducendo la dipendenza dalla sintonizzazione manuale.
• Validazione Empirica: Valutazione completa su compiti di manipolazione robotica simulata (Meta-World) e locomozione (D4RL), dimostrando miglioramenti costanti rispetto ai baseline stabiliti.

Risultati Sperimentali
Gli autori hanno valutato PAWS su 10 compiti di manipolazione Meta-World e 4 compiti di locomozione D4RL sotto due budget di preferenza (50 e 500 coppie).

• Performance: PAWS (sia le varianti Transformer che MLP) ha superato costantemente i baseline, inclusi Behavior Cloning (BC), P-IQL, CPL, CPL+KL, Preference Transformer e IPL.
• Regime a Bassi Dati: Nella configurazione con 50 preferenze, molti baseline sono degradati performando peggio di Behavior Cloning, mentre PAWS ha mantenuto una performance robusta, evidenziando la sua efficienza in scenari con scarsità di dati.
• Studi di Ablazione:
  • Granularità di Aggiornamento: Sostituire gli aggiornamenti a livello di segmento di PAWS con aggiornamenti a livello di stato-azione (usando la stessa funzione di vantaggio appresa) ha causato un calo significativo delle prestazioni, confermando che lo shift di distribuzione è la causa primaria del fallimento nei metodi standard.
  • Lunghezza del Segmento: Aumentare la lunghezza del segmento ha esacerbato il degrado delle prestazioni per gli aggiornamenti basati su stato-azione, ma ha avuto un impatto negativo minimo su PAWS, che opera nativamente a livello di segmento.
  • Feedback Umano: Testato su preferenze raccolte da 10 etichettatori umani non autori, PAWS ha ottenuto i tassi di successo più elevati nei compiti "Button Press" e "Door Open", validando la sua robustezza al rumore umano reale.
  • Assegnazione del Credito: PAWS ha dimostrato una correlazione di rango di Spearman più alta con le classifiche degli esperti rispetto agli aggiornamenti basati su step, indicando una superiore preservazione delle strutture di preferenza temporale.

Significatività e Claim
Il paper sostiene che i guadagni di performance di PAWS derivino principalmente dall'allineamento delle distribuzioni di addestramento e inferenza della funzione di utilità appresa, piuttosto che da scelte architettoniche specifiche (poiché sia la variante MLP che quella Transformer hanno superato i rispettivi controparti a livello di step).

Gli autori sottolineano che PAWS offre una soluzione rigorosa al problema dell'assegnazione del credito temporale nel PbRL, evitando i "segnali di apprendimento per singolo step inaffidabili" intrinseci nei metodi che addestrano su segmenti ma inferiscono su step. Il metodo è presentato come particolarmente efficace nei regimi a bassi dati, dove le stime di utilità a livello di step sono più rumorose. Sebbene la valutazione sia limitata a compiti robotici simulati con dati oracle e su piccola scala umana, gli autori suggeriscono che la prospettiva a livello di segmento sia direttamente applicabile al fine-tuning di grandi modelli generativi (es. RLHF), dove i confronti vengono solitamente effettuati su intere risposte piuttosto che su singoli token.

Limitazioni
Gli autori riconoscono che PAWS assegna pesi di importanza uniformi a tutti i termini stato-azione all'interno di un segmento, il che potrebbe essere sub-ottimale se un segmento contiene un mix di azioni di alta e bassa qualità. Inoltre, la scelta della dimensione del campione effettivo ($n_{eff}$) richiede una selezione, sebbene si noti che sia più intuitiva rispetto alla sintonizzazione diretta del limite KL. Infine, la valutazione attuale è limitata alla simulazione e non affronta ancora il feedback umano su larga scala e rumoroso.