Sintesi Tecnica: Apprendimento per Rinforzo Offline con Feedback Umano Robusto alla Corruzione

Definizione del Problema

Questo articolo affronta la sfida della robustezza alla corruzione nell'Apprendimento per Rinforzo Offline da Feedback Umano (RLHF). Gli autori considerano un contesto in cui un dataset offline consiste in coppie di traiettorie $(\tau^0, \tau^1)$ insieme a un feedback di preferenza umana $o \in \{+1, -1\}$. Il problema centrale è che una frazione $\epsilon$ di questi dati è corrotta da un avversario. Questa corruzione può manifestarsi come:

1. Manipolazione del feedback: Inversione dell'etichetta di preferenza $o$.
2. Manipolazione delle caratteristiche della traiettoria: Alterazione delle caratteristiche (features) delle traiettorie $\tau$.

L'obiettivo è progettare algoritmi in grado di identificare una politica quasi ottimale da tali dati corrotti con garanzie teoriche dimostrabili. Gli autori operano sotto l'assunzione di Processi Decisionali di Markov Lineari (MDP Lineari), dove le ricompense e le transizioni sono funzioni lineari di una mappa di caratteristiche $\phi$ a $d$ dimensioni, con una lunghezza d'orizzonte $H$.

La letteratura esistente ha studiato separatamente l'RL robusto alla corzione (apprendimento da ricompense scalari sotto corruzione) e l'RLHF offline (apprendimento da preferenze sotto dati puliti). Tuttavia, tali approcci sono inapplicabili all'intersezione specifica tra l'apprendimento da dati di preferenza che sono corrotti in un contesto offline.

Metodologia

La metodologia proposta segue un framework in tre fasi per ridurre il problema dell'RLHF offline robusto al problema dell'RL offline robusto:

1. Stima Robusta del Modello di Ricompensa: Gli autori apprendono prima in modo robusto il parametro di ricompensa $\theta$ risolvendo un problema di Stima di Massima Verosimiglianza (MLE) Trimmed. Inveve di utilizzare tutti i dati, l'algoritmo seleziona un sottoinsieme di $(1-\epsilon)N$ campioni che massimizza la verosimiglianza. Per gestire le caratteristiche corrotte, il metodo impiega una stima robusta della covarianza per biancare (whiten) le covariate prima di eseguire una procedura di ottimizzazione alternata per trovare un punto stazionario approssimato.
2. Costruzione dell'Insieme di Confidenza: Un insieme di confidenza $\Theta(\mathcal{D})$ viene costruito attorno al parametro di ricompensa stimato $\hat{\theta}$. Questo insieme è definito sulla base del rapporto di verosimiglianza tra il parametro stimato e il parametro reale, garantendo che il vero parametro ricada nell'insieme con alta probabilità nonostante la corruzione.
3. Ottimizzazione della Politica Pessimistica: L'ultimo passaggio consiste nell'apprendere una politica ottimale pessimistica sull'insieme di confidenza costruito. Ciò viene ottenuto riducendo il problema all'RL offline robusto alla corruzione. L'algoritmo specifico utilizzato per questa riduzione dipende dalle assunzioni di copertura della distribuzione dei dati offline.

Il paper istanzia questo framework generale sotto tre distinte assunzioni di copertura dei dati, utilizzando diversi oracoli di RL robusto per ciascuna:

1. Copertura Uniforme

Sotto l'assunzione che i dati offline coprano uniformemente lo spazio delle caratteristiche (specificamente, che la matrice di covarianza delle differenze delle caratteristiche $\Sigma^{diff}$ sia ben condizionata), gli autori utilizzano un algoritmo esistente di RL offline robusto alla corruzione, R-LSVI [Zha+22], come oracolo di ordine zero.

• Meccanismo: L'algoritmo tratta il metodo di RL offline robusto come una scatola nera che restituisce una politica e una stima del valore, ma non fornisce informazioni sul gradiente.
• Risultato: Questo produce un gap di subottimalità di $O(\epsilon^{1-o(1)})$, che è quasi ottimale rispetto alla frazione di corruzione $\epsilon$.

2. Basso Numero di Condizionamento Relativo

Riconoscendo che la copertura uniforme è un'assunzione forte, gli autori la rilassano in un'assunzione di Basso Numero di Condizionamento Relativo. Questa condizione è più debole, richiedendo solo che il rapporto tra la covarianza delle caratteristiche della politica target e la covarianza della politica di comportamento sia limitato.

• Meccanismo: Poiché l'oracolo di ordine zero (R-LSVI) non può fornire gradienti, gli autori impiegano una tecnica di approssimazione Gaussiana [NS17] per costruire un sub-gradiente approssimato della funzione valore ottimale $V^*(\theta)$. Trattano l'oracolo di RL offline robusto come un oracolo di ordine zero distorto e eseguono un Discesa del Sub-Gradiente Proiettato sull'insieme di confidenza.
• Risultato: Questo approccio raggiunge un gap di subottimalità di $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$, dove $\alpha$ è il numero di condizionamento relativo. La dipendenza da $\epsilon$ è $O(\epsilon^{1/4})$.

3. Rapporto di Copertura Generalizzata Limitato

Per migliorare ulteriormente la dipendenza da $\epsilon$, gli autori considerano un'assunzione di Rapporto di Copertura Generalizzata Limitato, introdotta recentemente da Gabbianelli et al. [Gab+24].

• Meccanismo: Sotto questa assunzione, gli autori progettano un nuovo metodo di RL offline robusto alla corruzione (Algoritmo 7) che agisce come un oracolo di primo ordine. Questo metodo, basato su un framework primal-dual per MDP lineari, restituisce non solo una politica approssimativamente ottimale ma anche un sub-gradiente approssimato della funzione valore ottimale. Ciò consente all'algoritmo RLHF principale di eseguire una diretta discesa del sub-gradiente proiettato senza necessitare di smoothing di ordine zero.
• Risultato: Ciò produce un gap di subottimalità significativamente migliorato di $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$, dove $\nu$ è il rapporto di copertura generalizzata. La dipendenza da $\epsilon$ migliora a $O(\sqrt{\epsilon})$.

Contributi Chiave e Risultati

Il paper fornisce i primi metodi di RLHF offline robusti alla corruzione. I contributi chiave e i risultati teorici sono riassunti nella Tabella 1 del documento:

• Framework Novell: La riduzione del robusto RLHF all'RL offline robusto tramite stima robusta della ricompensa e costruzione dell'insieme di confidenza.
• Istanziazioni Algoritmiche:
  • Algoritmo 1: Per la copertura uniforme, raggiungendo una subottimalità di $O(\epsilon^{1-o(1)})$ utilizzando R-LSVI come oracolo di ordine zero.
  • Algoritmo 3: Per il basso numero di condizionamento relativo, raggiungendo una subottimalità di $\tilde{O}(\epsilon^{1/4})$ utilizzando l'approssimazione Gaussiana con un oracolo di ordine zero.
  • Algoritmo 4 & 7: Per il rapporto di copertura generalizzata limitato, raggiungendo una subottimalità di $\tilde{O}(\sqrt{\epsilon})$ utilizzando un nuovo oracolo di RL offline di primo ordine.
• Efficienza dell'Oracolo: Il paper evidenzia come il passaggio dall'accesso di ordine zero a quello di primo ordine (Algoritmo 7) riduca significativamente il numero di chiamate all'oracolo e migliori la dipendenza dal parametro di corruzione $\epsilon$.

Significato e Dichiarazioni

Gli autori affermano che questo lavoro è il primo a combinare la robustezza alla corruzione con l'RLHF offline, fornendo garanzie teoriche rigorose laddove i lavori precedenti non potevano farlo.

• Robustezza agli Attacchi Avversari: I metodi sono progettati per resistere alla manipolazione avversaria sia delle etichette di preferenza che delle caratteristiche delle traiettorie, un requisito critico per l'implementazione nel mondo reale dove l'affidabilità dei dati è compromessa.
• Garanzie Teoriche: Il paper fornisce limiti espliciti sul gap di subottimalità in termini di frazione di corruzione $\epsilon$, orizzonte $H$, dimensione delle caratteristiche $d$ e costanti di copertura ($\xi, \alpha, \nu$).
• Ambito Modesto e Lavoro Futuro: Gli autori sono modesti riguardo all'attuale portata, notando che i risultati sono specifici per gli MDP lineari. Riconoscono che estendere questi risultati a funzioni di ricompensa non convesse o ad approssimazioni di funzione generali (ad esempio, reti neurali profonde) è una sfida significativa, poiché la convessità della funzione valore ottimale $V^*(\theta)$ in $\theta$ — cruciale per le loro prove basate sul gradiente — potrebbe non sussistere in contesti non lineari. Notano inoltre che, sebbene forniscano risultati di simulazione preliminari, l'applicazione di questi metodi a contesti pratici come il fine-tuning di Large Language Models (LLM) rimane una direzione aperta e impegnativa per la ricerca futura.