Riepilogo Tecnico: Allineamento di Sicurezza Implicito da Preferenze di Folla

Enunciato del Problema

Gli agenti di Apprendimento per Rinforzo (RL) si affidano a funzioni di ricompensa per raggiungere gli obiettivi, ma specificare ricompense che catturino pienamente il comportamento desiderato — in particolare i vincoli di sicurezza impliciti — è notoriamente difficile. In scenari complessi, i progettisti spesso si concentrano sul completamento del compito omettendo involontariamente considerazioni di sicurezza (ad esempio, mantenere margini di sicurezza o evitare comportamenti aggressivi), portando a comportamenti pericolosi dell'agente.

Sebbene l'Apprendimento per Rinforzo da Feedback Umano (RLHF) sia stato sviluppato per allineare gli agenti alle preferenze umane, la maggior parte dei metodi esistenti presuppone un singolo insieme unificato di valori utente. In pratica, i dati di preferenza provengono spesso da una "folla" di utenti con obiettivi di compito e modelli comportamentali diversi. Tuttavia, questi utenti condividono spesso criteri di sicurezza impliciti (ad esempio, evitare stati non sicuri) nonostante i loro obiettivi differiscano. La sfida centrale affrontata in questo lavoro è come scoprire questi criteri di sicurezza latenti condivisi da dati di preferenza eterogenei di folla e trasferirli a compiti a valle in cui sono disponibili solo ricompense di compito agnostiche rispetto alla sicurezza.

Gli autori identificano una limitazione nell'approccio "naif" di combinare semplicemente un modello di ricompensa appreso dalle preferenze della folla con una ricompensa di compito a valle. Le analisi teoriche ed empiriche rivelano che questo approccio di combinazione delle ricompense soffre di due problemi critici:

1. Bias Specifico dell'Utente: Il modello di ricompensa appreso cattura non solo criteri di sicurezza condivisi, ma anche componenti specifiche dell'utente. Se il dataset della folla è sbilanciato (ad esempio, un utente contribuisce con la maggior parte dei dati), la ricompensa appresa diventa distorta verso gli obiettivi di quell'utente specifico, degradando le prestazioni su altri compiti.
2. Sensibilità alla Ponderazione: Le prestazioni sono altamente sensibili al peso di compromesso tra la ricompensa appresa dalle preferenze e la ricompensa di compito, rendendo il metodo difficile da sintonizzare.

Metodologia: RL Basato su Preferenze di Folla Sicure

Per superare queste limitazioni, gli autori propongono l'Apprendimento per Rinforzo Basato su Preferenze di Folla Sicure, un framework gerarchico che compone abilità piuttosto che combinare ricompense. La metodologia consta di tre fasi principali:

1. Scoperta di Abilità dalle Preferenze di Folla

Invece di apprendere una singola ricompensa globale, il framework modella comportamenti preferiti da utenti diversi come abilità di basso livello.

• Inferenza di Variabili Latenti: Poiché il vero contesto utente $z$ (che determina preferenze specifiche) non è osservato, il metodo utilizza un Variational Auto-Encoder (VAE) per inferire una variabile latente $z'$ dai dati di preferenza della folla. Questa $z'$ funge da proxy per il contesto utente sottostante.
• Apprendimento Condizionato alla Latente: Il framework apprende una funzione di ricompensa condizionata alla latente $r_\phi(s, a, z')$ o apprende direttamente una politica condizionata alla latente $\pi_\theta(a|s, z')$.
  • Safe-VPL: Utilizza un approccio di Apprendimento delle Preferenze Variational (VPL) con un modello Bradley-Terry per apprendere una ricompresa condizionata a $z'$, seguito da RL offline (ad esempio IQL) per apprendere la politica di basso livello.
  • Safe-CPL: Una variante innovativa che integra l'Apprendimento delle Preferenze Contrastive (CPL) nel framework VPL. Apprende direttamente la politica condizionata alla latente $\pi_\theta(a|s, z')$ senza una fase intermedia esplicita di apprendimento della ricompensa, evitando l'instabilità dell'ottimizzazione RL.

2. Composizione della Politica di Alto Livello

Per un nuovo compito a valle con una ricompensa agnostica rispetto alla sicurezza $r_{new}$, una politica di alto livello $\pi_h(z'|s)$ viene addestrata per comporre le abilità di basso livello apprese.

• Selezione dell'Azione: La politica di alto livello outputta una variabile latente $z'$, che indicizza una specifica abilità di basso livello $\pi_l(a|s, z')$ per generare l'azione finale.
• Eredità della Sicurezza: Poiché tutte le abilità di basso livello sono apprese dalle preferenze della folla, codificano intrinsecamente i criteri di sicurezza condivisi (ad esempio, evitare coppie stato-azione non sicure). Limitando l'agente a comporre queste abilità, la sicurezza è imposta senza segnali di sicurezza espliciti nel compito a valle.
• Regolarizzazione: Per prevenire che la politica di alto livello selezioni abilità fuori distribuzione che potrebbero portare a comportamenti non sicuri, viene applicato un termine di regolarizzazione per mantenere la variabile latente selezionata vicina alla distribuzione a priori appresa dai dati della folla.

3. Addestramento a Valle

La politica di alto livello viene addestrata per massimizzare la ricompensa del compito a valle $r_{new}$ aderendo ai vincoli imposti dallo spazio delle abilità di basso livello. Ciò può essere eseguito sia in modalità online (con interazione) che offline (utilizzando solo dataset esistenti).

Contributi Chiave

1. Formulazione del Problema: Il documento formalizza il problema del trasferimento di obiettivi di sicurezza condivisi da preferenze di folla eterogenee a compiti a valle, identificando le limitazioni della combinazione diretta delle ricompense in caso di squilibrio delle preferenze.
2. Analisi Teorica: Gli autori forniscono dimostrazioni teoriche che mostrano che:
   • Un singolo modello di ricompensa appreso dai dati della folla preferirà traiettorie sicure rispetto a quelle non sicure se la penalità di sicurezza è sufficientemente grande (Teorema 4.2).
   • Tuttavia, se i dati della folla sono sbilanciati, l'ordinamento delle ricompense apprese si allinea con gli obiettivi specifici dell'utente maggioritario, portando a un degrado delle prestazioni (Teorema 4.3).
   • L'approccio proposto di composizione delle abilità garantisce la sicurezza se le politiche di basso livello sono ottimali rispetto alle loro utilità condizionate (Corollario A.6).
3. Framework Algoritmico: La proposta di un framework gerarchico (Safe-VPL e Safe-CPL) che disaccoppia la scoperta delle abilità dall'ottimizzazione del compito, consentendo il riutilizzo di comportamenti allineati alla sicurezza attraverso compiti diversi.
4. Validazione Empirica: Estese sperimentazioni su sei ambienti di Safe RL (Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel) e un compito conversazionale di prova di concetto con un Large Language Model (LLM).

Risultati Sperimentali

Il metodo è stato valutato rispetto a diverse baseline, inclusi metodi Oracle (addestrati con segnali di sicurezza ground-truth), Task-Only (ottimizzazione solo delle ricompense di compito), Safety-Only Preference Learning (SOPL) e Reward Combination (RC).

• Prestazioni di Sicurezza: I metodi proposti (Safe-VPL e Safe-CPL) hanno ridotto sostanzialmente i costi di sicurezza rispetto alle baseline Task-Only. Nel setting offline, i costi di sicurezza normalizzati medi sono scesi da 1.0 (Task-Only) a circa 0.02–0.03, comparabili ai metodi Oracle.
• Prestazioni di Compito: L'approccio ha raggiunto prestazioni di compito comparabili ai metodi Oracle e ha superato significativamente i metodi Reward Combination (RC), specialmente in impostazioni di preferenze sbilanciate.
• Robustezza allo Squilibrio: Mentre le prestazioni di RC si degradavano bruscamente quando un utente contribuiva con la maggior parte dei dati (spostandosi lontano dalla frontiera Oracle), il metodo proposto di composizione delle abilità rimaneva robusto e vicino alle prestazioni Oracle indipendentemente dallo squilibrio delle preferenze.
• Valutazione LLM: In un setting semplificato basato su linguaggio di tipo bandit, il metodo ha evitato con successo risposte dannose raggiungendo allo stesso tempo forti prestazioni di compito, mentre gli agenti Task-Only selezionavano frequentemente risposte dannose per massimizzare la ricompensa.

Significato e Affermazioni

Il documento afferma che il suo significato principale risiede nel dimostrare che obiettivi di sicurezza impliciti possono essere scoperti e trasferiti dalle preferenze di folla senza richiedere ricompense o dimostrazioni di sicurezza esplicite.

• Riutilizzo dei Dati: L'approccio consente il riutilizzo dei dati di preferenza della folla attraverso compiti, anche quando quelle preferenze non sono state raccolte per un compito specifico a valle, potenzialmente riducendo il costo della raccolta ripetuta di feedback umano.
• Mitigazione delle Sfide di Progettazione delle Ricompense: Sfruttando segnali di sicurezza impliciti, il metodo affronta il problema comune di ricompense progettate dall'uomo incomplete o mal specificate.
• Scalabilità: Il framework assume che le preferenze della folla riflettano un consenso condiviso sulla sicurezza. Sebbene gli autori riconoscano che il rumore reale o il feedback avversario potrebbero mettere in discussione ciò, sostengono che il loro metodo offra un modo robusto per apprendere comportamenti sicuri in domini in cui le specifiche di sicurezza sono difficili da definire formalmente.

Gli autori mantengono una posizione modesta, notando che i loro esperimenti si basano su preferenze annotate sinteticamente generate da ricompense ground-truth piuttosto che su feedback umano naturalistico, e che è necessario un lavoro futuro per validare l'approccio contro dati umani reali più rumorosi.