A Descriptive and Normative Theory of Human Beliefs in RLHF

Sintesi Tecnica: Una Teoria Descrittiva e Normativa delle Credenze Umane nell'RLHF

Problema
L'apprendimento per rinforzo dal feedback umano (RLHF) modella tradizionalmente le preferenze umane come una funzione della funzione di ricompensa dell'umano o dei valori di stato-azione ottimali ($A^*$) dell'agente. Gli approcci standard, inclusi i modelli basati sul rendimento (return-based) o sul rimpianto (regret-based), assumono che i valutatori analizzino le traiettorie in base a ciò che è effettivamente accaduto o a ciò che un agente ottimale potrebbe raggiungere. Questo lavoro sostiene che anche i valutatori umani possiedono credenze circa le capacità effettive dell'agente che viene addestrato. Se un valutatore assume che un agente sia ottimale quando non lo è (o viceversa), le sue preferenze possono portare a politiche post-RLHF catastrofiche o subottimali. Il documento indaga due domande fondamentali: (1) Le credenze dei valutatori umani sulle capacità degli agenti influenzano descrittivamente le preferenze che forniscono? E (2) Normativamente, quale sia l'insieme ideale di credenze che i valutatori dovrebbero avere per massimizzare le prestazioni della politica risultante?

Metodologia
Gli autori propongono un modello di preferenza basato sulle credenze e lo validano attraverso analisi teoriche, esperimenti sintetici e uno studio su soggetti umani.

1. Quadro Teorico:

   • Gli autori definiscono la Credenza sulla Capacità dell'Agente come una funzione $Q$ ($Q^{\pi_{belief}}$) che rappresenta la stima del valutatore rispetto alla politica post-RLHF dell'agente.
   • Introducono un nuovo modello di preferenza (Equazione 3) in cui la probabilità di preferire una traiettoria $\sigma^+$ rispetto a una $\sigma^-$ è determinata dalla funzione di vantaggio $A^{\pi_{belief}}$ piuttosto che dal vantaggio ottimale $A^*$.
   • Ideale Normativo: Il documento definisce una credenza ideale normativa ($Q^{\pi^*_{belief}}$) non come l'ottimalità assoluta, ma come la credenza che produca il più alto rendimento atteso per la migliore politica realizzabile dato il vincoli dell'agente (ad esempio, limiti di approssimazione delle funzioni, attuatori rumorosi).
   • Limiti Teorici: Gli autori derivano un limite formale (Teorema 4.3) sulla perdita di prestazione della politica post-RLHF in funzione del "disaccordo agente-valutatore" ($\delta$), definito come l'entità della differenza tra la credenza ottimale e la credenza effettiva del valutatore. Il limite mostra che il rendimento atteso degrada linearmente con l'entità di questo disaccordo.

2. Esperimenti Sintetici:

   • Gli autori hanno condotto esperimenti in un dominio GridWorld in cui le capacità dell'agente erano limitate da un parametro di rumore $\epsilon$-greedy ($\epsilon$).
   • Le credenze del valutatore sono state manipolate variando il livello di rumore assunto ($\epsilon'$) utilizzato per generare preferenze sintetiche.
   • Lo studio ha misurato il rendimento atteso della politica addestrata attraverso una matrice di rumore reale dell'agente ($\epsilon$) e rumore assunto dal valutatore ($\epsilon'$).

3. Studio su Soggetti Umani:

   • Dominio: Una simulazione di un'auto a guida autonoma (CARLA).
   • Intervento: I partecipanti sono stati assegnati a tre condizioni: (1) Controllo (nessun priming), (2) Safe Priming (guardare un video di un'auto che guida in modo sicuro e competente), e (3) Unsafe Priming (guardare un video di un'auto che sbanda e si schianta).
   • Compito: I partecipanti hanno fornito preferenze su coppie di traiettorie di guida, scegliendo tra percorsi più veloci/rischiosi e percorsi più lenti/sicuri.
   • Analisi: Lo studio ha utilizzato l'analisi del sentiment (tramite GPT-4) su feedback in testo libero riguardante le capacità dell'auto e test statistici (Kruskal-Wallis e test di Dunn) sui dati di preferenza su scala Likert per determinare se il priming avesse spostato le credenze e le successive preferenze.

Contributi Chiave

1. Illustrazione del Disaccordo: Il documento dimostra che un cattivo accordo tra le credenze di un valutatore e le capacità reali di un agente può portare a politiche subottimali, anche quando il valutatore agisce in modo "razionale" in base alle sue (errate) credenze.
2. Teoria Normativa: Definisce un ideale normativo per le credenze dei valutatori che è relativo al tetto di prestazioni realizzabili dall'agente, piuttosto che all'ottimalità assoluta, e fornisce un limite teorico sul rimpianto causato dalle deviazioni da tale ideale.
3. Validazione Empirica dell'Influenza delle Credenze: Lo studio umano conferma che le credenze umane sulle capacità degli agenti influenzano significativamente la generazione delle preferenze. Nello specifico, il priming dei partecipanti con informazioni sulle capacità dell'agente (sicuro vs insicuro) ha alterato statisticamente le loro preferenze.
4. Subottimalità dell'Assumere l'Ottimalità: Gli esperimenti sintetici mostrano che assumere l'ottimalità dell'agente (l'approccio standard basato sul rimpianto) è spesso subottimale quando l'agente presenta limiti intrinseci di prestazione (ad esempio, alto rumore).

Risultati

• Teorici: Il limite derivato (Equazione 4) stabilisce che il rendimento atteso della politica post-RLHF è inferiore al rendimento ottimale meno un termine proporzionale al disaccordo agente-valutatore ($\delta / (1-\gamma)$).
• Sintetici: Negli esperimenti GridWorld, i rendimenti di politica più elevati sono stati ottenuti quando il rumore assunto dal valutatore ($\epsilon'$) corrispondeva strettamente al rumore reale dell'agente ($\epsilon$). Assumere un agente ottimale ($\epsilon'=0$) quando l'agente era rumoroso ($\epsilon=0.3$ o $0.5$) ha portato a rendimenti significativamente inferiori, poiché l'agente ha appreso comportamenti rischiosi che non era in grado di eseguire in sicurezza.
• Studio Umano:
  • Credenze: L'analisi del sentiment dei feedback testuali liberi ha mostrato che i partecipanti nel gruppo "unsafe priming" avevano una fiducia nelle capacità dell'auto significativamente inferiore rispetto al gruppo "safe priming".
  • Preferenze: L'analisi statistica ha rivelato una differenza significativa ($p=0.015$) nelle preferenze tra i gruppi safe e unsafe priming. I partecipanti sottoposti a priming di comportamento insicuro erano più propensi a preferire traiettorie sicure e lente, mentre quelli sottoposti a priming di comportamento sicuro erano più disposti ad accettare traiettorie rischiose e veloci.
  • Conclusione: Le preferenze umane non sono statiche; sono influenzate dalle credenze del valutatore riguardo alle attuali capacità dell'agente.

Significato e Rivendicazioni
Il documento sostiene che ridurre il disallineamento tra le credenze umane e le capacità dell'agente è fondamentale per migliorare le prestazioni dell'RLHF. Argomenta che l'assunzione standard di razionalità del valutatore basata sull'ottimalità assoluta è insufficiente quando gli agenti sono imperfetti. Gli autori suggeriscono che i professionatori dovrebbero gestire attivamente le credenze dei valutatori per allinearle alle capacità reali dell'agente.

Il documento propone due pratiche specifiche:

1. Informare i Valutatori: Comunicare direttamente i limiti noti dell'agente (ad esempio, vincoli di dati, limiti fisici) ai valutatori prima della raccolta dei dati.
2. Priming Intermittente: Utilizzare cicli di raccolta delle preferenze online in cui i valutatori sono esposti alla politica attuale dell'agente (tramite dimostrazioni) per aggiornare continuamente le loro credenze.

Gli autori sottolineano che questo calibramento deve essere "veritiero" (rappresentativo del reale comportamento on-policy) per evitare manipolazioni. Concludono che, sebbene i loro limiti teorici siano derivati in contesti tabulari e il loro studio umano sia una prova di concetto, i risultati puntano verso un necessario cambiamento nelle migliori pratiche dell'RLHF: trattare le credenze umane come una variabile che deve essere allineata con la realtà dell'agente per garantire un allineamento sicuro ed efficace.