Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

Sintesi Tecnica: Apprendimento di Comportamenti Sicuri tramite Preferenze Umane Giustificate e Query Ipotetiche

Definizione del Problema
L'apprendimento per rinforzo (RL) tradizionale si basa sull'esplorazione tramite tentativi ed errori, che è spesso impraticabile in domini reali critici per la sicurezza (ad es., robotica, guida autonoma) dove un'unica azione non sicura può causare fallimenti catastrofici. Sebbene la Safe RL cerchi di affrontare questo problema incorporando dei vincoli, essa si scontra con il problema dell' "esplorazione sicura": gli agenti non possono esplorare ingenuamente per apprendere senza rischiare danni. Inoltre, la RL tradizionale soffre spesso di inefficienza campionaria e del "problema della specificazione della ricompensa", in cui le funzioni di ricompensa progettate non riescono ad allinearsi con l'intento umano.

Gli approcci human-in-the-loop offrono una soluzione sfruttando il feedback umano per guidare l'apprendimento. Tuttavia, i metodi esistenti che si affidano esclusivamente alle preferenze umane (ad es., scegliere tra due azioni) spesso comportano un elevato carico per l'uomo e possono comunque non mappare efficientemente le regioni non sicure dello spazio degli stati. La sfida centrale affrontata in questo lavoro è come apprendere una policy sicura con un numero minimo di eventi non sicuri (morti durante l'addestramento) minimizzando al contempo il tempo e il carico cognitivo imposto al formatore umano.

Metodologia: JPAL-HA
Gli autori propongono JPAL-HA (Justified Human Preferences for Active Learning with Hypothetical Actions), un modello che si basa sull'approccio "Parenting" [11]. In questo paradigma, un agente non addestrato (figlio) interroga un formatore umano (genitore) per ricevere guida prima di intraprendere delle azioni. JPAL-HA introduce due meccanismi innovativi per migliorare la sicurezza e l'efficienza:

1. Preferenze Giustificate:
   Invece di chiedere semplicemente all'umano di preferire un'azione rispetto a un'altra ($P$), l'agente richiede anche una giustificazione binaria ($J_P$). L'umano indica se la preferenza è accompagnata da un "avviso" (un'azione è non sicura/catastrofica) o "nessun avviso" (entrambe le azioni sono sicure).

   • Meccanismo: Questo segnale binario permette all'agente di mappare la preferenza e la giustificazione su un'etichetta di preferenza raffinata ($\mu \in \{0, 0.25, 0.5, 0.75, 1\}$). Un segnale di "avviso" aumenta significativamente la pressione di apprendimento sulla policy model per evitare l'azione catastrofica, anche se l'entità della preferenza è piccola.
   • Beneficio: Ciò fornisce segnali di sicurezza espliciti che aiutano l'agente a distinguere tra azioni "sicure ma subottimali" e azioni "catastrofiche" in modo più efficace rispetto alla sola preferenza.

2. Azioni Ipotetiche (HAs):
   Quando una giustificazione indica un "avviso" (ovvero, almeno un'azione campionata è catastrofica), l'agente attiva un ciclo di Azioni Ipotetiche.

   • Meccanismo: Invece di fermarsi o ricampionare immediatamente, l'agente genera un insieme di azioni ipotetiche ($a_{new}$) che avrebbero potuto essere intraprese dallo stato corrente. Interroga l'umano per una singola giustificazione ($J_{anew}$: sicura o avviso) per queste azioni ipotetiche.
   • Inferenza: In base allo stato di sicurezza della nuova azione ipotetica, l'agente può inferire automaticamente la sicurezza relativa delle combinazioni tra la nuova azione e le azioni precedentemente identificate come sicure o catastrofiche, aggiungendole al dataset di addestramento senza ulteriori query di preferenza umana.
   • Pattern Letali: L'agente identifica e memorizza anche i "pattern letali" (combinazioni di mosse che portano alla catastrofe) per evitarli in futuri stati senza dover interrogare nuovamente l'umano.
   • Beneficio: Ciò consente all'agente di mappare rapidamente le regioni non sicure dello spazio degli stati con un singolo burst di query, riducendo la necessità di ripetute interruzioni allo stesso stato.

Il processo di apprendimento utilizza l'apprendimento supervisionato (minimizzando la perdita di cross-entropy basata sul modello di Bradley-Terry) su un dataset di preferenze e giustificazioni umane. L'algoritmo impiega anche "Query Post-Fatto" (ATFQs) per esplorare potenzialmente buone azioni che non erano state inizialmente campionate, agendo come un meccanismo di esplorazione sicura.

Contributi Chiave

1. Nuovi Paradigmi di Apprendimento: L'introduzione di Giustificazioni (avvisi di sicurezza binari insieme alle preferenze) e Azioni Ipotetiche (query proattive di azioni non provate in caso di rilevamento di pericolo) come concetti generalizzabili per l'apprendimento sicuro dalle preferenze umane.
2. Algoritmo JPAL-HA: Un algoritmo unificato che integra queste caratteristiche, dimostrando che migliora significativamente la sicurezza durante l'addestramento rispetto ai metodi di preferenza esistenti (Parenting, JPAL) e raggiunge una migliore efficienza campionaria rispetto ad altri algoritmi di human-in-the-loop sicuri.
3. Compromesso Sicurezza-Carico Umano: Il documento fornisce un iperparametro regolabile ($p_{BTFQ}$) che consente agli utenti di bilanciare la sicurezza (numero di query) rispetto al carico umano. Dimostra che JPAL-HA può raggiungere quasi zero morti durante l'addestramento mantenendo tempi di addestramento ragionevoli.
4. Validazione nel Mondo Reale: Il metodo è stato valutato non solo in simulazione (ambiente Island Navigation) ma anche con un gruppo diversificato di partecipanti umani che addestravano un robot mobile fisico Thymio.

Risultati

• Esperimenti di Simulazione:

  • Sicurezza: JPAL-HA ha ridotto significativamente i morti durante l'addestramento rispetto a Q-learning (che ha subito circa 16,5 morti in media) e al metodo baseline Parenting. In contesti conservativi, JPAL-HA ha raggiunto una media di 0,02 morti per prova, con il 98% delle prove con zero morti.
  • Efficienza: JPAL-HA ha trovato la policy ottimale in meno episodi (media 3) rispetto a Q-learning (22,9).
  • Carico Umano: Sebbene l'aggiunta di giustificazioni abbia inizialmente aumentato il numero di query rispetto a Parenting, l'aggiunta di Azioni Ipotetiche in JPAL-HA ha ridotto il numero totale di query di preferenza e i passaggi complessivi, compensando efficacementamente l'ulteriore carico cognitivo delle giustificazioni.
  • Significatività Statistica: Test non parametrici hanno confermato differenze significative in termini di sicurezza ed efficienza tra JPAL-HA e i metodi baseline.

• Esperimenti con Robot nel Mondo Reale:

  • Tempo di Addestramento: Un gruppo diversificato di 40 partecipanti (inclusi soggetti con background non informatico) ha addestrato con successo il robot. Con la pratica iniziale, i tempi di addestramento per JPAL e JPAL-HA sono stati leggermente più lunghi di Parenting (30% in più) ma sono convergono a livelli simili (4 minuti) dopo che i partecipanti si sono adattati all'interfaccia.
  • Fattibilità: Lo studio ha dimostrato che un gruppo diversificato di persone poteva completare l'addestramento in pochi minuti, e che il meccanismo delle azioni ipotetiche non ha aumentato significativamente il tempo totale di addestramento rispetto ai metodi più semplici, mantenendolo entro livelli ammissibili.

Significatività e Rivendicazioni
Il documento sostiene che JPAL-HA offre una soluzione pratica per l'apprendimento sicuro in ambienti critici per la sicurezza dove la RL tradizionale fallisce a causa del rischio di esplorazione catastrofica. Aumentando le preferenze umane con semplici giustificazioni binarie e utilizzando query ipotetiche per mappare proattivamente il pericolo, il metodo raggiunge un compromesso superiore tra sicurezza e sforzo umano.

Gli autori notano con modestia che, sebbene il metodo sia progettato per spazi di azione discreti, le idee centrali potrebbero essere estese. Riconoscono inoltre che in domini altamente complessi (ad es, volo di elicotteri), il ricorso a formatori umani presuppone la disponibilità di conoscenze esperte e che in domini continui in tempo reale (ad es, guida autonoma), potrebbero essere necessari meccanismi di sicurezza di fallback complementari insieme a questo metodo. Il contributo primario è la dimostrazione che le preferenze giustificate e le query ipotetiche permettono agli agenti di apprendere comportamenti sicuri in modo significativamente più veloce e sicuro rispetto agli approcci human-in-the-loop esistenti, senza imporre costi di tempo proibitivi ai formatori umani.