Riepilogo Tecnico: SOOPER - Esplorazione Sicura tramite Prior di Policy

Definizione del Probleamento

Gli agenti di apprendimento per rinforzo (RL) richiedono la capacità di apprendere e adattarsi online in ambienti fisici, ma affrontano una sfida critica: l'esplorazione sicura. Gli agenti devono scoprire comportamenti ottimali senza compiere azioni che portino a esiti catastrofici, anche quando mancano di una conoscenza completa del proprio ambiente. Mentre i metodi teorici spesso forniscono garanzie di sicurezza, essi faticano a scalare su compiti complessi e ad alta dimensionalità. Al contrario, gli approcci di deep RL scalabili spesso falliscono nel garantire la sicurezza durante il processo di apprendimento.

Un limite chiave negli approcci esistenti è il modo in cui incorporano la conoscenza a priori. La maggior parte dei metodi utilizza i prior principalmente per mantenere la sicurezza (ad esempio, tramite policy di backup), ma non riesce a sfruttare questi prior per guidare attivamente l'esplorazione verso regioni promettenti dello spazio degli stati. Questo articolo affronta la necessità di un algoritmo che possa utilizzare policy subottimali ma conservative (derivate da dati offline o simulatori) come prior per garantire la sicurezza e, contemporaneamente, abilitare un apprendimento efficiente e quasi ottimale.

Metodologia: SOOPER

Gli autori propongono SOOPER (Safe Online Optimism for Pessimistic Expansion in RL), un algoritmo di RL basato su modello progettato per Processi Decisionali di Markov Vincolati (CMDP) in spazi stato-azione continui. La filosofia centrale è l'utilizzo di prior di policy pessimistiche per garantire la sicurezza e di un pianificazione ottimistica per guidare l'esplorazione.

1. Meccanismi Core

• Prior di Policy Pessimistiche: SOOPER assume l'accesso a una policy prior conservativa $\hat{\pi}$ (ad esempio, addestrata su dati offline o un simulatore con shift di distribuzione). Questo prior è garantito per soddisfare i vincoli di sicurezza sotto un insieme di modelli di dinamica plausibili $\mathcal{F}_0$.
• Monitoraggio dei Costi Online (Garanzia di Sicurezza): Durante i rollout nel mondo reale, SOOPER monitora il costo accumulato. Impiega un meccanismo di commutazione:
  • Se la policy corrente $\pi_n$ appare sicura sulla base di una funzione di valore del costo pessimistica $Q^{\hat{\pi}}_{c,n}$ (che include una penalità di incertezza), l'agente esegue $\pi_n$.
  • Se il costo previsto supera il budget di sicurezza $d$, l'agente passa immediatamente alla prior sicura $\hat{\pi}$.
  • Ciò assicura che l'agente non violi mai i vincoli con alta probabilità, anche quando il modello di dinamica appreso è impreciso.
• Esplorazione Simulata (Ottimismo): Per apprendere la dinamica dell'ambiente senza rischiare la sicurezza, SOOPER costruisce un "MDP di pianificazione" ($\tilde{M}$) basato sul modello del mondo appreso.
  • Terminazione: In questo ambiente simulato, le traiettorie che farebbero scattare la prior sicura $\hat{\pi}$ nel mondo reale vengono terminate.
  • Ricompensa Terminale: Al momento della terminazione, l'agente riceve un valore di ricompensa pessimistico $V^{\hat{\pi}}_r$ (il valore peggiore della policy prior). Questo incentiva l'agente a trovare traiettorie che superino la prior senza attivare il commutatore di sicurezza.
  • Ricompense Intrinseche: La funzione obiettivo include ricompense intrinseche basate sull'incertezza del modello ($\|\sigma_n\|$) per incoraggiare sia l'esplorazione (raccolta di dati per ridurre l'incertezza) sia l'espansione (ampliare proattivamente l'insieme delle policy sicure note).
• Framework Teorico:
  • Analisi del Regret: A differenza dei lavori precedenti che garantiscono solo l'ottimalità alla fine dell'addestramento (regret semplice), SOOPER stabilisce un limite sul regret cumulativo. Ciò garantisce che le prestazioni dell'agente rimangano elevate durante tutto il processo di apprendimento, non solo alla convergenza.
  • Convergenza: L'algoritmo è dimostrato convergere verso una policy ottimale raffinando iterativamente il modello di dinamica ed espandendo l'insieme implicito di policy sicure. Il regret cumulativo è mostrato crescere in modo sub-lineare rispetto al numero di episodi $N$.

Contributi Chiave

1. Proposta di Algoritmo: Introduzione di SOOPER, un algoritmo di RL basato su modello scalabile che sfrutta policy addestrate offline o tramite simulazione come prior sicuri per compiti di controllo continuo.
2. Garanzie Teoriche:
   • Sicurezza: Dimostrazione che SOOPER soddisfa i vincoli di sicurezza con alta probabilità durante tutti gli episodi di apprendimento.
   • Limite del Regret: Stabilimento di un nuovo limite superiore sul regret cumulativo, garantendo buone prestazioni durante l'apprendimento piuttosto che solo alla fine dell'iterazione.
   • Espansione: Dimostrazione che l'algoritmo espande implicitamente l'insieme delle policy sicure fino a convergere verso l'insieme ammissibile definito dal vero CMDP.
3. Validazione Empirica: Esperimenti estesi su benchmark standard di safe RL (RWRL, SafetyGym) e hardware reale (un'auto da corsa telecomandata).

Risultati Sperimentali

Gli autori hanno valutato SOOPER contro baseline allo stato dell'arte, tra cui SAILR, CRPO e metodi di ottimizzazione Primal-Dual.

• Sim-to-Real e Shift di Distribuzione: In compiti che coinvolgono mismatch di dinamica (ad esempio, variazioni nei parametri del cambio marcia, lunghezze del pendolo), SOOPER ha costantemente rispettato i vincoli di sicurezza superando o eguagliando le baseline in termini di ricompensa cumulativa.
• Controllo Visione: Il metodo si è scalato con successo a compiti con osservazioni basate su immagini (CartpoleSwingup), apprendendo la dinamica direttamente dagli embedding di un encoder di visione pre-addestrato.
• Offline-to-Online: Quando inizializzato con policy addestrate su grandi dataset offline, SOOPER ha migliorato significativamente le prestazioni mantenendo la sicurezza.
• Hardware Reale: Negli esperimenti con un'auto da corsa telecomandata ad alta frequenza (60 Hz), SOOPER ha imparato a navigare attorno agli ostacoli e a raggiungere gli obiettivi. Ha ottenuto circa il doppio della ricompensa della policy prior iniziale, rispettando rigorosamente i vincoli di sicurezza durante tutto l'addestramento.
• Studi di Ablazione: Gli autori hanno dimostrato che:
  • Le terminazioni nell'MDP simulato sono cruciali per ridurre la dipendenza dalla prior.
  • Il metodo è robusto a diversi livelli di conservatorismo della policy prior.
  • L'approccio rimane sicuro sotto disturbi di rumore non gaussiani e non additivi.

Significato e Rivendicazioni

L'articolo sostiene che SOOPER rappresenti un passo significativo verso l'RL deployable (pronto per l'implementazione), colmando il divario tra garanzie teoriche di sicurezza e scalabilità pratica.

• Obiettivo Unificato: Riformulando il problema della sicurezza come un MDP non vincolato con strutture specifiche di terminazione e ricompensa, SOOPER evita la complessità di risolvere direttamente i CMDP, rendendolo compatibile con le standard architetture di deep RL (ad esempio, MBPO).
• Prestazioni Durante l'Apprendimento: Gli autori sottolineano che il loro limite di regret cumulativo è un miglioramento distinto rispetto ai lavori precedenti (come SAILR o ActSafe) che garantiscono solo sicurezza e ottimalità alla fine dell'addestramento, spesso a costo di prestazioni arbitrariamente scarse durante la fase di esplorazione.
• Praticità: Il metodo si è dimostrato computazionalmente efficiente, con tempi di esecuzione comparabili alle standard baseline di RL basate su modello, ed efficace in scenari reali con stochasticità e ritardi.

Gli autori concludono che, sebbene rimangano delle sfide (come la gestione di setting non episodici o vincoli ad alta probabilità su stati specifici), SOOPER fornisce un framework robusto per l'apprendimento online sicuro che traduce le garanzie teoriche in prestazioni nel mondo reale.