Sampling-Based Safe Reinforcement Learning

Problema
L'esplorazione sicura rimane una barriera fondamentale per il dispiegamento di agenti di Reinforcement Learning (RL) nel mondo reale. Gli algoritmi RL standard richiedono spesso un'interazione estesa con l'ambiente, il che è poco pratico o costoso nei sistemi fisici. Ancora più critico, garantire la sicurezza durante il processo di addestramento è una sfida a causa dell'incertezza epistemica riguardo alle dinamiche del sistema; ogni interazione è intrinsecamente esplorativa e comporta il rischio di fallimenti catastrofici. Sebbene i Processi Decisionali di Markov Vincolati (CMDP) forniscano un quadro per la sicurezza, gli approcci basati su modelli esistenti spesso si affidano all'ottimizzazione nel caso peggiore su dinamiche incerte, che è generalmente intrattabile. Inoltre, i metodi che approssimano ciò tramite un irrigidimento euristico dei vincoli introducono spesso un eccessivo conservatorismo, mentre quelli che utilizzano bonus di esplorazione richiedono una regolazione attenta e possono portare a un'esplorazione eccessiva o a uno sfruttamento prematuro.

Metodologia
Gli autori propongono Safe Reinforcement Learning basato su Campionamento (SBSRL), un algoritmo basato su modelli progettato per un'esplorazione sicura ed efficiente in termini di campioni negli spazi continui di stato-azione. La metodologia centrale coinvolge tre componenti chiave:

1. Applicazione dei Vincoli basata su Campionamento: Invece di risolvere un problema di ottimizzazione nel caso peggiore intrattabile su un insieme di modelli di dinamiche plausibili, SBSRL mantiene un insieme finito di $M$ campioni di dinamiche estratti da un modello appreso consapevole dell'incertezza (specificamente Processi Gaussiani nell'analisi teorica). La sicurezza è garantita soddisfacendo congiuntamente i vincoli su tutti i $M$ modelli di dinamiche campionati. Ciò approssima il problema di ottimizzazione robusta, assicurando che se i vincoli valgono per i campioni, valgono per le vere dinamiche del sistema con alta probabilità.
2. Esplorazione tramite Vincoli di Incertezza Epistemica: Invece di aggiungere bonus di esplorazione espliciti alla funzione di ricompensa, SBSRL formula l'esplorazione come un vincolo. All'agente è richiesto di raccogliere informazioni sufficienti (misurate dall'incertezza epistemica accumulata) lungo le sue traiettorie. Questo vincolo è attivo solo quando la politica greedy non è sufficientemente informativa, permettendo all'agente di rimanere greedy quando i requisiti di sicurezza e informazione sono soddisfatti.
3. Troncamento e Irrigidimento: Per gestire il divario tra i campioni precedenti e le vere dinamiche, l'algoritmo tronca i campioni in modo che ricadano all'interno dell'intersezione dei precedenti insiemi di confidenza dei Processi Gaussiani. Inoltre, i vincoli sono irrigiditi di una costante $\Delta_\zeta$ dipendente dalla vicinanza dei campioni alle vere dinamiche, garantendo le garanzie di sicurezza.

L'algoritmo itera attraverso episodi, aggiornando il modello di dinamiche con i dati raccolti, troncando i campioni e risolvendo per una politica che massimizza la ricompensa soggetta a vincoli di sicurezza su tutti i campioni e al vincolo di esplorazione.

Contributi Chiave

• Proposta dell'Algoritmo: L'introduzione di SBSRL, un nuovo algoritmo RL basato su modelli che impone la sicurezza tramite un insieme finito di campioni di dinamiche e promuove l'esplorazione attraverso un vincolo sull'incertezza epistemica, eliminando la necessità di bonus di esplorazione espliciti.
• Garanzie Teoriche: Sotto condizioni di regolarità (incluso rumore gaussiano e norme RKHS limitate per le dinamiche), gli autori derivano garanzie ad alta probabilità che SBSRL soddisfi i vincoli di sicurezza durante tutto il processo di apprendimento. Forniscono inoltre un limite di complessità dei campioni a tempo finito, dimostrando che l'algoritmo termina e recupera una politica quasi ottimale.
• Validazione Empirica: Il documento valida SBSRL sia in simulazione che su hardware robotico reale.
  • In simulazione (utilizzando dinamiche a Processo Gaussiano), SBSRL achieve un'esplorazione sicura ed efficiente su compiti come il sollevamento del Pendolo e del Cartpole, superando le linee di base come ActSafe e gli approcci basati su dinamiche medie.
  • Viene introdotta e valutata una variante scalabile basata su ensemble neurale su problemi di controllo continuo ad alta dimensionalità (SafetyGym, RWRL) e su hardware reale (un'auto radiocomandata). Questa variante estende con successo i principi di SBSRL a contesti pratici di deep learning.

Risultati
I risultati empirici dimostrano che SBSRL mantiene la sicurezza durante tutto l'addestramento raggiungendo prestazioni quasi ottimali.

• Simulazione: Sui compiti della Deepmind Control Suite, SBSRL evita le violazioni di sicurezza osservate nelle linee di base basate su dinamiche medie e converge più velocemente rispetto a strategie di esplorazione pura come ActSafe.
• Hardware: Negli esperimenti reali con un'auto radiocomandata ad alta frequenza (60 Hz), SBSRL ha migliorato con successo le ricompense rispetto a una politica precedente mantenendo la sicurezza, mentre una linea di base che imponeva vincoli solo sul critico medio ha sostenuto costi più elevati (energia cinetica persa negli urti).
• Scalabilità: La variante ensemble profonda di SBSRL ha gestito con successo spazi di stato ad alta dimensionalità (45 dimensioni) e dinamiche complesse dove i metodi a Processo Gaussiano sarebbero stati computazionalmente proibitivi.

Significato
Il documento afferma di colmare il divario tra garanzie di sicurezza teoriche e dispiegamento pratico in domini continui. Approssimando l'ottimizzazione intrattabile nel caso peggiore con un approccio basato su campionamento trattabile, SBSRL fornisce garanzie di sicurezza rigorose senza il conservatorismo eccessivo dei metodi precedenti. La formulazione dell'esplorazione come vincolo piuttosto che come bonus di ricompensa offre una strategia più robusta che bilancia naturalmente la raccolta di informazioni e la massimizzazione della ricompensa. Il trasferimento riuscito di questi principi dai modelli teorici a Processo Gaussiano agli ensemble neurali profondi e all'hardware reale suggerisce che l'esplorazione sicura basata su campionamento è un percorso praticabile per il dispiegamento di agenti RL in sistemi fisici critici per la sicurezza. Gli autori notano che, sebbene il lavoro attuale si concentri su impostazioni episodiche a orizzonte finito, il quadro offre una base per future estensioni a impostazioni non episodiche e vincoli di sicurezza per stato.