Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

1. Enunciato del Problema

L'Apprendimento per Rinforzo (RL) affronta una sfida critica: l'esplorazione sicura durante l'addestramento. L'apprendimento diretto su hardware fisico è spesso impraticabile a causa del rischio di guasti catastrofici. Gli approcci esistenti rientrano generalmente in due categorie con limitazioni significative:

• Vincoli Morbidi (es. MDP Vincolati): Questi garantiscono la sicurezza solo in media, offrendo nessuna garanzia rigida contro singoli guasti.
• Filtri di Sicurezza dalla Teoria del Controllo: Metodi come le Funzioni di Barriera di Controllo (CBF) o la raggiungibilità di Hamilton-Jacobi forniscono garanzie di sicurezza rigide ma richiedono estese conoscenze del dominio (es. dinamiche note, insiemi invarianti) e faticano a scalare verso sistemi ad alta dimensionalità.
• Filtri Basati sull'Apprendimento: I recenti tentativi di apprendere filtri di sicurezza tramite RL spesso si affidano a simulatori o non riescono a scalare efficacemente verso ambienti complessi e ad alta dimensionalità con dinamiche sconosciute.

Il problema centrale è sviluppare un metodo scalabile e guidato dai dati che apprenda simultaneamente un filtro di sicurezza e una politica di controllo, richiedendo conoscenze minime del dominio (solo una definizione di "guasto" e dati iniziali), garantendo al contempo la sicurezza durante il processo di addestramento.

2. Metodologia: Dyna-SAuR

Gli autori propongono Dyna-SAuR (Dyna-style Safety Augmented Reinforcement Learning), un framework di RL basato su modello (MBRL) che apprende iterativamente una politica di controllo e un filtro di sicurezza utilizzando un modello di dinamiche consapevole dell'incertezza.

Architettura Principale

L'algoritmo opera in un ciclo iterativo (Algoritmo 1) costituito da tre fasi principali:

1. Apprendimento del Modello: Un modello di dinamiche probabilistico a ensemble ($\hat{p}$) viene addestrato sui dati raccolti. Questo modello cattura l'incertezza epistemica (incertezza dovuta alla mancanza di dati) utilizzando il disaccordo dell'ensemble.
2. Apprendimento del Filtro di Sicurezza: Una politica filtro ($\mu$) viene addestrata esclusivamente sul modello appreso. Il filtro proietta le azioni della politica di controllo in un insieme "viable" per evitare guasti e regioni di alta incertezza del modello.
3. Apprendimento della Politica di Controllo: La politica di controllo ($\pi$) viene addestrata utilizzando sia interazioni con l'ambiente reale che rollout basati sul modello, filtrate attraverso l'attuale filtro di sicurezza $\mu$. Vengono raccolti nuovi dati per raffinare il modello di dinamiche, espandendo la regione sicura "certa" per la prossima iterazione.

Innovazioni Tecniche Chiave

A. Vitalità nei Modelli Consapevoli dell'Incetrezza
Il paper estende il concetto di Teoria della Vitalità al MBRL. Invece di evitare semplicemente gli stati di guasto ($S_F$), il sistema deve evitare gli stati in cui il modello è incerto.

• Insieme Sicuro Certo ($SS(E)$): L'insieme delle coppie stato-azione in cui lo stato è sicuro e l'entropia predittiva del modello è al di sotto di una soglia ($\lambda_1$).
• Nucleo di Vitalità Certo ($S_V(E)$): L'insieme degli stati da cui esiste una politica che mantiene il sistema all'interno di $SS(E)$ per un orizzonte finito con alta probabilità.
• Il filtro viene addestrato per proiettare le azioni nell'insieme delle politiche che rimangono all'interno di questo nucleo.

B. Formulazione Efficiente dello Spazio delle Azioni del Filtro
Un contributo maggiore è la riparametrizzazione del filtro di sicurezza. I metodi precedenti apprendevano direttamente i parametri dell'iperpiano ($w, b$), portando a uno spazio di ricerca illimitato e sovraparametrizzato.

• Spazio delle Azioni a Iperpalla Unitaria ($U$): La politica filtro $\mu$ restituisce un vettore $u$ in un'iperpalla unitaria ($0 < \|u\|_2 \leq 1$).
• Trasformazione Biiettiva ($h$): Una funzione deterministica mappa $u$ nei parametri dell'iperpiano $(w, b)$:
  • $w = u / \|u\|_2$ (Direzione del vettore normale)
  • $b = (2\|u\|_2 - 1)\|w\|_1$ (Offset)
• Significato: Questo garantisce che l'iperpiano intersechi sempre lo spazio delle azioni limitato $A = [-1, 1]^{n_A}$. La norma $\|u\|_2$ agisce come una manopola di "restrittività": valori vicini a 0 sono permissivi, mentre valori vicini a 1 sono restrittivi. Questo crea uno spazio di ricerca compatto e limitato per l'agente RL.

C. Modellazione della Ricompensa e Distribuzione dei Dati
Per addestrare efficacemente il filtro senza guasti nel mondo reale:

• Funzione di Ricompensa: Il filtro riceve una ricompensa di $+1$ se lo stato successivo rimane in $SS(E)$, e una grande penalità negativa ($-1/(1-\gamma)$) se ne esce, codificando efficacemente il "tempo al guasto".
• Obiettivo: Massimizzare il tempo atteso al guasto minimizzando la norma dell'azione del filtro ($\|u\|_2$) per evitare comportamenti eccessivamente conservativi.
• Modellazione dei Dati: La distribuzione degli stati iniziali per l'addestramento del filtro è una miscela di:
  1. Dati iniziali dell'ambiente.
  2. Stati vicini alle regioni di guasto (per apprendere come recuperare/evitare).
  3. Stati con alti ritorni di controllo (per garantire che il filtro non blocchi le prestazioni ottimali).

3. Contributi Chiave

1. Nuovo Algoritmo: Dyna-SAuR è il primo approccio scalabile per apprendere filtri di sicurezza basati sulla vitalità per sistemi diversi e ad alta dimensionalità utilizzando conoscenze minime del dominio (solo un insieme di guasti e dati iniziali).
2. Formulazione RL Compatta: Formula l'apprendimento del filtro di sicurezza come un problema RL standard con una nuova parametrizzazione biiettiva dello spazio delle azioni che risolve i problemi di scalabilità dei precedenti metodi di apprendimento dell'iperpiano.
3. Vitalità Consapevole dell'Incetrezza: Integra l'incertezza del modello direttamente nel nucleo di vitalità, permettendo al sistema di esplorare in sicurezza ed espandere la sua conoscenza dell'ambiente.
4. Miglioramento Iterativo: Il framework crea un ciclo di feedback positivo in cui modelli migliori riducono l'incertezza, permettendo al filtro di sicurezza di diventare meno conservativo e abilitando politiche di controllo migliori.

4. Risultati Sperimentali

Il metodo è stato valutato su due compiti:

• Goal-reaching CartPole: Un compito a bassa dimensionalità con vincoli di posizione e angolo.
• MuJoCo Walker: Un compito di camminata bipede ad alta dimensionalità (17 stati, 6 azioni) con vincoli sul busto.

Metriche di Prestazione:

• Sicurezza: Dyna-SAuR ha ridotto i guasti durante l'addestramento di 2 ordini di grandezza (100x) rispetto ai metodi RL sicuri all'avanguardia (PPO-Lagrangian, DH-RL).
• Prestazioni di Controllo: Ha eguagliato o superato le prestazioni di controllo (ritorno) dei metodi RL sicuri esistenti.
• Scalabilità: Il metodo è riuscito a scalare con successo all'ambiente Walker ad alta dimensionalità, mentre altri metodi di apprendimento del filtro hanno faticato.
• Studi di Ablazione: La rimozione della nuova formulazione dello spazio delle azioni o delle euristiche di modellazione dei dati ha portato a un degrado significativo delle prestazioni o al fallimento nell'apprendere un filtro valido, validando le scelte progettuali.

5. Significato

Dyna-SAuR rappresenta un passo significativo verso un RL pratico e sicuro per la robotica reale.

• Colmare il Divario: Colma il divario tra la rigorosa teoria del controllo (vitalità) e l'apprendimento guidato dai dati, eliminando la necessità di modelli creati a mano o di vaste competenze di dominio.
• Applicabilità all'Hardware: Riducendo i guasti durante l'addestramento di ordini di grandezza, rende molto più fattibile la prospettiva di addestrare agenti RL direttamente su hardware fisico (o con un trasferimento simulazione-reale minimo).
• Scalabilità: La parametrizzazione proposta dello spazio delle azioni e l'approccio consapevole dell'incertezza forniscono una guida per scalare il RL sicuro verso sistemi complessi e ad alta dimensionalità dove i metodi tradizionali falliscono.

In sintesi, Dyna-SAuR offre un framework robusto e guidato dai dati che impara a "rimanere sicuro" imparando cosa non sa (incertezza) e cosa non può fare (guasto), espandendo dinamicamente il perimetro operativo sicuro mentre apprende.