Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

Riepilogo Tecnico: Approssimazione del Feedback di Sicurezza Senza un Oracolo di Sicurezza tramite Controllo Predittivo di Modello

Enunciato del Problema
Il processo decisionale sicuro per robot mobili si basa spesso sull'esistenza di un "oracolo di sicurezza"—un meccanismo per verificare se le azioni proposte violano i vincoli di sicurezza. I metodi attuali, come le Funzioni di Barriera di Controllo, i Tubi di Raggiungimento Inverso e i discriminatori dell'Apprendimento per Rinforzo Sicuro (Safe RL), richiedono tipicamente conoscenze preliminari di vincoli di sicurezza espliciti o l'accesso a etichette di sicurezza di verità fondamentale durante l'addestramento. Tuttavia, in ambienti complessi (ad esempio, navigazione ad alta velocità su terreni irregolari o manipolazione robotica in celle di lavoro aperte), i vincoli di sicurezza sono spesso impliciti, difficili da modellare matematicamente o incompletamente compresi. Sebbene i simulatori possano modellare dinamiche complesse, non forniscono intrinsecamente una funzione di sicurezza. Gli approcci esistenti che tentano di apprendere proxy di sicurezza (ad esempio, tramite Processi Gaussiani o discriminatori di deep learning) richiedono spesso una verità fondamentale osservabile per l'etichettatura o formulano ipotesi forti sulla regolarità della funzione di sicurezza, limitandone l'applicabilità nel mondo reale. Inoltre, molti metodi di esplorazione reversibili rischiano ancora di compiere azioni non sicure durante il processo di apprendimento.

Metodologia: SAVMPC
Il documento propone Safety Assessment Via Model-Predictive Control (SAVMPC), un algoritmo di filtraggio progettato per approssimare il feedback di sicurezza senza accesso diretto a un oracolo di sicurezza o vincoli progettati manualmente. Il metodo opera sotto due ipotesi principali:

1. Invarianza Positiva degli Stati Non Sicuri: Lo spazio degli stati non sicuri ($X_{unsafe}$) è positivamente invariante, il che significa che una volta che un agente entra in uno stato non sicuro, non può recuperare uno stato sicuro.
2. Reversibilità come Proxy: Se un agente può transitare da uno stato corrente $x$ a uno stato futuro $x'$ e successivamente trovare una sequenza di azioni per tornare da $x'$ allo stato $x$, allora $x$ e $x'$ appartengono allo stesso insieme. Data l'invarianza positiva di $X_{unsafe}$, se esiste un percorso di ritorno a uno stato sicuro noto, anche gli stati intermedi sono sicuri.

Flusso di Lavoro Algoritmico:
SAVMPC funge da scudo durante la selezione delle azioni:

1. Proposta di Azione: La politica di controllo $\pi$ propone un'azione $u$ allo stato $x$.
2. Proiezione in Avanti: L'azione è proiettata in avanti utilizzando un simulatore (dinamiche a scatola nera $f_{dyn}$) fino a un candidato stato successivo $x'$.
3. Controllo di Reversibilità: L'algoritmo impiega il controller Model-Predictive Path Integral (MPPI) per tentare di trovare una sequenza di azioni che transiti l'agente da $x'$ allo stato originale $x$ (o a uno stato precedente nella traiettoria).
   • Ciò è formulato come un problema di fattibilità: trovare una sequenza di controlli $u_0, \dots, u_{T-1}$ tale che la traiettoria risultante raggiunga $x$ entro una tolleranza $\delta$ su un orizzonte temporale $T$.
4. Decisione:
   • Se MPPI trova un percorso di ritorno valido, l'azione $u$ è considerata sicura ed eseguita.
   • Se non viene trovato alcun percorso di ritorno entro il limite di campionamento, l'azione viene rifiutata e la politica ricampiona. Se il ricampionamento fallisce dopo $N$ tentativi, la traiettoria viene interrotta e l'ambiente viene resettato.

Questo approccio permette al sistema di verificare la sicurezza assicurando che nessuna azione porti a un "vicolo cieco" dal quale l'agente non possa tornare a una regione sicura nota.

Contributi Chiave

1. Algoritmo SAVMPC: Un algoritmo di filtraggio innovativo che abilita la selezione sicura delle azioni pianificando all'indietro verso stati sicuri noti utilizzando la reversibilità, eliminando la necessità di vincoli costruiti manualmente o etichette di sicurezza di verità fondamentale.
2. Stima Conservativa dei Vincoli: Un'estensione dell'algoritmo di pianificazione della reversibilità che calcola esplicitamente una stima conservativa dei vincoli ambientali sconosciuti.
3. Validazione Empirica: Valutazione di SAVMPC come scudo nell'addestramento dell'Apprendimento per Rinforzo (RL), dimostrando prestazioni comparabili agli scudi basati su oracolo, superando al contempo altri approcci basati sulla reversibilità (RAC, LNT) in termini di garanzie di sicurezza.

Risultati Sperimentali
Gli autori hanno valutato SAVMPC in due ambienti: Cartpole Continuo e Navigazione Bidimensionale.

• Studio di Disaccordo: In una simulazione con 300.000 traiettorie, SAVMPC è stato confrontato con un oracolo di sicurezza di verità fondamentale. I risultati hanno mostrato che SAVMPC produce zero falsi negativi (non classifica mai uno stato non sicuro come sicuro). I disaccordi si sono verificati principalmente vicino ai confini dei vincoli, dove l'algoritmo è stato più conservativo (sovra-approssimando la regione non sicura) quando si utilizzavano tolleranze di sicurezza più strette ($\delta$).
• Prestazioni nell'Addestramento RL:
  • Cartpole Continuo: SAVMPC ha ottenuto una ricompensa finale comparabile all'algoritmo PPO equipaggiato con un vero scudo Oracolo di Sicurezza e significativamente superiore rispetto alla linea di base PPO, RAC e Leave No Trace (LNT). Crucialmente, SAVMPC ha mantenuto 0,0% di violazioni dei vincoli, mentre la linea di base e altri metodi reversibili hanno subito violazioni significative (fino al 77,3%).
  • Navigazione 2D: SAVMPC ha superato lo scudo Oracolo di Sicurezza nella ricompensa finale (842,74 contro 782,23) mantenendo 0,0% di violazioni dei vincoli. Ha convergito più velocemente rispetto ad altri metodi, attribuito alla sua approssimazione conservativa che riduce efficacemente lo spazio di esplorazione.
  • Confronto: A differenza di RAC e LNT, che hanno appreso approssimazioni di sicurezza nel tempo e hanno comunque subito violazioni, SAVMPC ha imposto la sicurezza dal primo passo senza informazioni privilegiate.

Significato e Affermazioni
Il documento afferma che SAVMPC offre una soluzione pratica per il processo decisionale sicuro in ambienti in cui i vincoli di sicurezza sono complessi o sconosciuti. Sfruttando l'ipotesi di invarianza positiva e la potenza computazionale di MPPI all'interno di un simulatore, il metodo approssima le prestazioni di un oracolo di sicurezza senza richiedere etichette di verità fondamentale. Gli autori sottolineano che l'algoritmo garantisce che un agente compia zero azioni non sicure nell'ambiente sottostante, colmando efficacemente il divario tra garanzie di sicurezza teoriche e i limiti pratici della modellazione di vincoli fisici complessi. Il lavoro suggerisce che la reversibilità può servire come un proxy robusto e privo di dati per la sicurezza in scenari in cui la modellazione tradizionale dei vincoli è non fattibile.