Riassunto Tecnico: Filtri di Sicurezza Predittivi Consapevoli dell'Incertezza per la Dinamica di Reti Neurali Probabilistiche

Definizione del Problema

L'Apprendimento per Rinforzo Profondo (Deep RL) affronta sfide significative riguardanti la sicurezza dell'esplorazione. Sebbene i Filtri di Sicurezza Predittivi (PSF) offrano garanzie di sicurezza rigorose sfruttando i concetti di Model Predictive Control (MPC), la loro applicabilità pratica è spesso limitata dalla dipendenza da modelli basati su primi principi o Processi Gaussiani (GP). Queste classi di modelli tradizionali richiedono o sostanziali conoscenze pregresse del dominio o non riescono a scalare efficacemente con grandi dataset e sistemi ad alta dimensionalità. Al contrario, i moderni metodi di Model-Based Reinforcement Learning (MBRL) utilizzano Reti Neurali di Ensemble Probabilistico (PE) per apprendere dinamiche complesse e ad alta dimensionalità dai dati con una conoscenza minima del dominio. Tuttavia, i tentativi esistenti di integrare i modelli PE nei PSF mancano di una rigorosa quantificazione dell'incertezza, portando a controlli di sicurezza euristici che sono soggetti allo sfruttamento del modello sotto alta incertezza epistemica.

Metodologia

Gli autori propongono l'Uncertainty-Aware Predictive Safety Filter (UPSi), un framework che colma il divario tra la scalabilità dei modelli PE-based MBRL e le rigorose garanzie di sicurezza dell'MPC. UPSi opera all'interno di un'architettura MBRL di tipo Dyna (ad esempio, MBPO) e formula gli esiti futuri come insiemi raggiungibili per imporre il soddisfacimento dei vincoli.

Componenti Core

1. Dinamica di Ensemble Probabilistico: UPSi utilizza un modello PE composto da $E$ reti neurali per approssimare la dinamica del sistema. Il modello separa l'incertezza aleatoria (rumore di processo irreducibile) dall'incertezza epistemica (mancanza di dati) tramite il disaccordo dell'ensemble.
2. Insieme di Certezza ($C_j$): Per prevenire lo sfruttamento del modello, UPSi definisce un "insieme di certezza" $C_j \subseteq S \times A$. All'interno di questo insieme, l'incertezza predittiva del modello è sufficientemente bassa. L'insieme è determinato utilizzando una metrica del guadagno di Kalman derivata dai principi della fusione sensoriale, garantendo che le predizioni siano affidabili solo dove il modello ha un supporto di dati sufficiente.
3. Costruzione dell'Insieme Raggiungibile:
   • Il metodo sovraapprossima gli Insiemi Raggiungibili Robusti (RRS) utilizzando tubi ellissoidali propagati lungo una traiettoria nominale.
   • La matrice della forma del tubo $P_{n|t}$ viene aggiornata propagando la varianza aleatoria e tenendo conto degli errori di linearizzazione.
   • Fondamentalmente, gli autori derivano un limite superiore rigoroso sull'errore di linearizzazione ($e_{max}$) causato dall'approssimazione delle dinamiche non lineari con espansioni di Taylor del primo ordine. Questo errore viene esplicitamente aggiunto alla propagazione della matrice di forma per garantire che l'insieme raggiungibile sia una sovraapprossimazione valida del comportamento reale del sistema.
4. Formulazione del Filtro di Sicurezza: Il filtro di sicurezza risolve un problema di ottimizzazione vincolata ad ogni passo temporale. Cerca una sequenza di azioni che minimizzi la deviazione dall'azione proposta dall'agente di RL pur soddisfacendo:
   • Vincoli di stato e di input ($S, A$).
   • Vincoli dell'insieme terminale ($T_j$).
   • Vincoli di Certezza: Tutte le coppie stato-azione previste lungo la traiettoria devono rimanere all'interno dell'insieme di certezza $C_j$. Ciò è imposto stringendo i vincoli in base alla continuità di Lipschitz della misura dell'incertezza.
5. Espansione dell'Insieme Terminale: Per ridurre il conservatorismo, l'insieme terminale $T_j$ viene espanso iterativamente utilizzando un approccio basato sui dati. Traiettorie ammissibili da episodi precedenti vengono utilizzate per approssimare un insieme controllabile più ampio, permettendo all'agente di esplorare ulteriormente mantenendo la sicurezza.

Contributi Chiave

Il documento presenta tre contributi primari:

1. Insiemi Raggiungibili Rigorosi da Modelli PE: Gli autori derivano un metodo per calcolare insiemi raggiungibili provabilmente sovraapprossimanti da modelli neurali probabilistici. Ciò comporta la separazione dell'incertezza aleatoria e quella epistemica e la definizione esplicita dei limiti degli errori di linearizzazione per garantire che i set calcolati contengano tutte le possibili traiettorie del sistema.
2. Vincolo di Certezza Esplicito: Un vincolo innovativo viene introdotto nella formulazione del PSF per impedire all'agente di sfruttare le imprecisioni del modello. Limitando l'orizzonte di pianificazione all'interno dell' "insieme di certezza", il filtro garantisce la sicurezza anche quando il modello è incerto.
3. Validazione Empirica e Integrazione Pratica: Gli autori validano la sovraapprossimazione teorica e integrano una versione semplificata di UPSi nel framework MBPO. Dimostrano che questo approccio migliora significativamente la sicurezza dell'esplorazione rispetto ai precedenti PSF basati su reti neurali (specificamente XMPSC), mantenendo al contempo prestazioni comparabili allo standard MBPO.

Risultati Sperimentali

La valutazione è stata condotta su tre benchmark standard di Safe RL: Pendulum, Cartpole e Drone.

• Verifica dell'Insieme Raggiungibile: Nell'ambiente Cartpole, la costruzione del tubo ellissoidale proposta è stata mostrata come capace di sovraapprossimare costantemente gli insiemi raggiungibili reali (verificati tramite 100.000 traiettorie simulate), confermando i limiti teorici.
• Performance di Sicurezza: Quando integrato in MBPO, UPSi ha dimostrato una riduzione sostanziale delle violazioni dei vincoli rispetto a XMPSC (un precedente filtro di sicurezza PE-based). Ad esempio, nell'ambiente Cartpole, il tasso di inammissibilità è sceso dal 7,15% (XMPSC) allo 0,75% (UPSi).
• Performance: Nonostante l'aggiunta dei vincoli di sicurezza, UPSi ha ottenuto rendimenti di controllo (control returns) paragonabili a quelli di standard MBPO e delle baseline SAC.
• Comportamento del Filtro: UPSi è intervenuto più frequentemente di XMPSC ma ha trovato soluzioni ammissibili più spesso, indicando un miglior equilibrio tra l'applicazione della sicurezza e la capacità di esplorazione.

Significato e Rivendicazioni

Il documento sostiene di aver colmato con successo il divario tra la scalabilità dei moderni metodi MBRL e le rigorose garanzie di sicurezza dei filtri di sicurezza predittivi. Abilitando l'uso di modelli PE flessibili e basati sui dati all'interno di un rigoroso framework MPC, UPSi estende l'applicabilità dei filtri di sicurezza a una classe più ampia di sistemi non lineari ad alta dimensionalità, che erano precedentemente difficili da modellare tramite primi principi o GP.

Gli autori riconoscono i limiti, notando che l'implementazione pratica si basa su semplificazioni (ad esempio, propagazione semplificata del tubo, assenza di un controllore ausiliario negli esperimenti) che interrompono le garanzie formali, e che la fattibilità in tempo reale per sistemi ad alta dimensionalità (come il Drone) rimane una sfida. Tuttavia, il lavoro stabilisce un approccio fondamentale per la sicurezza consapevole dell'incertezza nel controllo basato sull'apprendimento, suggerendo che futuri miglioramenti nella fattibilità in tempo reale potrebbero consentire il deployment su hardware più complessi.