Sintesi Tecnica: Raggiungibilità Conforme per il Controllo Sicuro in Ambienti Ignoti

1. Definizione del Problema

Il documento affronta la sfida di progettare politiche di controllo provabilmente sicure per sistemi autonomi che operano in ambienti dinamici sconosciuti. Sebbene l'Apprendimento per Rinforzo (RL) abbia fatto passi avanti nell'autonomia, gli approcci standard spesso mancano di garanzie di sicurezza rigorose, ottimizzando tipicamente la prestazione media o affidandosi a una sicurezza empirica che fallisce in scenari critici per la sicurezza.

Le tecniche esistenti di verifica e sintesi presentano limitazioni significative:

• Assunzioni Note/Deterministiche: Molti metodi assumono che la dinamica del sistema sia nota o deterministica, il che raramente è vero nella pratica.
• Spazi di Stato/Azione Finiti: Gli approcci spesso richiedono spazi di stato o di azione finiti, limitando l'applicabilità ai sistemi continui.
• Scalabilità e Fluidità: I metodi formali come la raggiungibilità di Hamilton-Jacobi non scalano bene con la complessità del sistema, e molti metodi basati sull'apprendimento assumono dinamiche fluide o forme di modello specifiche (ad es. Processi Gaussiani).
• Garanzie Approssimative: Gli attuali metodi di safe RL forniscono spesso la sicurezza solo "in media" (ad es. tramite MDP vincolati) o nel limite, piuttosto che offrire garanzie probabilistiche a orizzonte finito per dinamiche potenzialmente stocastiche e ignote.

Il problema centrale è apprendere una politica che massimizzi la ricompensa cumulativa garantendo che il sistema rimanga all'interno di un insieme sicuro $S_s$ per un orizzonte decisionale $K$ con una garanzia rigorosa ad alta probabilità, nonostante la mancanza di conoscenze pregresse sulla dinamica $P$ o sulla funzione di ricompensa $r$.

2. Metodologia: ReCORS

Gli autori propongono ReCORS (Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees), un framework che integra l'RL model-based e model-free con la Predizione Conforme (CP) e l'analisi di raggiungibilità.

2.1 Approssimazione della Dinamica del Sistema

Il metodo apprende un modello di dinamica parametrico a tempo discreto $\hat{f}_\beta$ (una rete neurale) che mappa coppie stato-azione verso i prossimi stati previsti.

• Addestramento Consapevole della Sicurezza (Safety-Aware Training): A differenza del normale apprendimento della dinamica, la funzione di perdita per $\hat{f}_\beta$ incorpora pesi di sicurezza. Le dimensioni dello spazio degli stati che sono più critiche per i vincoli di sicurezza (ad es. la vicinanza agli ostacoli) ricevono pesi più elevati nella perdita $\ell_2$. Ciò dà priorità alla precisione della predizione nelle dimensioni critiche per la sicurezza, anche se ciò aumenta leggermente l'errore di predizione complessivo.
• Pipeline di Addestramento: Il modello viene pre-addestrato su azioni casuali e poi perfezionato iterativamente insieme alla politica utilizzando i dati raccolti dalla politica corrente.

2.2 Analisi della Sicurezza Conforme (CSA)

Per fornire garanzie probabilistiche senza assumere distribuzioni specifiche delle dinamiche, ReCORS utilizza la Predizione Conforme.

• Quantificazione dell'Incertezza: La CP viene utilizzata per generare intervalli di predizione validi (insiemi di incertezza) per il modello di dinamica. Per un dato stato e azione, il vero stato successivo è garantito trovarsi all'interno dell'intervallo $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ con probabilità $1-\alpha$.
• Limiti a Livello di Traiettoria: Per evitare limiti di unione eccessivamente conservativi sugli step temporali, gli autori utilizzano un punteggio di non conformità a livello di traiettoria (basato su Cleaveland et al. [12]). Questo ottimizza i pesi per ogni step temporale per produrre limiti più stretti su tutto l'orizzonte $K$.
• Verifica della Raggiungibilità: Utilizzando la dinamica appresa $\hat{f}_\beta$ e i limiti di incertezza conformi $\eta$, il sistema esegue l'analisi della raggiungibilità in avanti (forward reachability). Verifica se l'insieme raggiungibile degli stati in qualsiasi tempo $t \in [1, K]$ interseca l'insieme non sicuro $S_u$.
• Distribuzione dello Stato Iniziale: Il framework tiene conto dell'incertezza nella distribuzione dello stato iniziale $\rho$ applicando limiti di coda a campioni finiti (disuguaglianza di Hoeffding) ai risultati della verifica empirica, assicurando che la garanzia di sicurezza valga per l'intera distribuzione, non solo per gli stati iniziali campionati.

2.3 Pipeline di Addestramento Differenziabile

Una chiave innovazione è rendere il processo di verifica della sicurezza differenziabile per consentire l'ottimizzazione della politica end-to-end.

• Predittore Conforme Neurale: Una rete neurale separata $\eta_\omega$ viene addestrata per predire le soglie di conformità $\eta$. Questo sostituisce il calcolo dei quantili non differenziabile della CP standard.
• Funzioni di Perdita:
  • Perdita Conforme: Combina un termine di efficienza (minimizzazione della dimensione dell'insieme di predizione) e un termine di copertura (garantire che la copertura empirica soddisfi il target $1-\alpha$).
  • Perdita di Sicurezza: Penalizza esplicitamente la massima violazione della sicurezza sull'orizzonte e incoraggia il miglioramento dei punteggi di sicurezza dallo step iniziale a quello finale.
• Ottimizzazione Congiunta: La politica (attore), il critico, il modello di dinamica e il predittore conforme sono ottimizzati congiuntamente. La perdita totale combina l'obiettivo della ricompensa RL standard con le perdite conformi e di sicurezza.
• Apprendimento a Curriculum (Curriculum Learning): L'algoritmo impiega una strategia di curriculum, partendo da un breve orizzonte di sicurezza $K_0$ e aumentandolo incrementalmente man mano che la politica raggiunge la sicurezza provabile, permettendo al sistema di apprendere comportamenti complessi gradualmente.

3. Contributi Chiave

1. Analisi della Sicurezza Conforme (CSA): Un nuovo framework che combina la predizione conforme con l'analisi di raggiungibilità per l'apprendimento di controller in sistemi dinamici sconosciuti. Fornisce garanzie di sicurezza probabilistiche rigorose senza assumere fluidità o forme specifiche delle dinamiche sottostanti.
2. Apprendimento di Politiche Sicure Provabili: Un framework di addestramento che integra l'RL model-free (per la massimizzazione della ricompensa) con la stima della raggiungibilità model-based (per la sicurezza). Impone vincoli di sicurezza rigidi tramite funzioni di perdita differenziabili derivate dagli insiemi di incertezza conformi.
3. Valutazione Esaustiva: Esperimenti estesi su sette ambienti (inclusi Cartpole, Lane Following, 2D/3D Quadrotors, CarGoal e HalfCheetah) con specifiche di sicurezza lineari (affine) e non lineari.

4. Risultati Sperimentali

Gli autori hanno valutato ReCORS contro cinque baseline allo stato dell'arte (PPOLag, PCPO, CRPO, P3O, RESPO).

• Sicurezza Verificata: ReCORS ha ottenuto garanzie di sicurezza provabile significativamente più forti rispetto a tutte le baseline. Ad esempio, nell'ambiente Cartpole, le baseline non sono riuscite a fornire garanzie utili oltre un orizzonte di $K=20$, mentre ReCola ha mantenuto garanzie di sicurezza ad alta probabilità fino a $K \ge 50$.
• Trade-off tra Ricompensa e Sicurezza: Mentre alcune baseline hanno raggiunto ricompense più elevate, lo hanno fatto a scapito di scarse proprietà di sicurezza (violazioni frequenti). ReCORS è stato l'unico metodo a raggiungere costantemente sia prestazioni elevate che sicurezza verificata. In alcuni domini (ad es. 2D Quadrotor), ReCORS ha superato tutte le baseline sia in termini di ricompensa che di sicurezza.
• Vincoli Non Lineari: L'approccio ha gestito con successo vincoli di sicurezza non lineari (ad es. distanza sicura in 2D Quadrotor), superando le baseline che o non riuscivano a verificare la sicurezza o risultavano in comportamenti conservativi (ad es. droni che restano stazionari).
• Studi di Ablazione: I risultati hanno confermato l'importanza dei pesi di sicurezza nell'addestramento della dinamica e dell'ottimizzazione congiunta dei modelli di dinamica e di incertezza.

5. Significato e Rivendicazioni

Il documento rivendica di presentare un approccio innovativo che colma il divario tra l'apprendimento ad alte prestazioni e la rigorosa verifica della sicurezza in ambienti sconosciuti. La sua importanza risiede in:

• Rimozione delle Assunzioni Restrittive: A differenza del lavoro precedente, non assume dinamiche note, deterministiche o fluide, né richiede spazi di stato finiti.
• Garanzie Indipendenti dalla Distribuzione: Sfruttando la predizione conforme, fornisce una quantificazione dell'incertezza calibrata statisticamente e indipendente dalla distribuzione, rendendo le garanzie di sicurezza robuste agli errori del modello e alla stocasticità ignota.
• Scalabilità: La formulazione della raggiungibilità a tempo discreto e a passi finiti scala meglio con la complessità del sistema rispetto ai metodi Hamilton-Jacobi basati su PDE.
• Applicabilità Pratica: Il metodo è dimostrato efficace in diversi domini, offrendo una via percorribile verso l'autonomia affidabile dove la sicurezza non può essere compromessa a favore delle prestazioni.

Gli autori riconoscono i limiti, notando che l'approccio attuale assume la perfetta osservabilità dello stato del sistema, il che rimane un problema aperto per il lavoro futuro.