Safe Online Learning via Smooth Safety-Structured Policy Composition

Riepilogo Tecnico: Apprendimento Online Sicuro tramite Composizione di Policy con Struttura di Sicurezza Fluida

Problema

L'apprendimento per rinforzo (RL) online sicuro affronta un compromesso fondamentale tra il mantenimento di vincoli di sicurezza rigorosi e la garanzia di dinamiche di ottimizzazione della policy fluide e stabili. Gli approcci esistenti rientrano generalmente in due categorie, ciascuna con significative limitazioni:

1. Vincoli di Sicurezza Soft: I metodi come l'ottimizzazione della policy vincolata o la modellazione della ricompensa consapevole della sicurezza trattano la sicurezza come un vincolo soft. Sebbene ciò preservi la propagazione fluida dei gradienti e le dinamiche di apprendimento, assume implicitamente che gli agenti possano imparare dalle violazioni della sicurezza, il che è inaccettabile nelle applicazioni critiche per la sicurezza.
2. Filtri di Sicurezza Hard: Gli approcci che utilizzano filtri di sicurezza (ad esempio, sostituzione dell'azione o proiezione) impongono vincoli rigidi intervenendo quando vengono rilevati i rischi. Sebbene forniscano forti garanzie formali, spesso introducono discontinuità nell'interazione con il sistema. Nello specifico, lo scambio brusco tra una policy appresa e una policy di fallback sicura interrompe il flusso del gradiente, destabilizza l'apprendimento online e crea ambiguità nella stima del valore a causa di mappature molti-a-uno. Inoltre, molti filtri di sicurezza differenziabili si basano su un'ottimizzazione online costosa, limitando la loro scalabilità a sistemi ad alta dimensionalità.

Metodologia: AutoSafe

Gli autori propongono AutoSafe, un'architettura di policy consapevole della sicurezza che integra il monitoraggio e l'intervento strutturato della sicurezza direttamente nel processo di generazione dell'azione. Invece di trattare la sicurezza come un passaggio di post-elaborazione esterno, AutoSafe struttura la policy eseguibile come una composizione convessa differenziabile di una policy di apprendimento guidata dalle prestazioni e di un prior di una policy sicura certificata.

Meccanismi Core

1. Composizione di Policy Differenziabile:
   Ad ogni istante temporale $t$, l'azione eseguita $\tilde{a}_t$ è sintetizzata interpolando tra l'azione stocastica $a_\theta$ proposta dalla policy di apprendimento $\pi_\theta$ e un'azione sicura deterministica $a_{safe}$ fornita da un prior sicuro $\pi_{safe}$:
   $$\tilde{a}_t = (1 - \lambda(s_t)) a_\theta + \lambda(s_t) a_{safe}$$
   dove $\lambda(s_t) \in [0, 1]$ è un peso di miscelazione dipendente dallo stato. Questa combinazione convessa assicura che, se lo spazio delle azioni è convesso, l'azione risultante rimanga valida. Fondamentalmente, questa formulazione è completamente differenziabile rispetto a $\lambda$, permettendo ai segnali di apprendimento di backpropagarsi attraverso il meccanismo di sicurezza.

2. Modellazione della Distribuzione e Controllo della Varianza:
   Per le policy gaussiane, questa composizione accoppia naturalmente la sicurezza con la riduzione dell'incertezza. Man mano che il peso di intervento $\lambda$ aumenta (indicando un rischio maggiore), la media della policy eseguita si sposta verso il prior sicuro e la varianza viene smorzata quadraticamente da un fattore $(1-\lambda)^2$. Ciò restringe efficacemente l'esplorazione stocastica man mano che l'agente si avvicina ai confini di sicurezza, prevenendo violazioni accidentali.

3. Intervento Apprendibile Calibrato sul Rischio:
   Il peso di miscelazione $\lambda(s)$ è determinato da una funzione apprendibile e consapevole del rischio. Il sistema utilizza un monitor di sicurezza per fornire un margine di sicurezza normalizzato $\tilde{\Delta}(s) \in [0, 1]$. Il peso di intervento è definito come:
   $$\lambda(\tilde{\Delta}(s), p(s)) = \frac{\exp(p(s)(1 - \tilde{\Delta}(s))) - 1}{\exp(p(s)) - 1}$$
   Qui, $p(s)$ è un parametro di nitidezza (sharpness) apprendibile predetto da una piccola testa neurale. Ciò consente all'agente di controllare adattivamente la conservatività dell'intervento:

   • Piccolo $p$: Induce un intervento precoce e più fluido.
   • Grande $p$: Ritarda l'intervento fino a quando non è più vicino al confine, preservando l'autonomia per le prestazioni.
   • Comportamento al Confine: Se il margine di sicurezza scende a zero (violazione imminente), $\lambda$ è forzato a 1, eseguendo completamente l'azione sicura certificata.

Contributi Chiave

1. Bias Induttivo Strutturale: Gli autori propongono un'architettura di policy che incorpora il monitoraggio e l'intervento di sicurezza come bias induttivi strutturali all'interno del processo di generazione dell'azione, consentendo una generazione di azioni fluida e un apprendimento online stabile.
2. Approfondimenti Teorici: Il documento fornisce un'analisi teorica che dimostra come la composizione convessa preservi il flusso del gradiente e riduca naturalmente la varianza dell'esplorazione vicino ai confini di sicurezza, stabilizzando le dinamiche di apprendimento.
3. Valutazione Empirica: AutoSafe è valutato contro rappresentativi filtri di sicurezza (SimplexRL, CBF) e baseline di safe RL (AdaLam, Residual, Constrained RL) in quattro compiti di controllo continuo simulati (CartPole, Regolazione del Glucosio, Quadrotor 3D, Navigazione di Quadrupedi).
4. Validazione nel Mondo Reale: Il metodo è validato su un sistema fisico CartPole implementato su un dispositivo embedded (Raspberry Pi), dimostrando l'efficacia pratica per l'apprendimento online sicuro a 50 Hz.

Risultati

• Sicurezza e Prestazioni: In tutti i benchmark simulati, AutoSafe ha ottenuto zero violazioni di sicurezza mantenendo o superando i metodi allo stato dell'arte nel ritorno del compito (ad esempio, ottenendo un ritorno di ~477.7 su CartPole con 0 violazioni rispetto alle 74.4 violazioni di SAC).
• Stabilità: A differenza delle baseline a intervento hard (ad esempio, SimplexRL), che hanno mostrato dinamiche di apprendimento instabili e perdite del critico divergenti in compiti ad alta dimensionalità o alto conflitto, AutoSafe ha mantenuto curve di apprendimento stabili. La transizione fluida tra i regimi ha evitato i problemi di "spostamento della distribuzione" comuni nel passaggio netto (hard switching).
• Adattabilità: Il parametro di nitidezza apprendibile $p$ si è adattato con successo a diverse dinamiche di compito. Ad esempio, nel compito del Quadrotor, l'agente ha imparato a fare meno affidamento sul prior sicuro (p elevato) man mano che padroneggiava il compito, mentre in scenari più complessi o conflittuali, ha mantenuto un profilo più conservativo.
• Efficienza: AutoSafe ha dimostrato un'efficienza computazionale paragonabile alla vanilla SAC e un'inferenza significativamente più veloce rispetto ai metodi basati sull'ottimizzazione come CBF, che richiedono la risoluzione di programmi quadratici online.

Significato e Rivendicazioni

Il documento sostiene che AutoSafe risolva il compromesso fondamentale tra l'ottimizzazione fluida della policy e il rigoroso enforcement della sicurezza. Integrando la sicurezza come componente strutturale piuttosto che come filtro esterno, il framework consente interventi precauzionali che avvengono prima che il sistema raggiunga il confine di sicurezza, invece di fare affidamento sullo scambio dell'ultimo momento.

Gli autori sottolineano che questo approccio permette agli agenti di apprendere comportamenti sicuri "naturali": agire in modo conservativo nelle regioni ad alto rischio, rilasciando gradualmente i vincoli man mano che il rischio diminuisce. Il successo del deployment su un robot fisico evidenzia la viabilità del metodo per applicazioni nel mondo reale critiche per la sicurezza, dove l'efficienza computazionale e l'apprendimento continuo sono fondamentali. Il lavoro suggerisce che trattare la sicurezza come un bias strutturale differenziabile e apprendibile sia una strada più robusta per l'apprendimento per rinforzo online sicuro rispetto ai tradizionali filtri a switching hard o alle formulazioni a vincoli soft.