Riepilogo Tecnico: Sfruttamento dei Gradienti Analitici nell'Apprendimento per Rinforzo Provabilmente Sicuro

Enunciato del Problema

Il dispiegamento di robot autonomi in applicazioni critiche per la sicurezza richiede garanzie di sicurezza rigorose. Sebbene l'Apprendimento per Rinforzo (RL) superi spesso il controllo classico in ambienti incerti e ad alta dimensionalità, manca di assicurazioni di sicurezza intrinseche. Una sfida critica sorge quando si addestrano agenti in simulazione per il dispiegamento nel mondo reale (il "divario sim-to-real"). Se l'addestramento avviene senza protezioni, l'agente potrebbe convergere verso politiche che dipendono da stati o azioni non sicuri. Quando una protezione viene successivamente applicata durante il dispiegamento, potrebbe limitare la politica a regioni subottimali o causare fallimenti in paesaggi di obiettivi non convessi, poiché l'agente non ha mai appreso soluzioni sicure alternative.

Sebbene esistano diversi approcci di protezione per il RL basato su campionamento (ad es. PPO, SAC), che si affidano ai teoremi del gradiente della politica, manca una mancanza di meccanismi di protezione per il RL basato su gradienti analitici. Questi metodi analitici (ad es. Short-Horizon Actor-Critic, SHAC) utilizzano simulatori differenziabili per calcolare gradienti esatti del primo ordine della ricompensa rispetto alle azioni tramite backpropagation. Le protezioni esistenti, spesso progettate come passaggi di post-elaborazione per metodi basati su campionamento, non possono essere applicate in modo ingenuo ai paradigmi basati su gradienti analitici perché potrebbero interrompere il grafo computazionale differenziabile richiesto per la backpropagation o non fornire i segnali di gradiente necessari per l'ottimizzazione della politica.

Metodologia

Gli autori propongono un quadro per l'ottimizzazione della politica provabilmente sicura utilizzando gradienti analitici. L'approccio centrale integra un livello di protezione differenziabile tra l'output della politica e le dinamiche dell'ambiente.

1. Quadro e Differenziabilità

Il quadro tratta la protezione come una mappa differenziabile $g: \mathcal{A} \to \mathcal{A}_s$, dove $\mathcal{A}$ è lo spazio delle azioni fattibili e $\mathcal{A}_s$ è l'insieme delle azioni sicure. La politica $\pi$ produce un'azione $a_i$, che viene trasformata in un'azione sicura $a_{s,i} = g(a_i)$. L'ambiente transita quindi verso $s_{i+1}$ e produce una ricompensa $r_i$. Per addestrare la politica, il gradiente della ricompensa rispetto ai parametri della politica viene calcolato tramite backpropagation attraverso l'intera catena, inclusa la protezione:
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
Ciò richiede che la protezione sia subdifferenziabile (idealmente $C^1$) e che fornisca Jacobiani a rango pieno per evitare di attenuare il segnale di apprendimento.

2. Insiemi di Azioni Sicure e Rappresentazione

Gli autori utilizzano zonotopi per rappresentare gli insiemi sicuri a causa della loro compattezza e chiusura rispetto alle mappe lineari. Distinguono tra:

• Insiemi di Azioni Sicure Specificati: Vincoli definiti direttamente.
• Insiemi di Azioni Sicure Derivati: Calcolati tramite analisi di raggiungibilità (ad es. insiemi invarianti di controllo robusto) per garantire che l'esecuzione di un'azione mantenga il sistema all'interno di un insieme di stati sicuri $S_s$.

3. Meccanismi di Protezione e Modifiche

Il documento analizza e adatta due metodi esistenti di protezione differenziabile:

• Proiezione sul Bordo (BP): Mappa un'azione non sicura al punto più vicino sul bordo dell'insieme sicuro.

  • Problema: Non è $C^1$ ovunque e presenta Jacobiani a rango deficitario nella direzione della proiezione, eliminando efficacemente i gradienti per le azioni parallele alla direzione di proiezione.
  • Modifica: Gli autori introducono un termine di regolarizzazione nella funzione di perdita ($l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$). Questo aumenta il gradiente nella direzione della mappatura, compensando la carenza di rango e incoraggiando la politica a preferire azioni sicure.

• Maschera a Raggio (RM): Mappa le azioni radialmente verso un "centro sicuro" $c_{As}$ all'interno dell'insieme sicuro.

  • Problema: La maschera a raggio lineare standard altera significativamente le azioni sicure e presenta gradienti ridotti nella direzione della mappatura.
  • Modifiche:
    1. Regolarizzazione: Simile alla BP, per spingere verso la sicurezza.
    2. Passaggio: Sostituire il Jacobiano con una matrice identità per una computazione più rapida e una propagazione del gradiente senza ostacoli (valido solo se è noto che l'azione ottimale è sicura).
    3. Maschera a Raggio Iperbolica (HRM): Una nuova funzione di mappatura che utilizza una tangente iperbolica ($\tanh$) per mappare le azioni non sicure vicine al bordo, perturbando minimamente le azioni sicure. Questo mantiene un Jacobiano completo e una mappatura liscia.

4. Approssimazione del Centro Sicuro

Per gli insiemi di azioni sicure derivati in cui il centro non è definito esplicitamente, il documento propone due metodi di approssimazione:

• Approssimazione Zonotopica: Massimizzazione del volume di uno zonotopo contenuto.
• Approssimazione Ortogonale: Intersecare l'insieme sicuro ortogonalmente al bordo e prendere il punto medio.
  Gli esperimenti suggeriscono che l'approccio zonotopico produce una convergenza superiore e politiche finali migliori grazie alle sue proprietà di mappatura continua.

Contributi Chiave

1. Primo RL Analitico a Gradiente Provabilmente Sicuro: Il documento presenta il primo approccio di protezione efficace specificamente progettato per l'apprendimento per rinforzo basato su gradienti analitici.
2. Analisi Teorica: Un'analisi approfondita delle protezioni differenziabili, che identifica le proprietà richieste (sicurezza, subdifferenziabilità, Jacobiani a rango pieno, intervento minimo, velocità) e dimostra come i metodi esistenti non le soddisfino senza modifiche.
3. Adattamenti Algoritmici: Lo sviluppo di modifiche mirate, incluse funzioni di perdita regolarizzate per la proiezione sul bordo e una nuova maschera a raggio iperbolica, per garantire una propagazione efficace del gradiente.
4. Valutazione Empirica: Una valutazione completa su tre compiti di controllo (pendolo, quadrotore e gestione dell'energia) che confronta i metodi a gradiente analitico (SHAC) con i baseline basati su campionamento (PPO, SAC) in condizioni di addestramento sia non sicuro che protetto.

Risultati

Gli autori hanno valutato il loro approccio utilizzando l'algoritmo SHAC contro i baseline PPO e SAC in tre ambienti:

• Efficienza del Campionamento: Nei compiti di bilanciamento (pendolo, quadrotore), l'apprendimento a gradiente analitico protetto (SHAC) ha raggiunto rendimenti finali superiori o comparabili con meno interazioni con l'ambiente rispetto ai metodi basati su campionamento.
• Preservazione delle Prestazioni: Contrariamente alla paura che le protezioni degradino le prestazioni, le protezioni modificate (in particolare BP regolarizzata e HRM) hanno permesso a SHAC di raggiungere rendimenti pari o superiori all'addestramento non sicuro nei compiti di bilanciamento.
• Compito di Sistema Energetico: Nel compito di gestione dell'energia (caratterizzato da alto rumore), SHAC ha inizialmente sottoperformato PPO in ambienti non sicuri. Tuttavia, nell'addestramento protetto, SHAC ha mostrato un miglioramento significativo, riducendo il divario di prestazioni con PPO. Gli autori attribuiscono ciò all'effetto stabilizzante dei gradienti ridotti in ambienti rumorosi.
• Convergenza: L'introduzione della regolarizzazione ha ridotto significativamente il numero di esecuzioni non convergenti, in particolare per la proiezione sul bordo nel compito del pendolo monodimensionale, dove la perdita di gradiente era precedentemente fatale.
• Sovraccarico Computazionale: La protezione introduce costi computazionali. La proiezione sul bordo ha aumentato il tempo di addestramento di circa 5 volte e la Maschera a Raggio di quasi 10 volte rispetto all'addestramento non sicuro, principalmente a causa dei solver di ottimizzazione (CVXPY) richiesti per i vincoli dell'insieme sicuro.

Significato e Affermazioni

Il documento afferma di colmare un divario critico nell'apprendimento per rinforzo sicuro abilitando l'addestramento provabilmente sicuro per il paradigma ad alte prestazioni basato su gradienti analitici. Gli autori affermano che:

• Le protezioni possono essere integrate direttamente nel ciclo di addestramento del RL a gradiente analitico senza compromettere le prestazioni, a condizione che le protezioni siano differenziabili e i gradienti siano preservati.
• Le modifiche proposte (regolarizzazione e mappatura iperbolica) sono essenziali per superare le carenze di rango e i problemi di soppressione del gradiente intrinseci alle applicazioni ingenua delle protezioni esistenti.
• Questo approccio facilita il trasferimento "sim-to-real" garantendo che gli agenti apprendano comportamenti sicuri durante la simulazione, riducendo il rischio di fallimento quando vengono dispiegati in scenari reali critici per la sicurezza.

Il lavoro conclude che, sebbene il sovraccarico computazionale rimanga una sfida, il compromesso è giustificato dalla capacità di addestrare agenti con garanzie di sicurezza formali, sbloccando il potenziale del RL a gradiente analitico per la robotica critica per la sicurezza.