Riepilogo Tecnico: Reinforcement Learning Provabilmente Sicuro, ma Scalabile (PS2-RL)

Definizione del Problema

Il Reinforcement Learning (RL) sicuro mira ad apprendere politiche che massimizzino i premi del compito rispettando rigorosamente i vincoli di sicurezza. Gli approcci esistenti rientrano generalmente in due categorie, entrambe con significative limitazioni:

1. Ottimizzazione a Vincoli Morbidi (Soft-Constrained Optimization): Metodi che utilizzano la rilassazione Lagrangiana o funzioni di certificato neurali ottengono spesso successo empirico ma mancano di garanzie formali. Di conseguenza, non possono prevenire guasti catastrofici durante la distribuzione.
2. Metodi con Garanzie Rigide: Approcci che si affidano a esplicite funzioni di certificato (ad esempio, Control Barrier Functions o Indici di Sicurezza) forniscono una sicurezza formale ma richiedono la sintesi e la verifica di insiemi controllo-invarianti. Questo processo scala male con la dimensione dello stato, diventando spesso computazionalmente intrattabile per sistemi ad alta dimensionalità e producendo comportamenti eccessivamente conservativi.

La sfida centrale è sviluppare un framework di RL che fornisca garanzie di sicurezza provabili per sistemi ad alta dimensionalità e con vincoli di input, senza sacrificare le prestazioni o la scalabilità.

Metodologia: Il Framework PS2-RL

Gli autori propongono PS2-RL (Provably Safe, yet Scalable RL), un'architettura a due fasi che evita la sintesi esplicita di insiemi invarianti globali. Invece, sfrutta una politica di backup appresa per generare un insieme controllo-invariante implicito online.

Fase I: Apprendimento della Politica di Arrivo Sicuro (Safe-Arrival Policy)

La prima fase si concentra sull'espansione della regione di sicurezza. Il sistema è ancorato da un piccolo set base certificato $B$ (ad esempio, un equilibrio stabilizzato da LQR) e un controllore base $\pi_B$. L'obiettivo è apprendere una politica di arrivo sicuro ($\pi_{SA}$) che guidi il sistema da uno spazio di stato più ampio verso $B$, rimanendo all'interno dell'insieme sicuro $S$.

• Funzione di Valore di Arrivo Sicuro: Gli autori introducono una nuova funzione obiettivo, la funzione di valore di arrivo sicuro, che funge da ricompensa basata su indicatori. Essa quantifica la capacità di una politica di raggiungere $B$ in sicurezza prima di entrare in un insieme di guasto $F$.
  • Soddisfa una condizione di auto-coerenza e un'equazione di Bellman, permettendo alle pipeline di RL standard (ad esempio, TD3, SAC) di addestrare la politica.
  • L'obiettivo incoraggia il recupero sicuro tempo-ottimale, ampliando efficacementamente l'Insieme Controllo-Invariante Indotto dal Backup ($C_T(\pi_b)$). Questo insieme consiste in tutti gli stati dai quali la politica di backup composta ($\pi_b = \pi_{SA}$ fuori da $B$, $\pi_B$ dentro $B$) può raggiungere $B$ entro un orizzonte $T$ senza violare la sicurezza.

Fase II: Addestramento End-to-End con uno Strato di Controllo Invariante

La seconda fase addestra la politica di RL specifica per il compito ($\pi_\phi$) per massimizzare i premi rispettando rigorosamente i vincoli di sicurezza indotti dalla politica di backup fissa della Fase I.

• Strato di Controllo Invariante (Control-Invariant Layer - CIL): Gli autori costruiscono uno strato di proiezione differenziabile che mappa l'output nominale della politica di RL nell'insieme di input ammissibile BCBF ($K_{BCBF}$).
  • Questo insieme è definito dai vincoli della Backup Control Barrier Function (BCBF), che sono affini all'input di controllo $u, dato un flusso di backup fisso.
  • Lo strato risolve un Programma Quadratico (QP) per trovare l'input di controllo più vicino all'output della politica nominale che soddisfi i vincoli di sicurezza.
• Differenziabilità: Fondamentalmente, il risolutore QP è differenziabile. Ciò consente ai gradienti di propagarsi end-to-end attraverso la proiezione di sicurezza durante l'addestramento. La politica di RL impara a ottimizzare le prestazioni all'interno del set sicuro certificato, piuttosto che apprendere una politica che venga successivamente corretta da uno scudo non differenziabile.

Contributi Chiave

1. Framework PS2-RL: Un'architettura a due fasi che raggiunge garanzie di sicurezza formali per sistemi ad alta dimensionalità senza sintetizzare espliciti insiemi invarianti globali. Si basa su rollouts di backup appresi e una proiezione nello spazio di controllo.
2. Funzione di Valore di Arrivo Sicuro: Un obiettivo innovativo che codifica il recupero sicuro tempo-ottimale verso un set target. Ammette un'equazione di Bellman, consentendo l'addestramento di politiche di backup neurali che empiricamente producono regioni sicure significativamente più ampie rispetto alle alternative analitiche (ad esempio, LQR).
3. Strato di Controllo Invariante: Uno strato di proiezione differenziabile che impone i vincoli BCBF. Gli autori dimostrano che questo strato preserva la proprietà di approssimazione universale della rete neurale sottostante, garantendo che l'applicazione della sicurezza non comprometta l'espressività della politica.
4. Garanzie Teoriche: Prove complete che stabiliscono che:
   • La politica PS2 composta appartiene alla classe delle politiche sicure ($\Pi_{safe}$).
   • Il framework risolve un'approssimazione interna certificata del problema originale di RL sicuro.
   • Lo strato di proiezione mantiene il potere di approssimazione della rete della politica.

Risultati Sperimentali

Il framework è stato valutato su due compiti di tracking con traiettorie di riferimento intenzionalmente insicure:

1. Unicycle Lane-Keeping (Stato 3D): PS2-RL ha raggiunto il 100% di sicurezza in tutti i seed e ha superato tutti i baseline in precisione di tracking (RMSE laterale e di imbardata) mantenendo la sicurezza. Ha ridotto significativamente il conservatorismo rispetto all'uso di una politica di backup analitica (PS2ABP).
2. Quadrotor Powerloop (Stato 10D): Questo compito coinvolgeva un sistema a 10 dimensioni con limiti di attuazione stretti e un vincolo di altitudine ad alto grado relativo.
   • PS2-RL ha ottenuto il 100% di sicurezza, mentre i metodi basati su vincoli di costo atteso (CMDP) o penalità morbide hanno frequentemente violato la sicurezza.
   • Rispetto ai baseline con meccanismi di sicurezza formale (CBF-RL, Model Predictive Shielding), PS2-RL ha dimostrato errori di tracking (RMSE) sostanzialmente inferiori (riduzione di circa il 40–70%).
   • La politica di arrivo sicuro appresa ha aumentato la recuperabilità degli stati vicini al soffitto rilevanti per il compito dal 60,9% (analitico) all'85,9%.

Studi di Ablazione: Rimuovere lo Strato di Controllo Invariante durante la distribuzione ha fatto scendere la sicurezza allo 0%, confermando che lo strato è essenziale per le garanzie. Al contrario, utilizzare lo strato solo come filtro post-hoc (senza addestramento end-to-end) ha comportato prestazioni di tracking dal 43% al 53% peggiori, evidenziando la necessità di addestrare attraverso la proiezione differenziabile.

Significato e Rivendicazioni

L'articolo sostiene che PS2-RL colma con successo il divario tra sicurezza provabile e scalabilità. Sostituendo la sintesi intrattabile di insiemi invarianti globali con rollouts di backup appresi e una proiezione differenziabile nello spazio di controllo, il framework abilita il RL sicuro per sistemi ad alta dimensionalità (fino a 10 stati negli esperimenti) dove i metodi di sicurezza provabile precedenti faticano o diventano impraticabili.

Gli autori sottolineano che il loro approccio non impone restrizioni sull'algoritmo di RL sottostante e può essere integrato in pipeline di addestramento esistenti. I risultati teorici confermano che il metodo fornisce garanzie di sicurezza rigide pur mantenendo l'alta prestazione e l'espressività richieste per compiti di controllo robotico complessi.

Limitazioni Riconosciute: Le garanzie formali dipendono dalla disponibilità di un modello di dinamica analitica control-affine o di un simulatore differenziabile. Gli autori notano che estendere il framework a dinamiche incerte e vincoli basati sulla percezione, nonché alla distribuzione su hardware, rimane un lavoro futuro.