Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

Sintesi Tecnica: Filtri di Sicurezza Robusti basati su Koopman e CBF per l'Apprendimento per Rinforzo Actor-Critic Sicuro

Enunciato del Problema
L'apprendimento per rinforzo (RL) sicuro per sistemi robotici affronta una tensione fondamentale: migliorare le prestazioni del compito soddisfacendo allo stesso tempo rigorosamente i vincoli di stato e di ingresso sia durante l'addestramento che durante il dispiegamento. Sebbene le Funzioni di Barriera di Controllo (CBF) offrano un meccanismo principiato per imporre l'invarianza in avanti tramite filtri di sicurezza minimamente invasivi, la loro applicazione nell'RL privo di modello è ostacolata dalla necessità di dinamiche di sistema accurate e certificati di barriera progettati a mano. I metodi esistenti di RL vincolati offrono spesso solo garanzie sul costo cumulativo atteso piuttosto che sulla sicurezza puntuale, e le penalità di ricompensa mancano di garanzie passo-passo. Gli autori affrontano la sfida di combinare l'efficienza del campione dell'RL profondo off-policy con un filtro di sicurezza CBF guidato dai dati che rimane convesso per sistemi non lineari, tenendo specificamente conto degli errori di approssimazione intrinseci nei modelli di Koopman a dimensione finita.

Metodologia: Robust Koopman-CBF SAC
Il documento propone Robust Koopman-CBF SAC, un framework actor-critic filtrato per la sicurezza che integra tre componenti fondamentali:

1. Sollevamento Koopman guidato dai dati: Il metodo apprende un predittore di Koopman a dimensione finita dai dati di rollout offline utilizzando la Decomposizione Modale Dinamica Estesa (EDMD). Le dinamiche non lineari sono sollevate in uno spazio di osservabili $\psi(x)$ dove l'evoluzione è approssimativamente lineare: $z_{t+1} \approx Az_t + Bu_t$. Il dizionario $\psi$ include le coordinate originali dello stato e le Funzioni di Base Radiale (RBF) per garantire che i vincoli fisici possano essere rappresentati come funzioni affini nello spazio sollevato.
2. Vincoli CBF sollevati robusti: Per gestire l'errore di approssimazione del modello a dimensione finita, gli autori introducono un margine residuo proiettato ($\rho$). Invece di limitare la norma del residuo completo, stimano la componente dell'errore di previsione che influisce direttamente sulla disuguaglianza della barriera ($|c^\top r|$) utilizzando un set di calibrazione tenuto da parte. Questo margine è calcolato tramite quantili empirici o conformali. La condizione di sicurezza è irrigidita a:
   $$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$$
   Ciò risulta in un vincolo affine sull'ingresso di controllo, permettendo al filtro di sicurezza di essere implementato come un Programma Quadratico (QP) leggero.
3. Integrazione Actor-Critic: Il framework modifica l'algoritmo standard Soft Actor-Critic (SAC) per risolvere la discrepanza tra azioni nominali ed eseguite:
   • Addestramento del Critico: Il critico viene addestrato sull'azione sicura eseguita ($u^{safe}_t$) generata dal filtro QP, garantendo che le stime del valore riflettano le dinamiche ad anello chiuso effettive.
   • Regolarizzazione dell'Attore: L'attore riceve una penalità differenziabile per la proposta CBF ($\ell_{cbf}$) che lo incoraggia a proporre azioni già all'interno dell'insieme ammissibile, riducendo nel tempo la dipendenza dal filtro.
   • Gestione delle Slack: Il QP include variabili di slack per mantenere la fattibilità numerica sotto i limiti degli attuatori, sebbene gli autori notino che una slack positiva indebolisce i certificati di sicurezza formali.

Contributi Chiave

1. Formulazione del Filtro Robusto: Introduzione di un filtro di sicurezza Koopman-CBF robusto per l'RL actor-critic privo di modello che solleva le dinamiche non lineari in un sistema approssimativamente lineare e impone la sicurezza tramite un vincolo QP affine.
2. Margine Residuo Proiettato: Un metodo innovativo per stimare l'errore del modello di Koopman a dimensione finita utilizzando un margine residuo proiettato derivato dai dati di calibrazione, producendo una condizione CBF discreta robusta direttamente implementabile.
3. Addestramento Actor-Critic Coerente: Integrazione del filtro con SAC utilizzando l'apprendimento del critico basato sull'azione eseguita e una penalità di fattibilità lato attore, eliminando la comune discrepanza in cui la politica ottimizza per azioni non filtrate mentre le transizioni dell'ambiente sono generate da azioni filtrate.
4. Diagnostica Empirica: Una valutazione completa che dimostra come il margine residuo proiettato $\rho$ serva come diagnostica calcolabile prima dell'addestramento per l'efficacia del filtro.

Risultati Sperimentali
Il metodo è stato valutato su Safe-Control-Gym (CartPole, Quadrotore 2D) e Safety Gymnasium (Walker, HalfCheetah).

• Compiti a Bassa Dimensione (CartPole e Quadrotore): Sulla stabilizzazione e il tracciamento di CartPole, Robust Koopman-CBF SAC ha ottenuto zero violazioni dei vincoli su tutti i semi, mentre corrispondeva o superava i ritorni dell'SAC non vincolato. Sul tracciamento del Quadrotore 2D, ha ridotto le violazioni del 96,8% (dal 12,5% allo 0,4%). Questi successi sono stati attribuiti a piccoli margini residui proiettati ($\rho \approx 10^{-3}$) e alla corretta gestione del grado relativo (utilizzando barriere composite per il Quadrotore).
• Locomozione ad Alta Dimensione (Walker e HalfCheetah): I risultati sono stati misti, esponendo limitazioni strutturali. Su Walker, le violazioni sono state ridotte dal 77,8% al 37,0%, ma il metodo è stato superato da SAC+Lagrangiano (3,34% di violazioni). Su HalfCheetah, le violazioni sono rimaste elevate (82,8%) con una severa penalità sulle prestazioni (-70% di ritorno).
• Analisi dei Fallimenti: Nei compiti ad alta dimensione e ricchi di contatti, il margine residuo proiettato $\rho$ è stato grande (0,698 per Walker, 1,782 per HalfCheetah). Questo grande errore ha causato il vincolo CBF robusto per diventare o banalmente soddisfatto (quando l'agente era già non sicuro) o non fattibile sotto i limiti degli attuatori, rendendo il filtro inefficace. Gli autori identificano che i modelli lineari EDMD non possono catturare le transizioni di velocità non lisce causate dal contatto con il suolo.

Significato e Affermazioni
Il documento afferma che i filtri Robust Koopman-CBF forniscono un ponte promettente tra l'RL privo di modello e la sicurezza certificabile, in particolare per compiti in cui il modello sollevato e la barriera si allineano bene con la struttura del sistema. Il significato principale risiede nella capacità diagnostica del margine residuo proiettato $\rho$: è una metrica pre-addestramento che prevede se un filtro Koopman-CBF sarà efficace.

Gli autori sono modesti riguardo all'universalità del metodo, affermando esplicitamente che l'approccio ha limitazioni strutturali in ambienti ricchi di contatti e ad alta dimensione dove le approssimazioni lineari del primo ordine falliscono. Chiariscono che, sebbene il metodo offra sicurezza puntuale quando $\rho$ è piccolo e il QP è fattibile, non garantisce la sicurezza quando l'errore residuo domina il margine della barriera o quando il grado relativo della barriera non corrisponde. Il lavoro evidenzia la necessità di estensioni di Koopman di ordine superiore o multi-step per affrontare queste limitazioni nei compiti di locomozione complessi.