CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning

Riassunto Tecnico: CAPSULE

1. Il Problema (Problem Statement)

Il principale limite dell'apprendimento per rinforzo (Reinforcement Learning - RL) tradizionale è la natura esplorativa dell'agente, che spesso conduce ad azioni rischiose capaci di causare danni all'ambiente o all'agente stesso. Sebbene esistano metodi di Safe RL, la maggior parte di essi si basa su vincoli di sicurezza "in media" (in aspettativa). Ciò significa che, sebbene il rischio medio sia basso, l'agente può comunque violare i vincoli in singoli istanti critici.

Al contrario, gli approcci basati sulla teoria del controllo (come le Control Barrier Functions - CBF) offrono garanzie di sicurezza "hard" (rigide), ma solitamente richiedono la conoscenza esatta della dinamica del sistema o modelli di controllo-affine precisi, il che è raramente possibile in ambienti complessi e ad alta dimensionalità con dinamiche ignote.

2. Metodologia (Methodology)

Gli autori propongono CAPSULE, un framework che combina l'apprendimento offline di modelli dinamici con la correzione online delle azioni tramite CBF. La metodologia si articola in tre fasi principali:

• Pre-addestramento Offline (Offline Pretraining): Per evitare l'instabilità causata dall'apprendimento simultaneo di dinamiche e policy, CAPSULE utilizza un dataset offline per addestrare un ensemble probabilistico di modelli dinamici a struttura controllo-affine. Il modello predice la variazione dello stato ($\Delta s$) anziché lo stato successivo, stabilizzando l'apprendimento. L'uso di un ensemble permette di catturare sia l'incertezza aleatoria (tramite una distribuzione eteroschedastica) sia l'incertezza epistemica (tramite l'ensemble stesso).
• Costruzione della Barriera di Sicurezza (Safety Barrier Construction): Il framework utilizza le Control Barrier Functions (CBF) per garantire l'invarianza del set sicuro. Per gestire l'incertezza del modello, gli autori introducono un approccio conservativo: la condizione di sicurezza non viene applicata alla media delle previsioni, ma a un limite inferiore che tiene conto dell'incertezza stimata ($\bar{\sigma}$). Viene inoltre introdotta una variabile di scarto ($\epsilon$) per permettere una "degradazione aggraziata" della sicurezza (set $\epsilon$-safe) qualora il vincolo fosse matematicamente impossibile da soddisfare.
• Ottimizzazione della Policy Online (Online Policy Optimization): Durante l'interazione con l'ambiente, l'azione finale eseguita ($a_{safe}$) non è quella grezza della policy RL, ma è composta da tre elementi:
  1. $a_{RL}$: L'azione suggerita dalla policy (addestrata con TRPO).
  2. $a_{bar}$: Un termine di compensazione che approssima la storia delle correzioni passate.
  3. $a_{CBF}$: Una correzione in tempo reale ottenuta risolvendo un Programma Quadratico (QP) che minimizza la deviazione dall'azione originale pur rispettando il vincolo della CBF.

3. Contributi Chiave (Key Contributions)

• Modello Dinamico Ibrido: Un modello ensemble controllo-affine addestrato offline che è scalabile ad ambienti ad alta dimensionalità e fornisce stime di incertezza eteroschedastiche.
• Integrazione RL-CBF: Un metodo ibrido che accoppia la flessibilità del RL con la robustezza della teoria del controllo, permettendo la soddisfazione di vincoli rigidi (hard constraints).
• Meccanismo di Compensazione: L'introduzione di un compensatore che riduce la dipendenza dalla correzione QP, migliorando l'efficienza e la fluidità del controllo.

4. Risultati (Results)

Il framework è stato testato su benchmark complessi di controllo continuo (MuJoCo) all'interno di Safety Gymnasium (compiti SafeVelocity su Hopper, Walker e HalfCheetah).

• Sicurezza: CAPSULE ha dimostrato una riduzione drastica delle violazioni dei vincoli rispetto ai baseline di Safe RL (come TRPO-Lag, PPO-Lag e FOCOPS). Mentre i metodi basati su Lagrangian tendono ad accumulare premi elevati violando però spesso la sicurezza, CAPSULE mantiene la sicurezza senza sacrificare eccessivamente le prestazioni.
• Performance: I risultati mostrano che il modello controllo-affine pre-addestrato ha prestazioni comparabili a modelli non lineari generalisti, confermando l'efficacia della struttura scelta per la modellazione delle dinamiche.

5. Significato (Significance)

Il lavoro di CAPSULE è significativo perché colma il divario tra l'apprendimento basato sui dati (RL) e la sicurezza garantita dalla teoria del controllo. Dimostra che è possibile implementare sistemi di controllo sicuri in ambienti ad alta dimensionalità e con dinamiche ignote, rendendo il Reinforcement Learning molto più vicino all'applicazione pratica in scenari critici per la sicurezza (come la guida autonoma o la robotica industriale), dove le violazioni "in media" non sono accettabili.