LC-SAC: Lyapunov-Constrained Soft Actor-Critic via Koopman Operator Theory for Trajectory Tracking and Stabilization

Sintesi Tecnica: LC-SAC: Soft Actor-Critic con Vincolo di Lyapunov tramite la Teoria dell'Operatore di Koopman

Definizione del Problema
L'Apprendimento per Rinforzo (RL) ha dimostrato successo nel processo decisionale sequenziale complesso, ma affronta ostacoli significativi quando viene applicato a sistemi fisici critici per la sicurezza. Gli algoritmi di RL standard danno priorità alla massimizzazione della ricompensa, producendo spesso policy che inducono oscillazioni o divergenze non limitate dello stato a causa di transitori guidati dall'esplorazione ed errori di approssimazione delle funzioni. Sebbene i metodi basati su Lyapunov offrano una via fondata per la stabilità, gli approcci esistenti soffrono di limitazioni ricorrenti: la difficoltà di costruire funzioni di Lyapunov valide in ambienti sconosciuti e ad alta dimensionalità; l'inefficienza campionaria dell'apprendimento di Lyapunov on-policy; e l'onere computazionale della risoluzione di proiezioni o ottimizzazioni vincolate ad ogni aggiornamento. Inoltre, i certificati di Lyapunov appresi spesso mancano di garanzie di validità globale, e l'imposizione di vincoli può destabilizzare l'apprendimento se non implementata rigorosamente.

Metodologia
Gli autori propongono LC-SAC (Lyapunov-Constrained Soft Actor-Critic), un framework che integra la teoria dell'Operatore di Koopman con l'RL off-policy per fornire garanzie di stabilità senza l'addestramento di reti Lyapunov ausiliarie. La metodologia consiste in tre componenti primarie:

1. Apprendimento del Modello Offline tramite EDMD:
   Invece di apprendere direttamente la dinamica nello spazio degli stati originale, il sistema apprende un surrogato lineare elevato della dinamica dell'errore ($e_t = x_t - x_{ref,t}$) utilizzando la Decomposizione Dinamica Estesa (EDMD). Un dizionario di osservabili (variabili di stato combinate con Funzioni di Base Radiale) eleva la dinamica non lineare in un modello di controllo affine lineare: $z_{t+1} \approx A z_t + B u_t$, dove $z = g(e)$.

2. Costruzione di CLF a Forma Chiusa:
   Utilizzando le matrici $A$ e $B$ identificate, gli autori risolvono l'Equazione Riccati Algebrica Discreta (DARE) per ottenere un'unica soluzione stabilizzante $P \succ 0$. Ciò produce una funzione di Controllo Lyapunov (CLF) quadratica a forma chiusa: $V(z) = z^\top P z$. Per garantire che la CLF sia ben posta per modelli elevati (specificamente quadrotori 3D e cartpole), sono stati introdotti tre raffinamenti strutturali:

   • Normalizzazione del raggio spettrale: Scalare la matrice $A$ se il suo raggio spettrale $\rho(A) > 1$ per garantire la stabilità prima di risolvere la DARE.
   • Costo LQR fisicamente significativo: Impostare i costi di stato ($Q$) basandosi sugli errori fisici di stato.
   • Ancoraggio del bias del valore: Imporre $V(0)=0$ sottraendo un termine di bias $V_{bias} = g(0)^\top P g(0)$, correggendo per i centri RBF non nulli all'origine.

3. Ottimizzazione della Policy Online con Vincolo CVaR:
   L'aggiornamento dell'attore SAC è aumentato da una penalità Lagrangiana che impone la condizione di decrescita di Lyapunov. Invezione di penalizzare la violazione media, il metodo aggrega la peggiore coda di violazioni utilizzando un obiettivo di Valore in Rischio Condizionale (CVaR) (prendendo di mira il top 25% delle violazioni). La perdita dell'attore diventa:
   $$L_\pi = J_{SAC} + \lambda (L_{CVaR}^v - \zeta)$$
   dove $L_{CVaR}^v$ è la media delle peggiori violazioni di Lyapunov a un passo, $\lambda$ è una variabile duale aggiornata tramite ascesa proiettata, e $\zeta$ è una tolleranza. Ciò concentra la pressione del vincolo sugli eventi di instabilità rari ma gravi.

Contributi Chiave

1. Nuova Derivazione di CLF: Una metodologia per ottenere una CLF a forma chiusa tramite l'elevazione Koopman/EDMD e la DARE, incorporata come vincolo Lagrangiano in SAC. Questo evita l'addestramento di una rete Lyapunov ausiliaria, riducendo la complessità computazionale e migliorando l'efficienza dei dati.
2. Analisi Teorica: Dimostrazione che l'aggiornamento dell'attore vincolato riduce localmente la violazione di Lyapunov a un passo e che il soddisfacimento del vincolo implica la stabilità asintotica (o esponenziale, sotto un margine rafforzato) del sistema surrogato elevato.
3. Raffinamenti Strutturali: L'introduzione della normalizzazione del raggio spettrale, dei costi LQR fisicamente significativi e di un ancoraggio $V(0)=0$, che si sono dimostrati necessari affinché la CLF a forma chiusa funzioni correttamente in modelli elevati ad alta dimensionalità.
4. Studio Empirico Completo: Valutazione su sei task di benchmark (stabilizzazione/tracking di quadrotore 2D/3D, stabilizzazione/tracking di cartpole) confrontando LC-SAC con SAC vanilla, una variante con aggregazione della media (LC-SAC-Mean) e un baseline basato sulla modellazione della ricompensa basata sul potenziale (Lyap-RS-SAC).

Risultati
Gli esperimenti, condotti sulla suite safe-control-gym, rivelano un distinto compromesso tra stabilità e performance:

• Task di Stabilizzazione: Su task con setpoint fissi (es. stabilizzazione di cartpole), LC-SAC e le sue varianti eguagliano o superano le prestazioni di vanilla SAC (fino a un miglioramento del +25% su cartpole) riducendo drasticamente la varianza trial-to-trial. Ciò indica che il vincolo previene la divergenza catastrofica della policy durante l'addestramento.
• Task di Tracking: Su task di tracking di traiettorie aggressive, il vincolo di stabilità comporta un costo modesto in termini di ritorno medio (3–15% inferiore rispetto a vanilla SAC) in cambio di una varianza significativamente ridotta e di un addestramento più ripetibile.
• Risultati delle Ablation:
  • Vincolo Hard vs. Reward Shaping: Sostituire il vincolo Lagrangiano "hard" con la modellazione della ricompensa basata sul potenziale (Lyap-RS-SAC) causa un fallimento catastrofico sui task del quadrotore (fino al 94% di crollo del ritorno), dimostrando che i vincoli "hard" sono essenziali per dinamiche ad alta dimensionalità.
  • CVaR vs. Media: L'aggregazione CVaR (LC-SAC) prende di mira le peggiori violazioni, risultando in perdite surrogate medie inferiori rispetto alla variante aggregata sulla media (LC-SAC-Mean), ma con un pavimento medio leggermente più alto.
  • Fix Strutturali: Senza i raffinamenti EDMD proposti (normalizzazione e ancoraggio del bias), la perdita di Lyapunov surrogata per i task 3D era illimitata (868 al passo 4000), bloccando completamente l'apprendimento. I fix hanno ridotto questo valore vicino allo zero, permettendo un addestramento di successo.

Significatività e Rivendicazioni
L'articolo sostiene che LC-SAC fornisce un approccio computazionalmente efficiente e teoricamente fondato all'RL sicuro, sfruttando le proprietà di linearizzazione globale degli operatori di Koopman per derivare certificati di stabilità offline. Il lavoro dimostra che:

1. I vincoli di stabilità possono essere integrati efficacemente nell'RL off-policy senza l'inefficienza campionaria dell'apprendimento di una funzione di Lyapunov online.
2. Un vincolo Lagrangiano "hard" è superiore alla modellazione della ricompensa (reward shaping) per mantenere la stabilità in sistemi complessi e ad alta dimensionalità.
3. I raffinamenti strutturali nella pipeline EDMD sono critici per estendere i metodi di CLF a forma chiusa a sistemi ad alta dimensionalità come i quadrotori 3D.
4. L'approccio offre un compromesso favorevole, scambiando una piccola quantità di performance di picco nei task di tracking aggressivo con una stabilità di addestramento e una robustezza significativamente migliorate.

Gli autori notano che l'attuale CLF quadratica invariante nel tempo è un limite per il tracking aggressivo e variabile nel tempo, suggerendo che il lavoro futuro possa esplorare design di CLF variabili nel tempo o basati sui dati per colmare ulteriormente il divario di performance nei task di tracking.