Learned Lyapunov Shielding for Adaptive Control

Riepilogo Tecnico: Certificati di Lyapunov Appresi per l'Apprendimento per Rinforzo Residuo Sicuro su Sistemi di Eulero-Lagrange

Enunciato del Problema
I controllori adattivi per sistemi di Eulero-Lagrange, come il classico controllore Slotine–Li, si basano sulla proprietà di linearità nei parametri della dinamica dei corpi rigidi e sulla conoscenza a priori delle masse, dei termini di Coriolis e di gravità. Tuttavia, i sistemi robotici pratici spesso presentano non linearità non modellate (ad esempio, isteresi dell'attrito, elasticità delle giunzioni, effetti di corpi deformabili) che resistono a una parametrizzazione pulita. Sebbene l'Apprendimento per Rinforzo (RL) offra una via per apprendere questi residui, il RL standard manca di garanzie formali di stabilità e spesso fallisce nel convergere quando applicato a compiti di controllo critici per la sicurezza. Gli approcci esistenti alle funzioni di Lyapunov apprese si affidano spesso ad architetture neurali generiche (ad esempio, MLP con attivazioni tanh) che richiedono verifiche a posteriori o ottimizzazioni complesse per garantire la positività definita, portando spesso a filtri di sicurezza non ammissibili durante la distribuzione.

Metodologia
Gli autori propongono un framework che potenzia il controllore adattivo Slotine–Li con tre componenti appresi, integrati in una politica Soft Actor–Critic (SAC) vincolata:

1. Funzione di Lyapunov Quadratica Strutturata ($V_\psi$): Invece di una rete neurale generica, il candidato di Lyapunov è parametrizzato come $V_\psi(x) = x^\top P_\psi(x) x$, dove $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$. Qui, $L_\psi$ è un MLP triangolare inferiore. Questa parametrizzazione di Cholesky garantisce la positività definita per costruzione.
2. Politica Residua SAC: Un agente Soft Actor–Critic apprende una coppia residua limitata $\Delta \tau$ per correggere la linea di base analitica Slotine–Li. La politica è addestrata per massimizzare la ricompensa (prestazioni di inseguimento) soggetta a un vincolo sulla violazione della diminuzione di Lyapunov.
3. Rete Neurale Informata dalla Fisica (PINN): Una rete $f_\theta$ stima le dinamiche non modellate (residui) ed è addestrata tramite una perdita fisica che impone la struttura dell'equazione di Eulero-Lagrange. Questo modello è utilizzato per stimare il campo di deriva per il filtro di sicurezza.

Filtro di Sicurezza e Meccanismo di Stabilità
L'innovazione centrale è un filtro di sicurezza in forma chiusa derivato dal singolo vincolo affine $\dot{V}_\psi + \alpha V_\psi \leq 0$. Poiché le dinamiche del sistema sono affini nel controllo ($\dot{x} = h(x) + g(x)\tau$) e $V_\psi$ è quadratica, il vincolo diventa lineare in $\tau$ ($b(x)^\top \tau \leq c(x)$).

• Proiezione in Forma Chiusa: Il filtro proietta qualsiasi output grezzo della politica $\tau_{raw}$ sul semispazio sicuro tramite una semplice proiezione euclidea, evitando la necessità di solver di Programmazione Quadratica (QP) online.
• Condizione di Ammissibilità: Il documento dimostra che questo filtro è globalmente ammissibile se una "condizione di decadimento della deriva" vale sull'insieme $Z$ dove l'autorità di controllo svanisce ($b(x)=0$). Nello specifico, le dinamiche di deriva naturali devono già essere decrescenti secondo Lyapunov su questo insieme.
• Robustezza: Una versione robusta del filtro incorpora l'errore di approssimazione della PINN ($\delta$) e il limite del gradiente di $V_\psi$ ($L_V$) per garantire la stabilità anche quando il modello delle dinamiche appreso è imperfetto.

Contributi Chiave
Il documento stabilisce cinque contributi teorici ed empirici:

1. Ammissibilità in Forma Chiusa: La parametrizzazione quadratica strutturata produce un QP a vincolo singolo con una soluzione in forma chiusa. Gli autori dimostrano l'ammissibilità globale sotto una condizione di decadimento della deriva verificabile (Teorema 4).
2. Garanzie di Stabilità: È dimostrata la stabilità esponenziale sotto schermatura esatta. Viene fornita un'estensione robusta in cui il margine di stabilità dipende esplicitamente dall'errore di approssimazione della PINN (Teorema 13).
3. Convergenza: È dimostrato che gli aggiornamenti congiunti della politica, del certificato di Lyapunov e del moltiplicatore di Lagrange convergono quasi certamente a un punto KKT utilizzando uno schema di approssimazione stocastica a tre scale temporali (Teorema 10).
4. Generalizzazione: È derivato un limite di generalizzazione PAC (Probabilmente Corretto Approssimativamente), certificando la funzione di Lyapunov appresa su insiemi compatti basati su campioni finiti (Proposizione 14).
5. Validazione Empirica: Esperimenti estensivi su un manipolatore a 2 gradi di libertà (DOF) e su un Franka Emika Panda a 7 DOF dimostrano l'efficacia e la scalabilità del framework.

Risultati Sperimentali

• Manipolatore a 2 DOF: Su un sistema con attrito non lineare e carico variabile, il certificato di Lyapunov appreso è stato identificato come la fonte dominante del guadagno nelle prestazioni. Rispetto alla linea di base analitica Slotine–Li, il metodo proposto ha ridotto l'errore di inseguimento del 41% sotto attrito nominale e del 24% sotto attrito aggressivo al centroide della distribuzione di addestramento. Studi di ablazione hanno confermato che il certificato appreso ($V_\psi$) ha fornito un guadagno significativamente maggiore rispetto alla PINN o alla politica SAC da sole.
• Scalabilità a 7 DOF: Uno studio su un Franka Panda a 7 DOF (spazio degli stati a 35 dimensioni) ha confermato che l'intera pipeline (PINN basata su Transformer, $V_\psi$ strutturata, scudo in forma chiusa) converge in modo pulito su scala industriale. Rispetto a una linea di base esatta di coppia calcolata (che ha accesso alle dinamiche vere), il framework ha raggiunto un inseguimento entro l'1,7% della linea di base, confermando che agisce come un filtro di sicurezza certificato piuttosto che come un potenziatore delle prestazioni quando la linea di base è già ottimale.
• Modalità di Fallimento: Lo studio ha identificato una "patologia di avvio caldo" in cui un certificato addestrato sotto una specifica struttura di ricompensa diventa avversario rispetto a nuovi obiettivi di ricompensa, rendendo necessaria una nuova inizializzazione. È stata inoltre notata un'instabilità numerica vicino agli stati dove $\nabla V_\psi \approx 0$, richiedendo un meccanismo di gating per prevenire l'amplificazione della coppia.

Significato e Affermazioni
Il documento afferma che la parametrizzazione quadratica strutturata è la scelta progettuale centrale che abilita l'intero framework. Garantendo la positività definita per costruzione, consente un filtro di sicurezza in forma chiusa ed efficientemente computazionale che garantisce l'ammissibilità senza ottimizzazione online. Il lavoro dimostra che i componenti appresi possono essere integrati nel controllo adattivo classico per gestire dinamiche non modellate mantenendo rigorose garanzie di stabilità. Gli autori sottolineano che il valore del framework risiede nell'apprendimento congiunto della politica, del certificato e del residuo dinamico sotto vincoli di sicurezza formali, piuttosto che in qualsiasi singolo componente in isolamento. I risultati suggeriscono che tali framework sono praticamente utilizzabili su diverse scale di manipolatori, a condizione che la linea di base analitica non sia già perfetta e che la distribuzione di addestramento copra l'intervallo operativo.