Riepilogo Tecnico: Imparare Quando Agire tramite Assicurazione in Esecuzione

Enunciato del Problema

L'apprendimento per rinforzo (RL) sicuro si è concentrato prevalentemente sul determinare cosa un agente dovrebbe fare, trascurando spesso la domanda critica di quando esso debba agire. Nei sistemi cyber-fisici critici per la sicurezza, il controllo a tasso fisso viene eseguito ad ogni passo temporale indipendentemente dalle variazioni di stato, sostenendo costi non necessari in termini di rilevamento, calcolo e larghezza di banda. Sebbene i metodi analitici classici come il Controllo Auto-Attivato (STC) e il Controllo Attivato da Eventi (ETC) offrano forti garanzie di stabilità, essi spesso si basano su regole di attivazione conservative basate su funzioni di Lyapunov o modelli, che non riescono a sfruttare i risparmi nelle comunicazioni in sistemi non lineari, sottodimensionati o ad alta dimensionalità. Al contrario, gli approcci basati sull'apprendimento esistenti spesso mancano di garanzie formali di sicurezza sulla decisione di attivazione, si affidano a modelli di dinamica appresi o affrontano impostazioni a tempo continuo senza meccanismi di sicurezza temporale rigidi.

La sfida centrale affrontata è superare l'assunzione di tasso fisso senza sacrificare la sicurezza. L'obiettivo è apprendere una politica che ottimizzi congiuntamente gli input di controllo e gli intervalli inter-campionamento (il tempo fino al prossimo aggiornamento) per massimizzare l'Intervallo Inter-Campionamento Medio (MSI), garantendo al contempo la stabilità dell'anello chiuso.

Metodologia

Gli autori propongono un quadro unificato di RL supervisionato da un livello di Assicurazione in Esecuzione (RTA) che agisce come scudo di sicurezza. Il sistema opera in STC a tempo discreto, dove ad ogni istante decisionale $t_k$, l'agente seleziona un input di controllo $u_k$ e una durata $\tau_k$ da un insieme discreto $\mathcal{T} = \{\tau_{min}, 2\tau_{min}, \dots, N\tau_{min}\}$.

1. Livello di Assicurazione in Esecuzione (RTA)

Il livello RTA fornisce un override di sicurezza rigido, distinto dai metodi MDP vincolati che impongono la sicurezza solo in media.

• Previsione: Ad ogni passo, il sistema calcola una previsione linearizzata a un passo avanti di una grandezza scalare critica per la sicurezza $q_k = c^\top x_k$:
  $$\hat{q}_{k+1} = q_k + \tau_k \dot{q}_k + \frac{1}{2}\tau_k^2 \ddot{q}_{lin}(x_k, u_k)$$
• Meccanismo di Override: Se lo stato previsto viola una soglia di sicurezza ($|\hat{q}_{k+1}| > \theta_{RTA}$) o supera i limiti di posizione, l'azione di RL viene immediatamente sovrascritta. Il sistema sostituisce un controllo di backup precalcolato di tipo Regolatore Lineare-Quadratico (LQR) $u_k = -Kx_k$ e resetta l'intervallo alla durata sicura minima $\tau_{min}$.
• Garanzia di Sicurezza: Il controllore di backup è progettato in modo tale che, se non è saturato, la funzione di Lyapunov $V(x)$ sia garantita a diminuire punto per punto. Ciò fornisce una garanzia strettamente più forte rispetto ai vincoli basati sull'aspettativa.

2. Quadro di Apprendimento

• Ricompensa di Lyapunov: Il quadro utilizza una funzione di Lyapunov $V(x) = x^\top P x$ derivata dall'Equazione di Riccati Algebrica a Tempo Continuo (CARE) del sistema linearizzato. La funzione di ricompensa include un termine di stabilità basato sulla diminuzione di $V(x)$ e un termine di efficienza nelle comunicazioni proporzionale al quadrato dell'intervallo inter-campionamento normalizzato.
• Spazio delle Azioni: L'agente apprende una politica congiunta per $(u_k, \tau_k)$. Per sistemi Single-Input Single-Output (SISO), viene utilizzata una Deep Q-Network (DQN); per sistemi Multi-Input Multi-Output (MIMO) con ampi spazi di azione (ad esempio, il Quadrotore 3D), viene impiegato Soft Actor-Critic (SAC) su uno spazio di azione continuo.
• Estensione Condizionata alle Preferenze: Per evitare di addestrare modelli separati per diversi compromessi stabilità-comunicazione, viene addestrato un agente condizionato alle preferenze, in cui un peso $w_c$ (che controlla il compromesso) viene campionato all'inizio di ogni episodio. Ciò consente a un singolo modello di recuperare l'intera frontiera del compromesso.

Contributi Chiave

1. Formulazione RL Congiunta con Sicurezza Rigida: Una formulazione innovativa che apprende simultaneamente input di controllo e intervalli inter-campionamento sotto un certificato di sicurezza puntuale rigido. A differenza dei precedenti RL protetti che agiscono su passi temporali fissi, questo scudo agisce direttamente sulla decisione temporale $\tau_k$.
2. Ricompensa di Lyapunov Derivata da CARE: Un segnale di ricompensa trasferibile derivato dalle soluzioni CARE che funziona attraverso ambienti SISO e MIMO senza riprogettazione, consentendo a un singolo peso $w_c$ di tracciare l'intera frontiera del compromesso stabilità-comunicazione.
3. Validazione Empirica Sistematica: Valutazione estesa su quattro ambienti (Pendolo Invertito, CartPole, Quadrotore Planare e Quadrotore 3D) che dimostra:
   • Miglioramenti delle Prestazioni: La politica appresa raggiunge un MSI superiore di 1,45× a 3,51× rispetto alle basi classiche Lyapunov-STC.
   • Necessità della Temporizzazione Adattiva: Un controllore LQR fisso che opera allo stesso tasso medio della politica appresa è instabile su tutti i sistemi testati, dimostrando che la temporizzazione adattiva (campionamento rapido vicino all'instabilità e lento vicino all'equilibrio) è essenziale per la sicurezza, non solo una riduzione del tasso medio.
   • Necessità di RTA: Studi di ablazione mostrano che la rimozione dello scudo RTA riduce l'MSI di 1,27–1,84× e degrada significativamente le norme degli stati, confermando il ruolo dello scudo nel plasmare lo spazio delle politiche ammissibili.
   • Confronto con Metodi Lagrangiani: A differenza delle basi Lagrangian-DQN che impongono la sicurezza in media, il metodo proposto raggiunge zero violazioni di sicurezza rigide, mentre i metodi Lagrangiani accumulano fino al 35% di violazioni rigide e raggiungono un MSI inferiore del 21–52%.
4. Scalabilità ad Alte Dimensioni: Uno studio di caso su un Quadrotore 3D a 12 stati dove la progettazione analitica STC è intrattabile. Il quadro raggiunge un MSI di 0,302 s (94% dell'intervallo massimo possibile) con il 0% di attivazione RTA, mentre l'STC classico rimane bloccato all'intervallo minimo $\tau_{min}$.

Risultati

• Efficienza nelle Comunicazioni: Su Pendolo Invertito, CartPole e Quadrotore Planare, la politica RL-STC supera significativamente le basi analitiche classiche. Ad esempio, il Quadrotore Planare raggiunge un miglioramento di 3,51× nell'MSI rispetto all'STC classico.
• Robustezza: Il quadro dimostra un degrado graduale sotto variazioni di massa del sistema del $\pm 30\%$ e disturbi additivi. Sebbene l'attivazione RTA aumenti con l'ampiezza del disturbo, il sistema rimane stabile e il livello RTA assorbe le perturbazioni che la politica appresa non può gestire da sola.
• Indipendenza dall'Algoritmo: I risultati sono coerenti tra DQN (azioni discrete) e SAC (azioni continue), confermando la validità del quadro attraverso diversi paradigmi di ottimizzazione.
• Efficienza Computazionale: L'estensione condizionata alle preferenze recupera l'intera frontiera del compromesso da un singolo modello addestrato con solo 2/11 del calcolo richiesto per una scansione completa dei pesi.

Significato e Affermazioni

Il documento afferma che la domanda di quando agire è tanto consequenziale quanto cosa fare. Integrando uno scudo RTA rigido con l'ottimizzazione congiunta RL, il quadro consente agli agenti di scoprire intervalli inter-campionamento non conservativi che sono analiticamente difficili da derivare, in particolare in sistemi ad alta dimensionalità o non lineari.

Gli autori sottolineano che il loro approccio fornisce garanzie formali di sicurezza puntuale (tramite il backup a diminuzione di Lyapunov) che i metodi basati su vincoli di aspettativa non possono fornire per costruzione. Il quadro è limitato alla stabilizzazione attorno a equilibri noti dove le soluzioni CARE e le previsioni linearizzate sono ben definite, ma i risultati empirici sul Quadrotore a 12 stati suggeriscono che l'approccio può estendersi a regimi in cui i certificati formali non si applicano strettamente all'intervallo minimo scelto, affidandosi invece al segnale di plasmaggio durante l'addestramento per rispettare i predicati di sicurezza.

Il lavoro stabilisce che la temporizzazione adattiva è il fattore abilitante chiave per la sparsità sicura; la riduzione statica dei tassi di controllo è insufficiente e spesso porta all'instabilità. Il quadro proposto offre un percorso trattabile verso il controllo efficiente nelle comunicazioni nei sistemi critici per la sicurezza senza sacrificare le rigorose garanzie di sicurezza richieste per il dispiegamento.