Sintesi Tecnica: Controllo della Varianza Residua Guidato da Certificati per Controller Residui Appresi in Sistemi Non Lineari

1. Definizione del Problema

Il documento affronta una lacuna critica nel controllo residuo appreso (residual learned control) per sistemi non lineari a tempo discreto. In questo paradigma, una rete neurale appresa (l'attore residuo) compensa gli errori di modellazione o i disturbi su un controllore nominale. Sebbene la media del residuo possa correggere il bias, le sue fluttuazioni (varianza) vengono iniettate nell'anello chiuso.

Il problema centrale identificato è che nei sistemi che esibiscono amplificazione transitoria non normale, una sorgente di azione residua che appare piccola in termini di varianza euclidea può generare escursioni della covarianza dello stato e dell'energia di Lyapunov sproporzionatamente grandi dopo la propagazione attraverso la dinamica locale a ciclo chiuso. I metodi di sicurezza esistenti non riescono ad affrontare questo specifico meccanismo:

• Regolarizzazione lato sorgente (ad esempio, penalizzando l'ampiezza dell'azione o la fluidità temporale) tratta tutte le direzioni residue con la stessa dimensione euclidea come ugualmente rischiose, ignorando la geometria dell'amplificatore locale a ciclo chiuso.
• Filtri di sicurezza a valle (ad esempio, le Control Barrier Functions) riparano i comandi non sicuri ma non spiegano né prevengono il motivo per cui specifiche direzioni di covarianza residua creino ripetutamente un carico elevato per questi filtri.
• Certificati surrogati locali forniscono garanzie di stabilità ma mancano di un meccanismo per riportare queste metriche lato stato allo spazio dell'azione residua per guidare l'addestramento dell'attore.

Il documento sostiene che, senza un percorso integrato che colleghi la sorgente residua, l'amplificatore non normale locale e il certificato a valle, lo smoothing lato sorgente non può ridurre efficacemente la covarianza dello stato e i livelli di riparazione a valle rimarranno eccessivamente sollecitati.

2. Metodologia: Controllo della Varianza Residua Guidato da Certificati (CG-RVC)

Gli autori propongono il CG-RVC, un wrapper informativo sul controllo attorno a uno standard backbone attore-critico residuo (specificamente TD3 negli esperimenti). Non sostituisce l'apprendimento per rinforzo, ma lo aumenta con un meccanismo di modellazione della sorgente guidato da un certificato.

A. Catena di Modellazione

Il metodo costruisce una specifica catena di modellazione:

1. Pianta Non Lineare: Il sistema fisico $x_{t+1} = f(x_t, u_t, d_t)$.
2. Surrogato Locale: Un modello lifting o linearizzato affine all'input in coordinate locali $z_t$: $z_{t+1} = K_0 z_t + \Phi_u u_t + w_t$. Qui, $\Phi_u$ rappresenta il canale di input residuo.
3. Amplificatore Grezzo: Il surrogato nominale a ciclo chiuso $K_{raw} = K_0 - \Phi_u L$.
4. Modello del Certificato Proiettato: Per garantire la stabilità per l'analisi, $K_{raw}$ è proiettato in una matrice stabile $K_{proj}$ con un raggio spettrale $\rho(K_{proj}) \le \beta < 1$.
5. Certificato di Lyapunov: Una matrice $P$ è calcolata tale che $K_{proj}^\top P K_{proj} - P = -Q$ (con $Q \succ 0$).

B. Il Meccanismo Centrale: Metrica di Pullback

L'innovazione chiave è la derivazione di una metrica di covarianza dell'azione residua anisotropa tramite il pullback del certificato di Lyapunov lato stato attraverso il canale di input:
$$M = \Phi_u^\top P \Phi_u$$
Questa metrica $M$ pesa le direzioni residue in base al loro potenziale di crescita dell'energia a valle (certificato da $P$) piuttosto che alla loro magnitudo euclidea.

C. Obiettivo dell'Attore ed Esecuzione

• Aggiornamento dell'Attore: L'obiettivo dell'attore è modificato per includere una penalità della varianza residua pesata dal certificato (denominata P-ALE). Il termine di penalità è proporzionale a $\text{tr}(M \hat{\Sigma}_r)$, dove $\hat{\Sigma}_r$ è la covarianza empirica degli output residui. Ciò incoraggia l'attore a sopprimere la varianza nelle direzioni che l'amplificatore locale amplificherebbe maggiormente.
• Livello di Esecuzione: L'azione applicata subisce uno smoothing programmato in base al rischio, limitazione di velocità e proiezione di sicurezza. Il documento distingue tra modellazione della sorgente (la penalità P-ALE) e riparazione di fattibilità (proiezione). P-ALE riduce la probabilità e la magnitudo delle grandi correzioni necessarie al livello di proiezione.
• Diagnostica: Il sistema registra i residui Bellman-Lyapunov posteriori per verificare se il comportamento appreso rimane coerente con il modello del certificato locale.

3. Contributi Chiave

1. Identificazione di una Lacuna: Il documento identifica l'assenza di un percorso di apprendimento residuo che consideri congiuntamente il canale di input residuo, l'amplificatore non normale locale e il certificato a valle.
2. Metrica Addestrabile ($M$): Trasforma questa lacuna in una metrica addestrabile portando indietro il certificato di Lyapunov proiettato nello spazio dell'azione ($M = \Phi_u^\top P \Phi_u$), pesando le direzioni residue secondo l'energia del certificato a valle.
3. Framework CG-RVC: Propone un wrapper completo che integra questa metrica in un loop attore-critico standard, separando la modellazione della sorgente dalla riparazione al tempo di esecuzione.
4. Limiti Teorici: Il documento fornisce limiti robusti sulla propagazione della varianza sotto mismatch non lineare sollevato, dimostrando che anche piccoli errori di modello euclidei possono produrre grandi errori di energia di Lyapunov se allineati con direzioni ad alto guadagno non normali.

4. Risultati Sperimentali

Lo studio impiega interventi controllati e confronti corrispondenti per isolare il meccanismo amplificatore-sorgente.

A. Interventi Controllati (Validazione del Meccanismo)

• Isolamento dell'Amplificatore (CI-1): Utilizzando un sistema sintetico 2D con autovalori fissi ma varianti nel condizionamento degli autovettori, gli autori hanno dimostrato che l'aumento del numero di condizionamento $\kappa(V)$ (non normalità) ha aumentato la traccia della covarianza dello stato da ~0.37 a ~15.66, confermando che la geometria non normale agisce come un amplificatore di varianza indipendente.
• Intervento Lato Sorgente (CI-2): Il filtraggio della sorgente di input sotto un amplificatore non normale fisso ha ridotto la covarianza dello stato di circa il 21.8% e la varianza dell'azione del 92.1%, provando che la soppressione della sorgente è efficace anche con un amplificatore fisso.
• Iniezione Direzionale MIMO: Nelle simulazioni di un quadrotore Full3D, l'iniezione di covarianze residue a traccia uguale in diverse direzioni ha prodotto rapporti di energia dello stato misurati di 94.2–141.0×. Ciò ha confermato che la metrica $M$ pesata dal certificato predice correttamente che la direzione conta molto più della magnitide.

B. Confronti di Prestazione

In un compito di RL vincolato con alto rumore ($\sigma=0.30$) (oscillatore di Liénard) con 5 seed:

• CG-RVC vs. TD3 Diretto: CG-RVC ha ridotto l'RMSE del 47.1%, la varianza dell'azione applicata del 94.7%, l'MSE della differenza d'azione del 97.7% e il massimo di Bellman-Lyapunov posteriore del 94.3%.
• Sicurezza: CG-RVC ha ridotto le violazioni di sicurezza dense da 0.9389 (TD3 Diretto) a 0.0.
• Analisi dei Componenti: I confronti hanno mostrato che né le penalità di varianza scalare, né lo smoothing temporale, né la proiezione da soli erano sufficienti. Solo la combinazione di P-ALE (modellazione della sorgente), smoothing e proiezione ha raggiunto prestazioni ottimali in tutti i parametri.

C. Simulazioni Aeree

• Quadrotore Planare: Il filtraggio ha ridotto la varianza dell'azione in tutti gli scenari. Tuttavia, in un caso limite di "Mismatch del Carico Utile", la varianza della sorgente scalare è scesa mentre la covarianza dello stato è salita, validando la necessità di penalità sensibili alla direzione.
• Quadrotore Full3D: In un diagnostico numerico a 5 seed (non RL end-to-end completo), l'iniezione di sorgente filtrata ha ridotto la covarianza dello stato del 65.7–83.8% e la varianza dei motori del 90.3–94.5% attraverso quattro scenari.

5. Significato e Rivendicazioni

Il documento afferma che il CG-RVC fornisce un modo principato per modellare l'apprendimento residuo in presenza di dinamiche non normali.

• Ruoli Distinti: Chiarisce che la modellazione della sorgente (tramite P-ALE) e la proiezione di sicurezza svolgono ruoli distinti: la prima riduce il carico sulla seconda prevenendo escursioni ad alta energia prima che si verifichino.
• Oltre lo Smoothing Euclideo: I risultati dimostrano che ridurre la varianza euclidea dell'azione o la rugosità temporale è insufficiente; la covarianza residua deve essere modellata secondo la geometria locale a ciclo chiuso.
• Ambito Modesto: Gli autori dichiarano esplicitamente che le simulazioni aeree servono come diagnostica del meccanismo piuttosto che come benchmark di RL end-to-end per l'impiego fisico. I risultati Full3D sono supplementi numerici ai dati RL 2D. Il metodo è presentato come un wrapper per gli existing backbone di RL, non come un sostituto, e dipende dalla disponibilità di un surrogato locale e di un certificato di sicurezza.

Il lavoro conclude che l'integrazione della modellazione della sorgente guidata dal certificato con la riparazione al tempo di esecuzione offre un percorso robusto per l'impiego di controllori basati sull'apprendimento in ambienti non lineari critici per la sicurezza, dove l'amplificazione transitoria rappresenta un rischio.