Sintesi Tecnica: Margini di Stabilità di Controller a Reti Neurali

Definizione del Problema

I controller standard a rete neurale (NN) addestrati tramite apprendimento per rinforzo (RL) spesso mancano di garanzie riguardo alla stabilità ad anello chiuso, limitando il loro dispiegamento in domini critici per la sicurezza come l'aerospazio, dove gli enti regolatori richiedono metriche di robustezza specifiche. Sebbene lavori recenti abbiano affrontato la verifica e la sintesi di controller NN per la stabilità asintotica, esiste una lacuna nei metodi in grado di addestrare controller a reti neurali per massimizzare i premi (reward) di prestazione aderendo rigorosamente ai requisiti di robustezza classici, nello specifico i margini a disco (disk margins).

Il documento affronta il problema dell'ottimizzazione vincolata di addestrare un controller a rete neurale $K$ per massimizzare un reward cumulativo atteso su una traiettoria, soggetto al vincolo che il sistema ad anello chiuso rimanga stabile per una classe di impianti $\mathcal{M}_\alpha$. Questa classe rappresenta un impianto Lineare Tempo-Invariante (LTI) nominale interconnesso con incertezze (sia LTI che non lineari) limitate da un margine a disco $D(\alpha, \sigma)$. Il margine a disco è scelto perché tiene conto delle variazioni simultanee di guadagno e fase, offrendo una garanzia di robustezza più rigorosa rispetto ai classici margini di guadagno e fase.

Metodologia

1. Modellazione del Sistema

Gli autori modellano l'architettura di controllo come un'interconnessione tra un impianto LTI nominale e un controller a rete neurale, entrambi soggetti a blocchi di incertezza.

• Impianto: L'impianto nominale è LTI. L'incertezza è modellata come un blocco moltiplicativo di ingresso $H_{\Delta p}$, dove l'incertezza $\Delta_p$ è limitata nella norma $L_2$ da $\alpha$.
• Controller: La rete neurale è modellata come una Rete Neurale Implicita Ricorrente (RINN). Essa consiste in un sistema LTI $G_k$ interconnesso con funzioni di attivazione statiche, elemento per elemento $\phi$ (es. tanh, ReLU). Questa formulazione permette al controller di avere memoria (dinamiche) ed comprende varie architetture, inclusi i network feedforward e i network residui.
• Caratterizzazione dell'Incertezza: Sia l'incertezza dell'impianto $\Delta_p$ che le funzioni di attivazione del controller $\phi$ sono caratterizzate tramite Vincoli Quadratici Integrali (IQC). L'incertezza $\Delta_p$ soddisfa un IQC di tipo sector-bound relativo al suo guadagno $L_2$, mentre le funzioni di attivazione soddisfano IQC di settore e di restrizione della pendenza (slope-restriction).

2. Certificazione della Stabilità

Il contributo teorico principale è una condizione per certificare che un particolare controller RINN soddisfi il margine a disco $D(\alpha, \sigma)$.

• Il sistema ad anello chiuso è riformulato come un sistema LTI interconnesso con un blocco di incertezza composito contenente sia $\Delta_p$ che $\phi$.
• Utilizzando un approccio basato sulla funzione di Lyapunov combinato con la teoria IQC, gli autori derivano una condizione di Disuguaglianza Matriciale Lineare (LMI) (Lemma 3.1). Questa condizione comporta la ricerca di una matrice $X$ definita positiva e di matrici moltiplicatrici diagonali $\Lambda_p$ e $\Lambda_k$ tali che una specifica disuguaglianza matriciale sia soddisfatta.
• L'applicazione diretta di questa LMI per l'addestramento è computazionalmente intrattabile perché la disuguaglianza è bilineare nei parametri del controller $\theta$ e nella matrice di Lyapunov $X$.

3. Algoritmo di Addestramento con Proiezione

Per sintetizzare un controller che massimizzi il reward rispettando il vincolo di stabilità, gli autori propongono un algoritmo di addestramento iterativo (Algoritmo 1) che alterna due fasi:

1. Fase di Reinforcement Learning: Una fase standard di RL (es. Proximal Policy Optimization) aggiorna i parametri del controller $\theta$ per massimizzare il reward. I parametri risultanti $\theta'$ potrebbero violare il margine di stabilità.
2. Fase di Imposizione del Margine di Stabilità: Se $\theta'$ non soddisfa il margine, viene proiettato nuovamente nell'insieme dei controller stabilizzanti.
   • Per rendere concave questa proiezione, gli autori utilizzano un cambio di variabili (ispirato a [8]) per trasformare i parametri del controller $\theta$ e la matrice di Lyapunov $X$ in nuove variabili $\hat{\theta}$ (che includono matrici $S, R, N_A, \dots$).
   • In questo spazio trasformato, la condizione di stabilità diventa affine in $\hat{\theta}$, permettendo alla proiezione di essere formulata come un Programma Semidefinito (SDP).
   • L'algoritmo risolve un SDP per trovare il $\hat{\theta}$ più vicino al $\hat{\theta}'$ corrente, quindi ricostruisce i parametri del controller $\theta$ dalla soluzione.
   • L'algoritmo alterna anche il moltiplicatore $\Lambda_p$ per ridurre il conservativismo, tentando di certificare il margine direttamente prima di ricorrere alla proiezione completa se la certificazione fallisce.

Contributi Chiave

• Framework di Addestramento: Un nuovo metodo per addestrare controller a reti neurali che impone esplicitamente i vincoli del margine a disco durante il processo di apprendimento per rinforzo.
• Formulazione Matematica: La derivazione delle condizioni LMI per la certificazione del margine a disco di controller RINN utilizzando gli IQC sia per l'incertezza dell'impianto che per le funzioni di attivazione.
• Proiezione Convessa: Lo sviluppo di un passaggio di proiezione computazionalmente trattabile tramite un cambio di variabili e un SDP, consentendo l'imposizione di vincoli di stabilità non convessi all'interno di un ciclo di addestramento basato sul gradiente.
• Generalizzazione: L'approccio si estende oltre i controller statici ai controller dinamici (ricorrenti) e gestisce incertezze descritte da IQC, coprendo sia dinamiche LTI che non lineari tempo-varianti.

Risultati Sperimentali

Il metodo è stato valutato su una simulazione di una asta flessibile su un carrello, un sistema con dinamiche complesse.

• Comparatori: Il metodo proposto (SM-RINN) è stato confrontato con:
  • Un RINN non vincolato (U-RINN).
  • Una rete neurale completamente connessa standard (FCNN).
  • Un controller LTI addestrato con gli stessi vincoli di stabilità.
• Vincoli: Tutti i controller vincolati (SM-RINN e LTI) dovevano soddisfare un margine a disco con $\alpha = 0.353$ e $\sigma = 0$, corrispondenti a limiti inferiori di 3 dB di margine di guadagno e 20° di margine di fase.
• Prestazioni:
  • I controller non vincolati (U-RINN e FCNN) hanno ottenuto i reward più elevati (~3000) ma non offrivano garanzie di stabilità.
  • Il controller SM-RINN vincolato ha ottenuto un reward di circa 2250.
  • Il controller LTI vincolato ha ottenuto il reward più basso (~1500).
• Trade-off: I risultati dimostrano il tipico compromesso tra prestazioni e robustezza. Tuttavia, l'SM-RINN ha superato significativamente il controller LTI vincolato (un miglioramento del ~50% nel reward) mantenendo esattamente le stesse garanzie di robustezza.

Significato e Rivendicazioni

Il documento afferma che questo metodo consente l'uso di reti neurali in applicazioni critiche per la sicurezza dove le agenzie regolatorie richiedono margini di stabilità. Integrando i vincoli di robustezza direttamente nel ciclo di addestramento tramite proiezione SDP, gli autori dimostrano che i controller a reti neurali possono raggiungere metriche di prestazione (reward) superiori rispetto ai controller lineari tradizionali, pur soddisfacendo gli stessi rigorosi requisiti di robustezza. Il lavoro colma il divario tra la flessibilità del deep learning e le garanzie di sicurezza richieste dalla teoria del controllo classico.