Learning Neural Controllers with Optimality and Stability Guarantees Using Input-Output Dissipativity

Sintesi Tecnica: Apprendimento di Controllori Neurali con Garanzie di Ottimalità e Stabilità tramite Dissipatività Input-Output

Definizione del Problema
Il deep learning ha mostrato grande potenziale nella risoluzione di complessi compiti di controllo non lineare in settori quali la robotica, i trasporti e i sistemi energetici. Tuttavia, questi metodi mancano tipicamente di garanzie formali per proprietà critiche come la stabilità. Sebbene gli approcci basati sull'apprendimento che utilizzano la sintesi induttiva guidata da controesempi (ad esempio, tramite solver SMT) possano verificare la stabilità per i controllori neurali, essi spesso non riescono a fornire garanzie di ottimalità su un orizzonte infinito. I metodi esistenti ottimizzano frequentemente le prestazioni su traiettorie di campioni finiti, portando a progettazioni "miopi" che non garantiscono l'ottimalità a lungo termine o la stabilità globale. La sfida centrale affrontata in questo articolo è la progettazione di controllori neurali che garantiscano simultaneamente la stabilità asintotica e l'ottimalità rispetto a funzioni di costo definite dall'utente per sistemi non lineari generali.

Metodologia
Gli autori propongono un framework basato sulla teoria della dissipatività input-output, una generalizzazione della teoria di Lyapunov che utilizza funzioni di accumulo (storage functions) e funzioni di tasso di fornitura (supply rate functions) per caratterizzare la dissipazione di energia in coppie input-output.

1. Framework Teorico:

   • Il sistema è modellato come $\dot{x} = f(x) + g(x)u$.
   • Gli autori definiscono una funzione di accumulo $V(x)$ (analogamente a una funzione di Lyapunov) e una funzione di tasso di fornitura $w(x, u)$ in una forma Quadratica-Accumulo-Resistiva (QSR): $w(x, u) = x^\top Q(x)x + 2x^\top S(x)u + u^\top R(x)u$.
   • Stabilità: Se il sistema è dissipativo con $w(x, u) < 0$ sotto una specifica legge di controllo, il sistema a ciclo chiuso è stabile. Il documento deriva una legge di controllo strutturata $\pi(x) = -R(x)^{-1}S(x)^\top x$ che garantisce la stabilità se specifiche disuguaglianze matriciali (che coinvolgono $\Delta(x) = S(x)R(x)^{-1}S(x)^\top - Q(x)$) sono definite positive.
   • Ottimalità: Gli autori dimostrano che questa legge di controllo strutturata è la soluzione ottima di un problema di controllo ottimo a orizzonte infinito. Il funzionale di costo associato è derivato dalle funzioni di accumulo e di tasso di fornitura apprese. Inoltre, dimostrano che se vengono soddisfatte ulteriori condizioni di regolarità, il funzionale di costo diventa una forma quadratica non lineare, permettendo al controllore di essere modellato verso obiettivi specifici definiti dall'utente.

2. Algoritmo di Apprendimento (Sintesi Induttiva Guidata da Controesempi):

   • Parametrizzazione Neurale: La funzione di accumulo $V(x)$ e le funzioni matriciali $Q(x), S(x), R(x)$ sono parametrizzate da reti neurali feed-forward.
   • Riduzione della Dimensionalità: Un contributo tecnico chiave è una riformulazione della condizione di dissipatività. Invece di campionare sullo spazio congiunto stato-input (difficile per input ad alta dimensionalità), gli autori derivano una condizione (Proposizione 8) che dipende solo dallo spazio degli stati $x$. Ciò comporta una disuguaglianza matriciale $M(x) \succ 0$ derivata tramite il complemento di Schur, riducendo significativamente la dimensionalità del campionamento.
   • Ciclo di Addestramento: L'addestramento impiega un approccio ibrido:
     • Learner (Apprendente): Ottimizza i parametri delle reti neurali utilizzando funzioni di perdita derivate dalle condizioni di dissipatività (definitezza positiva di $V$, $R$ e $\Delta$, e la disuguaglianza matriciale $M$).
     • Verifier (Verificatore): Utilizza solver di Satisfiability Modulo Theories (SMT) (specificamente dReal) e il Gradient Descent Proiettato (PGD) per verificare formalmente le condizioni nell'area di interesse.
     • Controesempi: Se il verificatore trova una violazione, il controesempio viene aggiunto all'insieme di addestramento per raffinare le reti neurali. Questo ciclo continua finché le garanzie formali non sono soddisfatte.

Contributi Chiave

• Framework Innovativo: Un nuovo metodo per progettare controllori neurali che fornisce garanzie provabili di stabilità e ottimalità a orizzonte infinito apprendendo la dissipatività input-output.
• Garanzie Teoriche: Dimostrazione che la legge di controllo derivata stabilizza qualsiasi sistema che condivida la stessa proprietà di dissipatività ed è la soluzione ottima di un problema di controllo ottimo specifico con un funzionale di costo appreso.
• Riduzione della Dimensionalità: Una riformulazione della condizione di dissipatività che riduce lo spazio di campionamento dallo spazio prodotto stato-input allo spazio dello stato da solo, rendendo più efficiente l'apprendimento di sistemi a più input.
• Modellazione del Costo (Cost Shaping): Un meccanismo per modellare il funzionale di costo appreso per far sì che corrisponda agli obiettivi definiti dall'utente, colmando il divario tra ottimalità teorica e prestazioni pratiche.

Risultati Sperimentali
Il framework è stato validato su tre ambienti benchmark: un Circuito Elettrico, un Pendolo Invertito (controllo statico e dinamico) e un'asta su un carrello (Rod on a Cart).

• Baseline: Il metodo è stato confrontato con Neural Control Lyapunov Functions (NCLF), Neural ODEs (NODE) e una variante senza modellazione del costo (OURS-NCFS).
• Stabilità: A differenza di NODE, che non è riuscito a stabilizzare il sistema in alcuni scenari nonostante i costi di addestramento inferiori, il metodo proposto ha fornito garanzie di stabilità formale verificate da dReal.
• Ottimalità: Il metodo proposto (OURS) ha costantemente ottenuto costi cumulativi inferiori rispetto a NCLF e, in alcuni casi (ad esempio, Circuito Elettrico, Pendolo Invertito), ha eguagliato o superato NODE pur mantenendo la stabilità.
• Caso Lineare: Nell'esperimento del Circuito Elettrico (un sistema lineare), il controllore appreso ha replicato con successo la soluzione teorica del Regolatore Quadratico Lineare (LQR), dimostrando la capacità del framework di recuperare soluzioni ottime note.

Significatività e Rivendicazioni
Il documento afferma che la sua importanza primaria risiede nell'unificare le garanzie di stabilità e ottimalità all'interno di un framework di apprendimento. Sfruttando la teoria della dissipatività, gli autori sostengono che il loro approccio superi i limiti dell'addestramento basato puramente sulle traiettorie (che manca di garanzie a orizzonte infinito) e dell'apprendimento tradizionale basato su Lyapunov (che spesso manca di certificati di ottimalità espliciti). La capacità di apprendere direttamente il tasso di fornitura e le funzioni di accumulo permette al controllore di ereditare proprietà di ottimalità che possono essere modellate verso obiettivi specifici definiti dall'utente. Gli autori osservano che, sebbene l'apprendimento di queste funzioni sotto vincoli rigidi rimanga una sfida, la loro riformulazione e la sintesi guidata dalla verifica forniscono una via robusta verso un controllo neurale sicuro e ottimale.