Set-Based Value Function Characterization and Neural Approximation of Stabilization Domains for Input-Constrained Discrete-Time Systems

Titolo

Caratterizzazione Set-Based della Funzione di Valore e Approssimazione Neurale dei Domini di Stabilizzazione per Sistemi a Tempo Discreto con Vincoli di Ingresso.

1. Il Problema

Il lavoro affronta la sfida fondamentale nella teoria del controllo dei sistemi non lineari: la progettazione di leggi di feedback che garantiscano la stabilità asintotica verso un punto di equilibrio o un insieme target, tenendo conto dei vincoli sull'ingresso (input constraints).
Il problema centrale è la stima accurata del Dominio di Stabilizzazione (DOS), ovvero l'insieme di tutte le condizioni iniziali che possono essere portate asintoticamente all'insieme target (spesso un insieme invariantemente controllato, CIS).
Le limitazioni delle metodologie esistenti includono:

• Metodi basati su Lyapunov: Spesso forniscono solo stime conservative (sottovalutate) del DOS e non garantiscono la massimalità dell'insieme.
• Programmazione Dinamica: Sebbene teoricamente esatta, richiede la discretizzazione dello spazio degli stati, portando a una complessità computazionale esponenziale (maledizione della dimensionalità).
• Approcci basati su Dati/Reti Neurali: Metodi recenti che apprendono funzioni di Lyapunov neurali spesso mancano di garanzie teoriche sulla massimalità del DOS stimato e richiedono verifiche formali costose.

2. Metodologia Proposta

Gli autori propongono un quadro innovativo che integra la teoria dei sistemi controllati con l'apprendimento automatico "Physics-Informed" (PINN). La metodologia si articola in tre fasi principali:

A. Funzioni di Valore Set-Based

Invece di definire la funzione di valore su singoli punti dello stato, gli autori la definiscono su spazi metrici di insiemi compatti ($K(\mathbb{R}^n)$).

• Viene introdotta una funzione di costo $\Psi(X)$ basata sulla distanza minima di un insieme $X$ dall'insieme target $A$.
• La funzione di valore $V(X)$ è definita come la somma infinita dei costi lungo le traiettorie raggiungibili dell'insieme $X$.
• Viene definita una funzione trasformata $W(X) = 1 - \exp(-V(X))$.
• Teorema Chiave: Il DOS è esattamente caratterizzato come l'insieme dei punti $x$ tali che $W(\{x\}) < 1$ (o equivalentemente $V(\{x\}) < \infty$).

B. Equazioni Funzionali di Tipo Bellman/Zubov

Vengono derivate equazioni funzionali che queste funzioni di valore soddisfano, evitando operatori di infimo espliciti che renderebbero l'addestramento difficile:

• Per $V$: $v(X) = \Psi(X) + v(F(X))$, dove $F(X)$ è l'immagine dell'insieme sotto la dinamica del sistema.
• Per $W$: Un'equazione di tipo Zubov che lega $W(X)$ a $W(F(X))$ tramite coefficienti dipendenti dal costo istantaneo.
  Queste equazioni fungono da vincoli fisici per l'apprendimento.

C. Apprendimento con Reti Neurali Physics-Informed

Per approssimare queste funzioni, viene sviluppato un framework di training ibrido:

1. Approssimazione a Orizzonte Finito: Poiché calcolare i raggi di insiemi (reachable sets) esatti è difficile, si utilizza un'approssimazione basata su un numero finito di traiettorie campionate per stimare i valori della funzione di valore.
2. Embedding degli Insiemi: Per gestire la natura insiemistica dell'equazione, si assume che ogni insieme singolo $\{x\}$ e il suo insieme raggiungibile $F(\{x\})$ possano essere mappati in una rappresentazione vettoriale finita (es. tramite iper-rettangoli o zonotopi).
3. Funzione di Perdita (Loss Function): La rete neurale viene addestrata minimizzando una perdita composta da:
   • Termine Data-Driven: Errore quadratico tra l'output della rete e l'approssimazione a orizzonte finito della funzione di valore.
   • Termine Physics-Informed: Errore residuo dell'equazione di Bellman/Zubov. Questo forza la rete a rispettare la dinamica del sistema e le condizioni di stabilità direttamente durante l'addestramento.

3. Contributi Chiave

1. Nuova Caratterizzazione Teorica: Introduzione di funzioni di valore definite su spazi di insiemi compatti che caratterizzano esattamente il DOS per sistemi a tempo discreto vincolati, senza richiedere la discretizzazione dello stato.
2. Equazioni Funzionali Pratiche: Derivazione di equazioni di tipo Bellman/Zubov che eliminano la necessità di operatori di infimo espliciti nel training, rendendo possibile l'integrazione diretta nelle reti neurali.
3. Framework di Sintesi del Controllo: Sviluppo di un metodo per estrarre non solo una stima del DOS, ma anche un controllore stabilizzante. Il controllore è costruito selezionando ingressi che riducono il valore della funzione appresa ($W$) o una funzione di Lyapunov locale vicino all'origine.
4. Unicità e Continuità: Dimostrazione matematica che le soluzioni alle equazioni derivate sono uniche e continue sotto specifiche condizioni di stabilizzabilità.

4. Risultati Numerici

Il framework è stato validato su due esempi accademici (un sistema non lineare 2D e uno 3D) con vincoli di ingresso:

• Stima del DOS: Le stime ottenute tramite la rete neurale sono significativamente meno conservative rispetto a quelle ottenute con analisi di Lyapunov quadratiche tradizionali. Le regioni stimate si avvicinano molto al DOS teorico (il 1-sublivello della funzione di valore).
• Sintesi del Controllore: Il controllore estratto dalla rete neurale è stato in grado di guidare le traiettorie dallo stato iniziale all'origine rispettando i vincoli di ingresso, anche per condizioni iniziali al di fuori del dominio di attrazione dei controllori lineari classici.
• Efficienza: L'approccio è computazionalmente fattibile (pochi minuti di tempo CPU su hardware standard) grazie all'uso di approssimazioni di insiemi raggiungibili basate su traiettorie campionate.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nel campo del controllo non lineare vincolato:

• Ponte tra Teoria e Apprendimento: Colma il divario tra le garanzie teoriche rigorose dei metodi basati su valore (Bellman/Zubov) e la scalabilità degli approcci basati su reti neurali.
• Superamento della Conservatività: Offre un metodo per ottenere stime del dominio di attrazione molto più ampie e accurate, cruciali per applicazioni reali dove le condizioni iniziali possono essere lontane dall'equilibrio.
• Fondamento per la Verifica Formale: Sebbene l'articolo si concentri sulla stima e sintesi, la struttura proposta (basata su equazioni funzionali ben definite) prepara il terreno per future integrazioni con strumenti di verifica formale (come $\alpha,\beta$-CROWN o solutori SMT) per garantire la correttezza formale dei controllori neurali su grandi regioni dello spazio degli stati.

In sintesi, il paper propone un metodo robusto e scalabile per "imparare" la stabilità globale di sistemi complessi vincolati, trasformando un problema di ottimizzazione intrattabile in un problema di apprendimento supervisionato guidato dalla fisica del sistema.