Riepilogo Tecnico: PolarNet: Rete Neurale a Minimo Singolo per la Modellazione di Funzioni di Lyapunov

1. Enunciato del Problema

L'apprendimento di strategie di controllo con garanzie di stabilità dimostrabili utilizzando reti neurali rimane una sfida significativa. Sebbene i recenti metodi di "controllo neurale di Lyapunov" abbiano mostrato promesse imparando congiuntamente un controllore $u_\theta$ e una funzione di Lyapunov $V_\theta$ per soddisfare i criteri di stabilità, questi approcci soffrono di una specifica modalità di fallimento durante l'addestramento.

Il problema fondamentale identificato è che le architetture di reti neurali esistenti, sebbene capaci di modellare funzioni definite positive, non garantiscono strutturalmente che la funzione di Lyapunov appresa possieda esattamente un punto critico (l'equilibrio all'origine). Per una valida funzione di Lyapunov $V_\theta$ in un sistema asintoticamente stabile, il gradiente deve soddisfare $\nabla V_\theta(x) \neq 0$ per ogni $x \neq 0$. Tuttavia, le architetture flessibili standard (ad esempio, MLP) possono apprendere funzioni con minimi locali spurii o punti di sella durante l'addestramento.

Questa carenza architetturale porta a uno scenario di fallimento specifico:

1. La rete apprende una $V_\theta$ con minimi locali multipli (ad esempio, nei punti $P$ e $Q$).
2. Il controllore $u_\theta$ viene addestrato per minimizzare il rischio empirico di $\dot{V}_\theta \geq 0$. Se la dinamica del sistema permette allo stato di stabilizzarsi in un equilibrio spurio (dove $\dot{x}=0$ e $\nabla V_\theta=0$), il termine di perdita svanisce.
3. Di conseguenza, il processo di addestramento si blocca e il controllore sintetizzato non riesce a garantire la stabilità asintotica globale, anche se la perdita empirica suggerisce la convergenza.

Le strategie di mitigazione esistenti, come l'aggiunta di margini di perdita o la ricerca attiva di controesempi, alleviano ma non risolvono fondamentalmente questo problema, in quanto si basano su euristiche di ottimizzazione piuttosto che su garanzie strutturali.

2. Metodologia: PolarNet

Per affrontare ciò, gli autori propongono PolarNet, un'architettura di rete neurale progettata per imporre strutturalmente la proprietà di "punto critico singolo".

2.1 Fondamento Teorico

Il metodo si basa su un'importante intuizione matematica: qualsiasi valida funzione di Lyapunov (nello specifico, una "funzione a polo singolo") per un equilibrio asintoticamente stabile può essere rappresentata come il quadrato della norma euclidea di una mappatura invertibile con regolarità $C^\infty$.

• Definizione 3 (Funzione a Polo Singolo): Una funzione $V(x)$ è una funzione a polo singolo se è liscia $C^\infty$, definita positiva ($V(0)=0, V(x)>0$ per $x \neq 0$), ha esattamente un punto critico in $x=0$ ed è propria (i sottoinsiemi di livello sono compatti).
• Teorema 1: Per ogni funzione a polo singolo $V(x)$ con un punto critico non degenere all'origine, esiste una funzione vettoriale $C^\infty$ liscia, invertibile e a attraversamento dello zero $\Psi(x)$ tale che $V(x) = \|\Psi(x)\|^2$.
• Teorema 2: Se $\Psi(x)$ è una mappatura $C^\infty$ liscia, a attraversamento dello zero e invertibile, allora $V_\theta(x) = \|\Psi(x)\|^2$ è garantito essere una funzione a polo singolo, indipendentemente dai valori specifici dei parametri (purché siano finiti). Questo assicura $\nabla V_\theta(x) \neq 0$ per ogni $x \neq 0$.
• Teorema 3: Per ogni equilibrio asintoticamente stabile di un sistema dinamico localmente Lipschitziano, esiste una funzione di Lyapunov che è anche una funzione a polo singolo. Ciò stabilisce che PolarNet è teoricamente capace di approssimare la funzione di Lyapunov necessaria per qualsiasi tale sistema.

2.2 Architettura della Rete

PolarNet implementa la mappatura $\Psi(x)$ utilizzando Flussi di Accoppiamento Affine, un tipo di Rete Neurale Invertibile (INN).

• Struttura: La rete è composta da $L$ livelli in cui ogni livello $h^{(l)}$ partiziona l'input $y$ in due parti ($y_{\leq k}$ e $y_{>k}$). Una parte viene trasmessa invariata, mentre l'altra viene trasformata tramite una trasformazione affine scalata e spostata da reti neurali $f_s$ e $f_t$ che agiscono sulla prima parte.
• Invertibilità: L'architettura è progettata per essere matematicamente invertibile per costruzione.
• Vincolo di Attraversamento dello Zero: Per garantire $\Psi(0)=0$ (necessario per $V(0)=0$), le funzioni di traslazione $f_t$ in ogni livello sono implementate come Perceptron Multistrato (MLP) senza termini di bias e utilizzando funzioni di attivazione a attraversamento dello zero (tanh).
• Lisciatura: Tutte le funzioni di attivazione sono lisce (tanh), garantendo che la risultante $V_\theta$ sia liscia $C^\infty$.

La funzione di Lyapunov finale è calcolata come $V_\theta(x) = \|\Psi(x)\|^2$.

3. Contributi Chiave

1. Identificazione di una Modalità di Fallimento: Il documento identifica e caratterizza una specifica classe di comportamenti durante l'addestramento nel controllo neurale di Lyapunov in cui la mancanza di garanzie strutturali porta a equilibri spurii e stagnazione dell'addestramento.
2. Architettura PolarNet: La proposta di una nuova architettura di rete che impone strutturalmente la proprietà del punto critico singolo, assicurando che la funzione appresa sia un candidato valido per una funzione di Lyapunov (soddisfacendo $\nabla V \neq 0$ per $x \neq 0$) per progettazione.
3. Garanzie Teoriche:
   • Dimostrazione che PolarNet produce sempre una funzione a polo singolo.
   • Dimostrazione di universalità: PolarNet può approssimare qualsiasi funzione a polo singolo (e quindi qualsiasi valida funzione di Lyapunov per sistemi asintoticamente stabili) con precisione arbitraria.
4. Sostituzione Diretta: Dimostrazione che PolarNet può essere utilizzato come sostituzione diretta per le architetture di base esistenti nei framework di controllo neurale di Lyapunov senza alterare l'obiettivo di addestramento o l'algoritmo.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti numerici per validare le affermazioni teoriche:

• Approssimazione di Funzioni (Proprietà a Polo Singolo):

  • Gli autori hanno addestrato PolarNet e architetture di base (MLP, Lyapunov Net, Wei et al.) per adattare campi scalari con minimi locali multipli.
  • Risultato: I modelli di base hanno adattato con successo le funzioni a minimi multipli, violando di conseguenza il vincolo del punto critico singolo. PolarNet, al contrario, non è riuscito ad adattare le forme a minimi multipli (come previsto dai suoi vincoli strutturali) ma ha mantenuto con successo la proprietà del punto critico singolo in tutti i casi. Ciò ha confermato che PolarNet non può produrre minimi locali spurii.

• Sintesi del Controllore:

  • È stato utilizzato un problema di controllo non lineare impegnativo (un sistema 2D con dinamiche sconosciute) per sintetizzare un controllore stabilizzante.
  • Base di Confronto: Utilizzando un'architettura standard (come in [21]), l'addestramento non è riuscito a stabilizzare il sistema; la funzione di Lyapunov appresa ha sviluppato minimi locali multipli, causando il blocco del controllore in equilibri spurii.
  • PolarNet: Sostituendo la rete di Lyapunov con PolarNet, l'addestramento è riuscito a convergere con successo. Il controllore risultante ha stabilizzato il sistema su tutto lo spazio degli stati e la funzione di Lyapunov appresa ha mantenuto un minimo unico all'origine.

5. Significato e Affermazioni

Il documento afferma che PolarNet offre una soluzione razionale e pratica a una modalità di fallimento precedentemente trascurata nel controllo neurale di Lyapunov. Spostando l'onere delle garanzie di stabilità dal processo di ottimizzazione all'architettura della rete stessa, PolarNet assicura che la funzione di Lyapunov appresa aderisca alle condizioni matematiche necessarie per la stabilità.

Gli autori posizionano PolarNet come la prima architettura a imporre strutturalmente la proprietà del punto critico singolo. Sottolineano che questo approccio è distinto dalle strategie di addestramento euristiche (come la generazione di controesempi) perché impedisce fondamentalmente alla rete di apprendere forme di Lyapunov non valide.

6. Limitazioni

Gli autori notano esplicitamente le seguenti limitazioni:

• Classe di Sistemi: Le garanzie teoriche assumono che il sistema dinamico sia localmente Lipschitziano. Per sistemi non Lipschitziani, PolarNet può ancora essere applicato, ma la garanzia che possa rappresentare una valida funzione di Lyapunov (Teorema 3) non vale.
• Ambito di Applicazione: Il metodo è progettato per sistemi a tempo continuo e stabilità di Lyapunov. Attualmente non affronta sistemi a tempo discreto o altre definizioni di stabilità.
• Specificità del Compito: PolarNet è ottimizzato per sintetizzare controllori per un singolo equilibrio desiderato. Non è progettato per compiti che richiedono l'identificazione di equilibri stabili multipli, dove i suoi vincoli strutturali potrebbero limitare l'espressività.