Sintesi Tecnica: Controllo di Feedback Neurale Ottimale nel Tempo per Sistemi Nilpotenti come Problema di Classificazione Binaria

1. Enunciato del Problema

Il lavoro affronta la sintesi di leggi di controllo di feedback ottimali nel tempo per sistemi lineari nilpotenti, in particolare catene di integratori. L'obiettivo è guidare un sistema $\dot{y}(t) = Ay(t) + bu(t)$ da uno stato iniziale $x$ all'origine nel tempo minimo $T$, soggetto al vincolo di controllo $u(t) \in [-1, 1]$.

Secondo il classico teorema bang-bang, il segnale di controllo ottimale per tali sistemi è a tratti costante, assumendo valori in $\{-1, 1\}$ con al più $n-1$ commutazioni (dove $n$ è la dimensione del sistema). Sebbene la soluzione in anello aperto per una specifica condizione iniziale possa essere caratterizzata da un sistema polinomiale che governa i tempi di commutazione, costruire una legge di feedback in tempo reale (una mappa dallo stato $x$ al controllo $u$) è computazionalmente impegnativa. I metodi tradizionali che coinvolgono basi di Gröbner o la risoluzione di equazioni alle derivate parziali di Hamilton-Jacobi-Bellman soffrono di una complessità computazionale proibitiva in dimensioni superiori o richiedono una discretizzazione basata su griglie che limita la scalabilità.

2. Metodologia

L'approccio proposto combina geometria algebrica numerica, algoritmi di ricerca delle radici e apprendimento automatico supervisionato per costruire un controllore di feedback approssimato. La metodologia è suddivisa in due fasi principali:

Fase I: Generazione di Dati Sintetici tramite Metodo di Newton Deflato

Per generare il dataset necessario all'addestramento, gli autori risolvono il problema di controllo ottimale nel tempo per varie condizioni iniziali.

• Formulazione Polinomiale: Il problema di controllo ottimale nel tempo è riformulato come un sistema di equazioni polinomiali (Equazione 2.5) in termini degli incrementi dei tempi di commutazione $\{t_i\}$. L'esistenza di una soluzione non negativa per questo sistema determina la sequenza di commutazione ottimale per un dato valore iniziale di controllo $u(0) \in \{-1, 1\}$.
• Ricerca delle Radici: Invece di utilizzare le basi di Gröbner (che si nota avere una complessità doppio-esponenziale), gli autori impiegano un metodo di Newton deflato. Questa tecnica iterativa altera sistematicamente il residuo del sistema polinomiale per "deflare" le radici note, permettendo all'algoritmo di esaurire tutte le possibili radici reali del sistema.
• Conteggio delle Radici tramite Forme Quadratiche di Hermite: Un componente critico della strategia di deflazione è determinare il criterio di arresto (cioè quante radici aspettarsi). Gli autori utilizzano la forma quadratica di Hermite per calcolare il numero esatto di radici reali per il sistema polinomiale data una specifica condizione iniziale. Questo fornisce un limite preciso ($n_{roots}$) per l'algoritmo di deflazione, prevenendo l'instabilità numerica e garantendo che tutte le soluzioni siano trovate senza iterazioni inutili.
• Costruzione del Dataset: Per ogni condizione iniziale campionata, il sistema risolve il sistema polinomiale sia per $u(0)=1$ che per $u(0)=-1$. La soluzione non negativa valida identifica la struttura di commutazione ottimale. Gli autori campionano quindi 100 punti lungo la traiettoria ottimale risultante per creare un dataset di coppie stato-controllo $(y, u)$.

Fase II: Feedback Neurale come Classificatore Binario

La seconda fase interpreta la legge di feedback ottimale nel tempo come un problema di classificazione binaria.

• Quadro di Classificazione: Poiché il controllo ottimale $u(t)$ assume valori in $\{-1, 1\}$, la mappa di feedback è modellata come un classificatore che mappa lo spazio degli stati $\mathbb{R}^n$ in $\{-1, 1\}$.
• Architettura della Rete Neurale: Una rete neurale feedforward profonda viene addestrata utilizzando il dataset sintetico generato nella Fase I. Lo strato finale utilizza una funzione di attivazione sigmoide per produrre una probabilità $P(u=1)$, consentendo al modello di fornire una misura di confidenza per la sua classificazione.
• Strategia di Controllo Ibrida: Per affrontare la difficoltà di classificare gli stati vicini alla superficie di commutazione (dove la confidenza è bassa), gli autori propongono un approccio ibrido. Se la confidenza della rete neurale scende sotto una soglia $\epsilon$, il sistema invoca il risolutore polinomiale in anello aperto (Fase I) per determinare l'azione di controllo precisa per quello specifico stato.

3. Contributi Chiave

1. Flusso di Lavoro Computazionale per Sistemi Nilpotenti: Il lavoro propone un flusso di lavoro coerente che aggira le limitazioni delle basi di Gröbner per sistemi di dimensioni superiori combinando metodi di Newton deflati con forme quadratiche di Hermite per il conteggio delle radici.
2. Conteggio delle Radici tramite Forme di Hermite: L'applicazione delle forme quadratiche di Hermite per determinare il numero di radici reali nei sistemi polinomiali ottimali nel tempo è evidenziata come un meccanismo per garantire l'efficienza e la stabilità della procedura di ricerca delle radici.
3. Formulazione come Classificazione Binaria: Gli autori riformulano la sintesi delle leggi di feedback ottimali nel tempo come un compito di apprendimento supervisionato di classificazione binaria. Questo approccio bypassa la necessità di un ricalcolo iterativo delle traiettorie durante l'operazione in tempo reale.
4. Feedback Potenziato dalla Confidenza: L'integrazione di una soglia di confidenza permette una legge di controllo ibrida che sfrutta la velocità dell'inferenza della rete neurale per la maggior parte degli stati, ricorrendo al risolutore polinomiale esatto solo per stati ambigui vicini alle superfici di commutazione.

4. Risultati Numerici

La metodologia è stata testata su catene di integratori di dimensioni da $n=2$ a $n=5$.

• Accuratezza: I classificatori della rete neurale hanno raggiunto un'alta accuratezza sul set di test, variando dal 96,76% (ordine 4) al 99,61% (ordine 5).
• Robustezza: Simulazioni Monte Carlo con rumore gaussiano additivo hanno dimostrato che la legge di feedback neurale guida con successo il sistema all'origine, mentre le soluzioni in anello aperto divergono a causa della mancanza di correzione tramite feedback.
• Prestazioni della Strategia Ibrida:
  • Nel caso del secondo ordine, la strategia ibrida (invocando il risolutore per punti a bassa confidenza) ha mostrato un miglioramento trascurabile rispetto al controllore neurale puro, poiché la rete classificava correttamente i punti della superficie di commutazione anche con bassa confidenza.
  • In dimensioni superiori (ordine 3, 4 e 5), l'approccio ibrido ha migliorato significativamente l'approssimazione dell'orizzonte temporale ottimale ($T_{NN}$), riducendo il tempo per raggiungere l'origine rispetto all'uso della sola rete neurale.
• Efficienza Computazionale: L'uso delle forme quadratiche di Hermite per limitare il numero di radici ha ridotto il tempo CPU per la generazione dei dati nel caso del quarto ordine da 108 minuti (utilizzando limiti teorici) a 49 minuti.

5. Significato e Affermazioni

Il lavoro afferma di offrire un'alternativa scalabile ai metodi basati sulla geometria algebrica (come le basi di Gröbner) per costruire controllori di feedback in tempo reale per sistemi nilpotenti. Gli autori dichiarano esplicitamente che, sebbene le basi di Gröbner siano teoricamente solide, il loro costo computazionale le rende inapplicabili per spazi degli stati con dimensione maggiore di 3.

Il significato del lavoro risiede in:

• Scalabilità: Dimostrare che la sintesi del controllo ottimale nel tempo può essere estesa fino a dimensioni 5 utilizzando l'approccio numerico e basato sull'apprendimento proposto.
• Fattibilità in Tempo Reale: Sostituire la soluzione iterativa dei sistemi polinomiali a runtime con un singolo passaggio in avanti di una rete neurale, potenziato da un meccanismo di fallback solo quando necessario.
• Gestione della Non-Lisciatura: Approssimare con successo la legge di controllo bang-bang discontinua (un campo non liscio) trattandola come un problema di classificazione, un compito in cui le tecniche tradizionali di approssimazione globale spesso faticano.

Gli autori mantengono una posizione modesta riguardo alla portata, notando che il calcolo della forma quadratica di Hermite diventa esso stesso computazionalmente costoso all'aumentare della dimensione (calcolato con successo fino alla dimensione 7, ma utilizzato per la generazione dei dati fino a 5 negli esperimenti). Suggeriscono che l'interpolazione delle leggi bang-bang tramite classificazione binaria apre la strada ad altri problemi di controllo sparsi con strutture simili.