Invariant Manifolds of Discrete-time Dynamical Systems with Nonlinear Exosystems via Hybrid Physics-Informed Neural Networks

Sintesi Tecnica: Varietà Invarianti di Sistemi Dinamici a Tempo Discreto con Esosistemi Non Lineari tramite Reti Neurali Ibride Informate dalla Fisica

Enunciato del Problema
Il documento affronta la sfida di approssimare le varietà invarianti (VI) per sistemi dinamici a tempo discreto guidati da dinamiche autonome esterne (esosistemi). Tali sistemi gerarchici o accoppiati sono prevalenti nella teoria del controllo (ad esempio, regolazione dell'uscita non lineare) e nella modellazione del comportamento collettivo (ad esempio, dinamiche leader-seguace nel traffico, stormi di uccelli e banchi di pesci). Sebbene le VI forniscano un quadro rigoroso per la riduzione della dimensionalità e l'analisi di stabilità, il loro calcolo in contesti a tempo discreto rimane difficile. I metodi tradizionali, come le espansioni in serie di potenze locali (PSE), soffrono della "maledizione della dimensionalità" riguardo alla crescita combinatoria dei coefficienti e sono limitati dal raggio di convergenza, fallendo spesso lontano dal punto di equilibrio. Al contrario, gli approcci puramente basati sui dati o le reti neurali informate dalla fisica (PINN), pur essendo scalabili, possono mancare dell'interpretabilità e delle proprietà di rapida convergenza locale delle espansioni in serie vicino agli equilibri.

Metodologia
Gli autori propongono un framework ibrido di machine learning informato dalla fisica che combina sinergicamente serie polinomiali multivariate e reti neurali (NN) superficiali per approssimare la relazione funzionale $x = \pi(y)$ che definisce la VI.

1. Formulazione Matematica: Il problema è posto come la risoluzione di un sistema di equazioni funzionali non lineari (NFE) derivato dalla condizione di invarianza:
   $$\pi(Ay + g(y)) = B\pi(y) + Cy + f(\pi(y), y)$$
   dove $y$ rappresenta lo stato dell'esosistema e $x$ lo stato guidato.

2. Architettura Ibrida: L'approssimazione $\tilde{\pi}_{HxS}(y)$ è costruita come una funzione a tratti:

   • All'interno di un iperrettangolo $D$ (centrato sull'equilibrio): Viene utilizzata una serie polinomiale (Potenza, Legendre o Chebyshev) per sfruttare le proprietà di convergenza geometrica/esponenziale vicino all'equilibrio.
   • Fuori da $D$: Viene impiegata una rete neurale feedforward a singolo strato (SLFNN) per sfruttare le capacità di approssimazione universale in regioni dove le serie polinomiali potrebbero divergere o dove viene superato il raggio di convergenza.
   • Continuità: Una funzione di commutazione basata sulla funzione di Heaviside garantisce la continuità $C^0$ al confine $\partial D$, imposta tramite una penalità di continuità nella funzione di perdita.

3. Ottimizzazione: Il compito di apprendimento è formulato come un problema di ottimizzazione informato dalla fisica che minimizza una funzione di perdita composita comprendente:

   • Residui NFE: Imposizione dell'equazione di invarianza nei punti di collocazione.
   • Vincolo di Equilibrio: Garantire che la varietà passi attraverso il punto di equilibrio.
   • Vincolo di Continuità: Corrispondenza tra le uscite polinomiali e quelle della NN al confine.

   L'ottimizzazione è risolta utilizzando l'algoritmo Levenberg–Marquardt (LM). Crucialmente, gli autori derivano espressioni analitiche per tutte le derivate dei residui rispetto ai coefficienti polinomiali e ai parametri della NN, sostenendo che questo approccio produce affidabilità ed efficienza superiori rispetto alle differenze finite o alla differenziazione automatica, in particolare per sistemi rigidi.

4. Fondamenti Teorici: Il documento stabilisce un teorema di approssimazione universale per il componente NN autonomo sotto specifiche ipotesi (regolarità di Barron della VI, continuità di Lipschitz delle dinamiche del sistema e composizione limitata della misura rispetto all'esosistema). Il teorema garantisce un tasso di convergenza $L^2$ di $O(L^{-1/2})$ rispetto alla larghezza della rete $L$.

Contributi Chiave

• Schema Ibrido: Introduzione di una nuova architettura ibrida che integra l'interpretabilità e la convergenza locale delle serie polinomiali con il potere di approssimazione globale delle reti neurali per le VI a tempo discreto.
• Derivate Analitiche: Derivazione di derivate analitiche in forma chiusa per i residui dello schema ibrido, facilitando un'ottimizzazione LM robusta.
• Garanzie Teoriche: Stabilimento di un teorema di approssimazione universale e di tassi di convergenza per il componente NN applicato alle equazioni di invarianza a tempo discreto.
• Benchmarking: Valutazione numerica completa che confronta lo schema ibrido con PINN autonome e PSE tradizionali.

Risultati
Il framework è stato valutato su due esempi di riferimento:

1. Bioreattore Enzimatico (1D guidato, 1D esosistema): Lo schema ibrido (utilizzando serie Potenza, Legendre o Chebyshev) ha raggiunto errori relativi medi $L^2$ dell'ordine di $10^{-5}$, superando significativamente la PSE autonoma (errori $\sim 10^{-3}$) e superando leggermente la PINN autonoma. L'approccio ibrido ha dimostrato alta precisione vicino all'equilibrio (grazie al componente polinomiale) e ha mantenuto la precisione lontano da esso (grazie al componente NN).
2. Modello di Inseguimento Automobilistico (20D guidato, 2D esosistema): In questo caso a dimensionalità più elevata, lo schema ibrido ha nuovamente superato la PSE (errori $\sim 10^{-2}$) e ha mostrato una precisione globale leggermente migliore rispetto alla PINN autonoma (errori $\sim 10^{-3}$). Lo schema ibrido si è generalizzato con successo alla varietà a 20 dimensioni, mantenendo una distribuzione omogenea degli errori su tutto il dominio.

Un caso di validazione aggiuntivo con una VI analitica nota ($x = \ln(1+y)$) ha confermato che, mentre le espansioni puramente polinomiali falliscono al di fuori del loro raggio di convergenza, lo schema ibrido mantiene la precisione su tutto il dominio, con prestazioni che migliorano all'aumentare del grado polinomiale.

Significato e Affermazioni
Il documento afferma che lo schema ibrido informato dalla fisica proposto offre un vantaggio comparativo rispetto alle espansioni polinomiali autonome e alle reti neurali autonome. Nello specifico:

• Supera il limite di località delle serie polinomiali, che falliscono al di fuori del loro raggio di convergenza.
• Migliora le PINN autonome sfruttando la rapida convergenza dei polinomi vicino all'equilibrio, risultando in una maggiore accuratezza numerica in quella regione.
• Fornisce una soluzione in un singolo passaggio, plug-and-play che evita la complessità di linearizzare il problema o di utilizzare procedure multi-step spesso richieste dai metodi tradizionali.

Gli autori notano con modestia che, sebbene il metodo sia altamente efficace per varietà a bassa e media dimensionalità (dove la complessità polinomiale rimane trattabile), la crescita combinatoria dei coefficienti rimane un collo di bottiglia per dimensioni molto elevate. Suggeriscono che per tali casi, un'approssimazione PINN autonoma potrebbe essere più appropriata. Il documento conclude identificando le direzioni per lavori futuri, inclusa l'analisi rigorosa delle proprietà di convergenza dello schema ibrido e l'integrazione di basi parsimoniose a prodotto tensoriale.