Learning dynamically inspired bases for Koopman and transfer operator approximation

1. Il Problema

I sistemi dinamici non lineari, comuni in biologia, fisica e ingegneria, sono spesso difficili da analizzare a causa del loro comportamento caotico e ad alta dimensionalità. Un approccio promettente consiste nel "sollevare" (lift) l'evoluzione non lineare dello stato in uno spazio delle funzioni lineare (ma a dimensione infinita) tramite operatori lineari come l'Operatore di Koopman e l'Operatore di Trasferimento (o di Perron-Frobenius).

La sfida principale risiede nell'approssimazione pratica di questi operatori:

• Devono essere discretizzati in spazi a dimensione finita.
• Le metodologie tradizionali (come EDMD - Extended Dynamic Mode Decomposition) richiedono una scelta a priori di una base di funzioni (es. monomi, modi di Fourier).
• Se la base scelta non è adatta alla dinamica sottostante, si ottengono errori di stima significativi o si perdono dinamiche chiave.
• Esistono metodi basati su reti neurali (autoencoder) che apprendono coordinate, ma spesso sono ottimizzati per la ricostruzione dello stato piuttosto che per la precisione spettrale o l'adattamento alla geometria dinamica specifica.

L'obiettivo è quindi apprendere automaticamente una base di funzioni ortonormale che sia specificamente adattata alla dinamica del sistema, permettendo una rappresentazione efficiente e accurata dell'operatore.

2. Metodologia: SABON

Gli autori propongono SABON (Single Autoencoder Basis Operator Network), un'architettura neurale che unisce l'apprendimento dell'operatore e dell'embedding (la base di funzioni) in un unico framework.

Architettura

SABON è composta da quattro blocchi principali:

1. Encoder (E): Una pila di reti neurali vettoriali che apprende le funzioni di base $\{\phi_j\}_{j=1}^N$. Valuta queste funzioni su una griglia di punti discreti dello spazio degli stati.
2. Proiezione (P): Proietta le osservabili (funzioni di input) sullo spazio delle basi apprese calcolando i prodotti scalari $\langle g, \phi_j \rangle$.
3. Mappa Lineare (G): Un blocco lineare (una matrice) che approssima l'azione dell'operatore di trasferimento/Koopman nello spazio dei coefficienti latenti.
4. Ricostruttore (R): Ricomprime i coefficienti trasformati nello spazio delle funzioni, espandendoli sulla base appresa.

Funzione di Perdita (Loss Function)

L'addestramento minimizza una funzione di perdita composta da tre termini:

1. Errore di Approssimazione dell'Operatore ($E_1$): Misura quanto bene la composizione $R \circ G \circ P$ approssima l'azione reale dell'operatore $L$ su una funzione di input.
2. Penalità di Sparsità ($E_2$): Un termine opzionale che incoraggia le funzioni di base ad avere supporto locale (simulando funzioni a "picco"), utile per certi tipi di dinamiche.
3. Penalità di Ricostruzione ($E_3$): Assicura che la base possa rappresentare accuratamente le iterazioni $k$-esime dell'operatore ($L^k g$), aiutando l'apprendimento di strutture anisotrope.

Caratteristiche Chiave:

• La struttura di proiezione interna (prodotto scalare) spinge naturalmente le funzioni di base verso l'ortonormalità durante l'addestramento, migliorando la stabilità numerica.
• A differenza di approcci precedenti (come BasisONet), SABON utilizza un singolo encoder perché sia l'input che l'output dell'operatore di trasferimento risiedono nello stesso spazio $L^2(X)$.
• Viene dimostrato un teorema di approssimazione universale specifico per questo setting, garantendo che, data una base neurale sufficientemente ricca, l'operatore approssimato può avvicinarsi arbitrariamente all'operatore reale su insiemi compatti.

3. Risultati Sperimentali

Gli autori hanno testato SABON su tre casi di studio di complessità crescente:

A. Rotazione del Cerchio (Sistema Lineare)

• Scenario: Una rotazione semplice su un cerchio.
• Risultati: SABON ha recuperato con precisione gli autovalori e le autofunzioni analitici. La base appresa ha identificato lo spazio invariante esatto (modi di Fourier), dimostrando che il metodo può recuperare dinamiche lineari note senza predefinizioni.

B. Mappa del Gatto di Arnold Perturbata (Debolmente Non Lineare)

• Scenario: Una perturbazione non lineare della mappa del gatto su un toro 2D, con dinamiche iperboliche deboli.
• Risultati:
  • Le funzioni di base apprese si sono allineate spontaneamente con le direzioni stabili e instabili della dinamica.
  • Confronto con una base di Fourier della stessa cardinalità: SABON ha prodotto una stima della misura SRB (Sinai-Ruelle-Bowen) significativamente più accurata.
  • L'errore di proiezione e di approssimazione (in norme $L^2$ e $H^{-1}$) è stato circa 4 volte inferiore rispetto alla base di Fourier.

C. Mappa del Gatto Coniugata Fortemente Non Lineare

• Scenario: Una versione fortemente non lineare ottenuta coniugando la mappa precedente con un diffeomorfismo, creando foliazioni curve e geometria complessa.
• Risultati:
  • Le funzioni di base apprese hanno mostrato strutture curve che riflettevano la geometria distorta delle varietà stabili/instabili, adattandosi alla dinamica in modo che le basi di Fourier (isotrope) non potevano fare.
  • Anche in questo caso, SABON ha superato le basi di Fourier nella ricostruzione della misura SRB, catturando dettagli fini e strutture anisotrope.

4. Contributi Chiave

1. Apprendimento di Basi Dinamiche: Introduzione di un framework che apprende funzioni di base ortonormali specificamente adattate alla geometria dello spazio delle fasi e alle direzioni di espansione/contrazione del sistema.
2. Architettura Unificata: Sviluppo di SABON, che combina encoding, proiezione, mappa lineare e ricostruzione in un unico ciclo di ottimizzazione, garantendo che la base e l'operatore siano ottimizzati congiuntamente.
3. Superiorità rispetto alle Basi Tradizionali: Dimostrazione empirica che, per sistemi caotici iperbolici, le basi apprese (che assomigliano a "creste" allungate lungo le direzioni stabili/instabili) sono molto più efficienti delle basi di Fourier isotrope per la stima di quantità spettrali come la misura SRB.
4. Teorema di Approssimazione: Estensione dei teoremi di approssimazione universale al contesto specifico degli operatori di trasferimento con un'unica base neurale.

5. Significato e Implicazioni

Il lavoro di Froyland e Kühl rappresenta un passo avanti significativo nell'analisi dei sistemi dinamici basata sui dati.

• Efficienza: Permette di ottenere rappresentazioni compatte e accurate di operatori complessi senza bisogno di conoscenza a priori delle coordinate migliori.
• Robustezza: Il metodo è in grado di gestire geometrie complesse e anisotropie che falliscono con approcci basati su basi fisse (come Fourier o polinomi).
• Futuro: Apre la strada all'applicazione di questi metodi a sistemi ad alta dimensionalità e parzialmente osservati, offrendo uno strumento potente per la previsione e il controllo di sistemi caotici reali.

In sintesi, SABON risolve il problema della scelta della base ottimale per l'analisi spettrale di operatori di Koopman/Trasferimento, sostituendo l'intuizione umana con un apprendimento automatico guidato dalla dinamica stessa del sistema.