Learning dynamically inspired bases for Koopman and transfer operator approximation

Titel: Het Dynamisch Leren van Geïnspireerde Bases voor de Benadering van Koopman- en Transferoperatoren

1. Het Probleem

Niet-lineaire dynamische systemen, die voorkomen in domeinen zoals biologie, fysica en engineering, zijn vaak moeilijk te analyseren vanwege hun complexe en chaotische gedrag. Een veelbelovende aanpak is het bestuderen van deze systemen via lineaire operatoren die werken op observabelen (functies van de toestand), zoals de Koopman-operator of de Perron-Frobenius-operator (ook wel transferoperator genoemd). Hoewel deze operatoren lineair zijn, werken ze op oneindig-dimensionale functieruimten.

In de praktijk moeten deze operatoren worden benaderd door eindig-dimensionale matrices. De grootste uitdaging hierbij is het kiezen van de juiste basisfuncties (observabelen) om deze ruimte te spannen. Traditionele methoden, zoals Extended Dynamic Mode Decomposition (EDMD), gebruiken vaak vooraf gedefinieerde bases (zoals monomen of Fourier-modes). Deze bases zijn echter vaak niet optimaal voor specifieke dynamische systemen, vooral niet bij systemen met sterke anisotropie (richtingsafhankelijkheid) of complexe geometrie. Dit leidt tot grote schattingsfouten en het missen van belangrijke dynamische eigenschappen. Bestaande neurale netwerken die proberen bases te leren, zijn vaak niet optimaal omdat ze de operator en de basis niet simultaan optimaliseren, of omdat ze de focus te zeer leggen op reconstructie van de toestand in plaats van op de spectrale eigenschappen van de operator.

2. Methodologie: SABON

De auteurs introduceren SABON (Single Autoencoder Basis Operator Network), een architectuur die specifiek is ontworpen om zowel een benadering van de transferoperator als een dynamisch aangepaste basis te leren.

Architectuur:
SABON bestaat uit vier hoofdblokken:

1. Encoder (E): Een stack van neurale netwerken die puntsgewijs wordt toegepast op een trainingsrooster. Deze leert de basisfuncties $\{\phi_j\}_{j=1}^N$.
2. Projectie (P): Projecteert een observabele $g$ op de geleerde basis via inproducten: $P(g) = (\langle g, \phi_1 \rangle, \dots, \langle g, \phi_N \rangle)$.
3. Lineaire Latente Map (G): Een leerbare lineaire transformatie (matrix) die de actie van de operator in de coëfficiëntenruimte (de latent space) benadert.
4. Reconstructor (R): Transformeert de coëfficiënten terug naar de functieruimte door een lineaire combinatie van de geleerde basisfuncties te nemen.

Verliesfunctie (Loss Function):
De training minimaliseert een gecombineerde verliesfunctie $J$:

• Operator Benadering ($E_1$): Meet hoe goed de samengestelde map $R \circ G \circ P$ de werkelijke transferoperator $L$ benadert op de trainingsdata.
• Sparsiteitsstraf ($E_2$): Bevordert lokale ondersteuning van de basisfuncties (optioneel, afhankelijk van het systeem).
• Reconstructie van iteraties ($E_3$): Minimaliseert de fout bij het voorspellen van $k$-staps iteraties ($L^k g$), wat helpt bij het aanpassen aan anisotrope dynamiek.
• Orthogonaliteit: De structuur van de projectie en reconstructie (inproducten) drijft de basis van nature naar orthogonaliteit, wat de stabiliteit van het trainingsproces verbetert.

Universele Benaderingstheorema:
De auteurs bewijzen een theorema dat aantoont dat SABON, met een voldoende groot aantal neurale basisfuncties, elke continue lineaire operator (zoals de transferoperator) willekeurig nauwkeurig kan benaderen op compacte deelverzamelingen van $L^2(X)$. Dit onderscheidt zich van eerdere werken (zoals BasisONet) doordat er slechts één enkele encoder/basis wordt gebruikt voor zowel input als output, wat essentieel is voor operatoren die op dezelfde ruimte werken.

3. Belangrijkste Resultaten

De methode werd getest op drie voorbeelden van toenemende complexiteit:

1. Cirkelrotatie (Lineair):

   • SABON slaagde erin om de analytische eigenwaarden en eigenfuncties van de transferoperator exact te herstellen.
   • De geleerde basis fungeerde als een invariant deelruimte, en de spectrale eigenschappen (rotatiehoeken) werden direct afgeleid uit de geschatte matrix.

2. Zwak niet-lineaire verstoring van de Arnold's Kattenkaart (Anosov):

   • Dit systeem heeft een SRB-maat (Sinai-Ruelle-Bowen measure) dat een verdeling is in plaats van een gladde functie.
   • De geleerde basis fungeerde als een adaptieve basis die zich aanpaste aan de samenvallende en uitdijende richtingen van de dynamiek.
   • Vergelijking: SABON presteerde aanzienlijk beter dan een Fourier-basis van dezelfde grootte bij het benaderen van het SRB-maat (een factor 4 verbetering in fouten op zowel $L^2$ als $H^{-1}$-normen). De Fourier-basis faalde omdat deze georiënteerd is op de coördinaatassen, terwijl de dynamiek sterk anisotroop is.

3. Sterk niet-lineaire geconjugeerde Kattenkaart:

   • Een nog complexer geval waarbij de stable/unstable foliations sterk gekromd zijn door een conjugatie.
   • SABON leerde basisfuncties met gekromde structuren die perfect aansloten bij de vervormde dynamische geometrie.
   • Ook hier overtrof SABON de Fourier-basis aanzienlijk in het vastleggen van de fijne schaalstructuur van het invariant maat. De Fourier-basis leverde een te gladde, onnauwkeurige benadering op.

4. Bijdragen en Significantie

• Dynamisch Aangepaste Bases: De kernbijdrage is het vermogen om een basis te leren die niet vooraf is gedefinieerd, maar specifiek is "gesneden" voor de geometrie van het onderliggende dynamische systeem. Dit lost het probleem op van het kiezen van de juiste observabelen.
• Efficiëntie en Nauwkeurigheid: Door basisfuncties te leren die aligneren met de samenvallende (contracterende) en uitdijende richtingen, kan SABON complexe invarianten (zoals SRB-maten) veel efficiënter benaderen dan traditionele isotrope bases (zoals Fourier).
• Unificatie: De methode unificeert het leren van de operator en het leren van de representatie (embedding) in één enkel trainingsproces, waarbij de operatorfouten direct terugkoppelen naar de basisfuncties.
• Toepasbaarheid: De aanpak is veelbelovend voor systemen waar traditionele methoden falen, zoals chaotische systemen met sterke anisotropie of systemen waar de eigenfuncties distributies zijn in plaats van gladde functies.

Conclusie:
SABON biedt een krachtig raamwerk voor het construeren van compacte en nauwkeurige representaties van transfer- en Koopman-operatoren. Het bewijst dat data-gedreven, dynamisch geïnspireerde bases superieur zijn aan statische, vooraf gedefinieerde bases bij het ontrafelen van de spectrale eigenschappen van complexe, niet-lineaire dynamische systemen. De auteurs maken hun code en data openbaar beschikbaar om herhaalbaarheid en verdere ontwikkeling te stimuleren.