RHYME-XT: A Neural Operator for Spatiotemporal Control Systems

Titel: RHYME-XT: Een Neuraal Operator voor Spatiotemporale Besturingssystemen

Auteurs: Marijn Ruiter, Miguel Aguiar, Jake Rap, Karl H. Johansson, Amritam Das.

---

1. Probleemstelling

Dynamische systemen die over ruimte en tijd verdeeld zijn, worden vaak gemodelleerd met partiële differentiaalvergelijkingen (PDE's) of partiële integro-differentiaalvergelijkingen (PIDE's). Wanneer deze systemen niet-lineair zijn en gevoelig voor externe inputs (zoals bij neuronale netwerken of vloeistofstromen), kunnen ze complexe gedragingen vertonen, zoals excitabiliteit (waarbij kleine inputs grote veranderingen veroorzaken na een drempelwaarde).

De uitdagingen bij het modelleren van deze systemen zijn:

• Berekeningskosten: Klassieke numerieke methoden (zoals eindige elementen) vereisen fijne discretisaties voor nauwkeurigheid, wat extreem rekenintensief is.
• Stijfheid en lokaliteit: De systemen hebben vaak lokale en stijf gedrag, wat leidt tot instabiliteit op grove roosters.
• Beperkingen van bestaande methoden:
  • Modelreductie (bijv. Galerkin): Vereist expliciete kennis van de besturingsvergelijkingen.
  • Koopman-operatoren: Vaak beperkt tot lineaire of eindig-dimensionale systemen.
  • Physics-Informed Neural Networks (PINNs): Vaak getraind voor één specifieke scenario (vaste beginvoorwaarde) en niet generaliseerbaar.
  • Neurale Operatoren (bijv. DeepONet): Vereisen grote hoeveelheden trainingsdata uit diverse scenario's en kunnen moeite hebben met de continuïteit in de tijd.

Het doel is een surrogaatmodel te ontwikkelen dat de oplossingoperator leert die een spatiotemporale beginvoorwaarde en een inputfunctie afbeeldt op de bijbehorende trajectorie, zonder kennis van de onderliggende vergelijkingen en met behoud van continuïteit.

---

2. Methodologie: RHYME-XT

RHYME-XT is een operator-leerframework dat een combinatie van Galerkin-projectie en neuraal netwerk-architectuur gebruikt. De methode bestaat uit drie hoofdstappen:

A. Galerkin-projectie op een geleerde ruimte

In plaats van de PIDE direct op te lossen, projecteert het systeem de oneindig-dimensionale dynamiek naar een eindig-dimensionale deelruimte.

• Geleerde Basisfuncties: In tegenstelling tot traditionele methoden waar basisfuncties (zoals Fourier of polynomen) handmatig worden gekozen, worden de ruimtelijke basisfuncties $\hat{\phi}(x)$ geleerd met een Feedforward Neural Network (FNN).
• Random Fourier Features: Om hoge frequenties goed te kunnen leren, worden de ruimtelijke inputs eerst verwerkt via een Random Fourier Feature mapping ($\gamma(x)$) voordat ze de FNN bereiken.
• Projectie: De PIDE wordt geprojecteerd op deze geleerde basis, wat resulteert in een systeem van niet-autonome gewone differentiaalvergelijkingen (ODE's) voor de tijdscoëfficiënten $a(t)$.

B. Flow Function Architectuur

In plaats van de gegenereerde ODE's numeriek te integreren (wat duur is), leert het model direct de flow map (de evolutie van de toestand over de tijd).

• RNN-gebaseerde Flow: Een Recurrent Neural Network (RNN), specifiek een LSTM, wordt gebruikt om de tijdscoëfficiënten te voorspellen.
• Inputverwerking: De geprojecteerde inputs (ruimtelijk gemiddelde van de externe kracht) worden als input aan de RNN gegeven.
• Continuïteit: De architectuur is ontworpen om continu in de tijd te zijn en discretisatie-onafhankelijk, waardoor het kan generaliseren naar tijdstappen die niet in de trainingsdata zaten.

C. Output Reconstructie

De uiteindelijke oplossing $\hat{u}(x, t)$ wordt gereconstrueerd door een niet-lineaire combinatie van de geleerde basisfuncties en de voorspelde tijdscoëfficiënten.

• Dit gebeurt via een tweede FNN (decoder) die de elementsgewijze product (Hadamard product) van de coëfficiënten en basisfuncties verwerkt.

Trainingsstrategie (Twee-staps procedure)

1. Stap 1 (Basisfuncties): De basisfuncties worden getraind met behulp van Proper Orthogonal Decomposition (POD) op een dataset van trajecto's. Dit levert een orthogonale basis op die de dominante dynamiek vastlegt.
2. Stap 2 (Flow en Reconstructie): Met de vaste basisfuncties worden de inputs geprojecteerd. Vervolgens worden de flow-functie (RNN) en de reconstructie-functie (FNN) gelijktijdig getraind om de empirische fout te minimaliseren.

---

3. Belangrijkste Bijdragen

1. Operator Learning Framework: Introductie van RHYME-XT, een nieuw kader voor het modelleren van niet-lineaire, input-afhankelijke PIDE's met lokale ritmische gedragingen.
2. Discretisatie-vrij en Continu: De methode vereist geen vooraf gedefinieerde ruimtelijke of temporele discretisatie en levert een continue representatie van de oplossing op.
3. Geen kennis van de dynamica vereist: Het model leert de dynamiek puur uit data, zonder de onderliggende PIDE-vergelijkingen te kennen.
4. Transfer Learning: Het artikel demonstreert dat een model getraind op een groot dataset efficiënt kan worden "fine-tuned" om een ander model uit dezelfde familie (maar met andere parameters of datasets) te benaderen, met slechts een fractie van de data die normaal nodig zou zijn.
5. Superieure Prestaties: De methode presteert aanzienlijk beter dan state-of-the-art baselines (zoals DeepONet) op complexe neuronale veldmodellen.

---

4. Resultaten

De methode is getest op een neuraal veldmodel (een PIDE die de membraanpotentiaal van neuronen beschrijft).

• Vergelijking met Baseline (DeepONet):
  • RHYME-XT bereikte een relatieve $\ell_2$-fout van 0.1284 op de testset.
  • DeepONet (met vergelijkbaar aantal parameters) bereikte een fout van 0.7115.
  • RHYME-XT kan fijne details in de trajecto's beter vastleggen.
• Extrapolatie in de tijd:
  • Een model getraind op een tijdsinterval $T=50$ werd getest op langere intervallen ($T=100$ en $T=250$).
  • De fout nam slechts marginaal toe (van ~0.128 naar ~0.155), wat aangeeft dat er geen significante foutpropagatie optreedt over lange tijdsperioden.
• Transfer Learning:
  • Een model getraind op een dataset met een Gaussische kernel kon worden geüpdatet naar een systeem met een andere kernel door te fine-tunen op slechts 2% van de oorspronkelijke trainingsdata. De prestaties waren vergelijkbaar met een model dat van nul af was getraind op een groot dataset.

---

5. Betekenis en Toekomstperspectief

RHYME-XT biedt een krachtige oplossing voor het modelleren van complexe spatiotemporale systemen die moeilijk te simuleren zijn met traditionele methoden. De belangrijkste implicaties zijn:

• Efficiëntie: Het vermijden van dure numerieke integratie en het gebruik van een compacte, geleerde basis maakt snellere simulaties mogelijk.
• Generalisatie: Het vermogen om te extrapoleren in de tijd en kennis over te dragen tussen verschillende systemen (via fine-tuning) maakt het zeer geschikt voor real-world toepassingen waar data schaars kan zijn.
• Toekomstig onderzoek: De auteurs suggereren het gebruik van Petrov-Galerkin-projectie (verschillende basisfuncties voor projectie en oplossing), uitgebreide tests op andere niet-lineaire PDE-systemen, en theoretische analyse van de benaderingseigenschappen van de architectuur.

Samenvattend stelt RHYME-XT een nieuwe standaard neer voor neuraal operator-leer in de context van excitabele, spatiotemporale besturingssystemen.