SPIKE: Sparse Koopman Regularization for Physics-Informed Neural Networks

Titel: SPIKE: Sparse Koopman Regularization for Physics-Informed Neural Networks

Auteur: Jose Marie Antonio Miñoza (Center for AI Research PH)
Status: Preprint (arXiv:2601.10282v2)

---

1. Het Probleem

Physics-Informed Neural Networks (PINNs) zijn een krachtige, mesh-vrije methode om differentiaalvergelijkingen op te lossen door fysische beperkingen direct in het trainingsproces van neurale netwerken te integreren. Ondanks hun succes binnen het trainingsdomein, kampen PINNs met twee fundamentele beperkingen:

1. Slechte generalisatie buiten het trainingsdomein (OOD): PINNs neigen tot overfitting binnen het getrainde spatiotemporale gebied. Wanneer ze worden gebruikt voor extrapolatie (bijv. naar latere tijdstippen of ruimtelijke gebieden buiten de training), groeien de fouten vaak exponentieel, wat leidt tot catastrofale fouten.
2. Gebrek aan interpretbaarheid: De geleerde gewichten van een standaard PINN zijn "black-box". Ze onthullen niet direct de onderliggende dynamische structuur of de wiskundige vorm van de vergelijking, wat het moeilijk maakt om fysische inzichten te halen of omgekeerde problemen op te lossen.

Bestaande methoden zoals SINDy of Deep Koopman vereisen vaak expliciete kennis van de dynamica $f(x)$ of werken op trajectdata, wat ze minder geschikt maakt voor directe PDE-oplossing via residuals.

2. Methodologie: Het SPIKE Framework

De auteurs stellen SPIKE (Sparse Physics-Informed Koopman-Enhanced) voor, een raamwerk dat PINNs regulariseert met continue-tijd Koopman-operatoren om parsimonieuze (spare) dynamische representaties te leren.

Kerncomponenten:

• Architectuur: Een standaard PINN-encoder ($u_\theta$) wordt aangevuld met een parallelle "lifting"-laag die de oplossing $u$ afbeeldt naar een observabele ruimte $z = g(u)$.
• Observabelen: De afbeelding $g(u)$ bestaat uit twee delen:
  1. Een polynoombibliotheek ($g_{lib}$): Bevat expliciete monomiale termen (bijv. $1, u, u^2$).
  2. Een latent MLP ($g_{mlp}$): Een neurale sub-netwerk dat impliciete correlaties leert (bijv. met afgeleiden zoals $u_{xx}$).
• Continue-tijd Koopman Regularisatie: In plaats van een discrete operator te leren, wordt de infinitesimale generator $A$ direct geleerd via de lineaire dynamica:
  $$\frac{dz}{dt} = Az$$
  Dit vermijdt de "diagonale dominantie" problemen van discrete Koopman-operatoren (waarbij de matrix naar de identiteitsmatrix convergeert bij kleine tijdstappen).
• Sparsiteit (L1 Regularisatie): Voor SPIKE wordt een L1-strafterm ($\lambda_s \|A\|_1$) toegevoegd aan de loss-functie. Dit dwingt de matrix $A$ om spaarzaam te zijn, wat betekent dat alleen de noodzakelijke interacties tussen observabelen worden behouden (het principe van parsimonie).
• Integratie voor Stijve Systemen: Voor stijve PDE's (zoals Cahn-Hilliard) wordt een matrix-exponentiële integratie ($z(t+\Delta t) = e^{A\Delta t}z(t)$) gebruikt. Dit biedt onvoorwaardelijke stabiliteit en voorkomt traininginstabiliteit die optreedt bij standaard Euler- of RK4-methoden.

Trainingsdoel:
De totale loss-functie combineert:

1. De PDE-residu (fysische wetten).
2. De Koopman-consistentie (lineariteit in de observabele ruimte).
3. Sparsiteit (voor SPIKE).
4. Rand- en beginvoorwaarden.

3. Belangrijkste Bijdragen

1. Verbeterde Generalisatie: De sparse Koopman-beperking fungeert als een impliciete regularisator die overfitting voorkomt. Dit resulteert in verbeteringen in temporele extrapolatie met een factor van 2 tot 184x ten opzichte van standaard PINNs.
2. Parsimonieuze Dynamica: L1-regularisatie reduceert het aantal niet-nul elementen in de generator-matrix $A$ met tot 5,7x. Dit levert interpreteerbare dynamische modellen op die de "parsimonie-principe" volgen (complexe dynamica hebben vaak een laag-dimensionale structuur).
3. Library-Latent Decompositie: Een hybride embedding die zowel symbolische polynoomtermen als geleerde features combineert. Dit stelt het model in staat om afgeleiden (zoals $u_{xx}$) impliciet te leren met correlaties tot 0,99, zelfs zonder deze expliciet in de bibliotheek op te nemen.
4. Continue-tijd Formulering: Door direct de generator $A$ te leren in plaats van een discrete operator, vermijdt het framework numerieke instabiliteiten bij kleine tijdstappen en maakt het zinvolle sparsiteitsanalyse mogelijk.

4. Resultaten

Het framework werd getest op 14 dynamische systemen, waaronder parabolische, hyperbolische, dispersieve, stijve PDE's en chaotische ODE's (o.a. Navier-Stokes, Lorenz, KdV, Cahn-Hilliard).

• Extrapolatie: SPIKE/PIKE toonde consistente verbeteringen in temporele en ruimtelijke extrapolatie.
  • Lorenz (chaotisch): De geldige voorspellingstijd nam toe met 184x (van 0,07s naar 12,91s, wat overeenkomt met ~12 Lyapunov-tijden versus <0,1).
  • Cahn-Hilliard (stijf): Verbetering van $10^6$ keer in MSE binnen het domein.
  • 2D Wave: Verbetering van $8 \times 10^7$ keer.
• Stabiliteit: Voor stijve systemen (waar $|\lambda_{max}| > 10^4$) was de matrix-exponentiële integratie (EXPM) essentieel om trainingstijfheid en divergentie te voorkomen.
• Interpretatie en Omgekeerde Problemen: Door de sparsiteit van $A$ konden de actieve termen in de dynamica worden geïdentificeerd. Coëfficiënten van PDE's konden na training worden hersteld met een relatieve fout van < 1% zonder het model opnieuw te hoeven trainen.
• Berekening: De extra rekentijd is beperkt (<5% voor Euler/RK4, ~25% voor EXPM), wat een gunstige afweging is gezien de enorme toename in nauwkeurigheid.

5. Betekenis en Conclusie

Dit werk markeert een verschuiving in het paradigma van Physics-Informed Learning. In plaats van Koopman-methoden te verrijken met fysische beperkingen, verrijkt SPIKE PINNs met Koopman-regularisatie.

• Fundamentele Oplossing: Het adresseert de fundamentele beperkingen van PINNs bij het oplossen van stijve en chaotische systemen waar standaard netwerken falen door overfitting en gebrek aan structurele constraints.
• Interpreteerbaarheid: Het biedt een brug tussen "black-box" deep learning en interpreteerbare wiskundige modellen, waardoor het mogelijk is om de onderliggende fysische wetten te ontdekken uit de geleerde sparsere matrices.
• Toepasbaarheid: Het framework is robuust voor een breed scala aan PDE's en biedt een praktische route voor zowel voorwaartse simulatie (met betere extrapolatie) als omgekeerde problemen (coëfficiëntschattings).

Kortom, SPIKE demonstreert dat het inbedden van lineaire dynamische structuren (via Koopman-theorie) in niet-lineaire neurale netwerken de generalisatiekracht en fysieke consistentie van PINNs drastisch kan verbeteren.