SINDyG: Sparse Identification of Nonlinear Dynamical Systems from Graph-Structured Data, with Applications to Stuart-Landau Oscillator Networks

Technische Samenvatting: SINDyG – Sparse Identification of Nonlinear Dynamical Systems from Graph-Structured Data

Probleemstelling
De extractie van bestuurende vergelijkingen uit data met behulp van sparse-identificatietechnieken, zoals Sparse Identification of Nonlinear Dynamics (SINDy), heeft de modellering in vakgebieden variërend van neurowetenschappen tot klimaatwetenschappen revolutionair veranderd. Echter, standaard SINDy-benaderingen behandelen dynamische systemen doorgaans als monolithische entiteiten, waarbij ze de onderliggende netwerktopologie negeren die interacties tussen subsystemen regelt. Wanneer toegepast op grafgestructureerde systemen (bijvoorbeeld neurale netwerken, elektriciteitsnetwerken of sociale netwerken), behandelt standaard SINDy alle kandidaat-interactietermen gelijk. Dit gebrek aan structurele priors leidt vaak tot de selectie van "spurious terms" (schijnbare termen) – interacties die de werkelijke connectiviteit tussen knopen niet weerspiegelen – wat resulteert in bevooroordeelde, minder accurate en overmatig complexe modellen die subtiel emergent gedrag niet kunnen vangen.

Methodologie: SINDyG
Om deze beperkingen aan te pakken, stellen de auteurs SINDyG (Sparse Identification of Nonlinear Dynamical Systems from Graph-structured data) voor. Deze methode breidt het standaard SINDy-kader uit door de adjacentiestructuur van het netwerk expliciet op te nemen in het sparse-regressieproces.

De kerninnovatie is een graf-informeerde regularisatiestrategie. In plaats van een uniforme straf toe te passen op alle kandidaat-termen, maakt SINDyG gebruik van een strafmatrix $P$ die is afgeleid van de adjacentiematrix $A$ van het netwerk. Het proces omvat:

1. Connectiviteitsanalyse: Voor elke kandidaat-term in de functielibrarie identificeert het algoritme bronvariabelen (knopen die betrokken zijn bij de term) en berekent het de gemiddelde connectiviteit ($m_{ck}$) tussen deze bronnen en de zinkknop (de knop waarvan de dynamiek wordt gemodelleerd) met behulp van de adjacentiematrix.
2. Straformulering: Er wordt een op een sigmoid gebaseerde straffunctie $P[c,k]$ geconstrueerd. Termen met een lage gemiddelde connectiviteit tussen bron- en zinkvariabelen krijgen een hogere straf (dichter bij 1), wat effectief de selectie van interacties die de bekende netwerktopologie schenden, ontmoedigt. Omgekeerd krijgen termen die consistent zijn met sterke verbindingen lagere straffen.
3. Optimalisatie: De methode maakt gebruik van een gewijzigd Sequentially Thresholded Least Squares (STLSQ) algoritme. De doelfunctie minimaliseert de reconstructiefout van de afgeleiden terwijl de grafbewuste straf wordt geïntegreerd:
   $$\min_{\Xi} \frac{1}{2} \| \dot{X} - \Theta(X)\Xi \|_2^2 + \lambda \| P \odot \Xi \|_2^2$$
   Om dit efficiënt op te lossen, worden de kenmerkmatrix en coëfficiënten geschaald om het probleem te transformeren naar een standaard ridge-regressiekader, dat vervolgens iteratief wordt opgelost met harde drempelwaarde om sparsiteit af te dwingen.

Belangrijkste Bijdragen

• Graf-bewuste Sparse Regressie: De introductie van een modulaire strafmatrix die voorafgaande kennis van netwerkkoppeling direct integreert in het proces van coëfficiëntschattting.
• Verbeterde Parsimonie en Nauwkeurigheid: Door de regressie te bevooroordeelen naar structureel plausibele interacties, reduceert SINDyG de selectie van spurious terms, wat leidt tot eenvoudigere, beter interpreteerbare modellen.
• Modulair Kader: De voorgestelde graf-informeerde straf is ontworpen om eenvoudig te integreren met andere symbolische regressie-oplossers dan SINDy.

Experimentele Resultaten
De auteurs hebben SINDyG gevalideerd met Stuart-Landau (SL) oscillator-netwerken, een model dat vaak wordt gebruikt om de macroscopische oscillatie van neurale populaties te beschrijven. Experimenten werden uitgevoerd op zowel eenvoudige drie-knoopnetwerken als complexe algemene gevallen met Erdős-Rényi (ER) en Scale-Free (SF) topologieën met variërende maten en koppelingssterktes.

• Eenvoudig Geval: In een drie-knoopnetwerk bereikte SINDyG een modelcomplexiteit ($\gamma$) van 32, wat overeenkomt met het ware model, terwijl standaard SINDy een complexiteit van 62 opleverde. SINDyG toonde superieure coëfficiëntnauwkeurigheid (Gemiddelde Absolute Fout van 0,0033 versus 0,0155 voor SINDy) en hogere voorspellende $R^2$-scores op onzichtbare trajecten.
• Algemeen Geval: Gevoeligheidsanalyses onthulden dat naarmate de netwerkgrootte en koppelingssterkte toenamen, de prestaties van standaard SINDy significant verslechterden, met hogere complexiteit en fouten. Daarentegen behield SINDyG robuustheid, consistent producerend modellen met lagere complexiteit en hogere generalisatienauwkeurigheid (hogere test $R^2$, lagere test MSE) over variërende netwerkgroottes en randgewichten.
• Berekenings-efficiëntie: Hoewel SINDyG extra stappen vereist om de strafmatrix te berekenen, bleef de totale trainingstijd vergelijkbaar met standaard SINDy, waarbij de methode grotere veerkracht toonde tegen beperkte trainingsdata.

Betekenis en Claims
Het artikel claimt dat SINDyG een significante stap voorwaarts is in datagedreven modellering van onderling verbonden systemen. Door netwerktopologie te benutten om de ontdekking van bestuurende vergelijkingen te sturen, produceert de methode modellen die niet alleen nauwkeuriger zijn, maar ook fysisch beter interpreteerbaar. De auteurs positioneren SINDyG als een fundamentele stap naar een bredere klasse van "netwerkinformeerde ontdekkingsalgoritmen". Zij suggereren dat het integreren van deze grafgestructureerde sparsiteitsregularisatie in bestaande symbolische regressie-oplossers (zoals PySR) de prestaties kan verbeteren in ruisige of real-world omgevingen over diverse domeinen, waaronder neurowetenschappen, ecologie, financiën en epidemiologie. De auteurs merken bescheiden op dat hoewel de methode is gevalideerd op Stuart-Landau-modellen, toekomstig werk nodig is om de effectiviteit te beoordelen op andere niet-lineaire systemen zoals Kuramoto- of FitzHugh–Nagumo-modellen.