SODAs: Sparse Optimization for the Discovery of Differential and Algebraic Equations

Dit paper introduceert SODAs, een data-gedreven methode die via sequentiële convexe optimalisatie differentiaal-algebraïsche vergelijkingen (DAE's) in hun expliciete vorm identificeert zonder variabelen vooraf te elimineren, waardoor interpreteerbare en numeriek stabiele modellen worden verkregen voor complexe dynamische systemen.

De kern

SODAs: De Detective die de Verborgen Regels van de Wereld Ontdekt

Stel je voor dat je een complexe machine voor je hebt, zoals een auto, een biologisch proces in je lichaam, of een elektriciteitsnetwerk. Deze systemen bewegen en veranderen voortdurend. Wetenschappers willen graag weten: Wat zijn de regels die deze machine aansturen?

Meestal proberen we deze regels te vinden door te kijken naar de beweging (de "dynamiek"). Maar veel systemen in de echte wereld hebben een geheim: ze worden niet alleen bestuurd door beweging, maar ook door stevige regels die nooit veranderen. Denk aan een wet van behoud (bijvoorbeeld: "energie kan niet verdwijnen") of een fysieke beperking (bijvoorbeeld: "een pendel is vastgezet aan een touw van een bepaalde lengte").

In de wiskunde noemen we beweging differentiaalvergelijkingen en deze vaste regels algebraïsche vergelijkingen. Samen vormen ze een DAE (Differentiaal-Algebraïsche Vergelijking).

Het probleem? Bestaande methoden om deze regels te vinden, doen alsof er alleen beweging is. Ze proberen de vaste regels te "wegrekenen" voordat ze beginnen. Dat werkt goed als je precies weet welke regels er zijn, maar faalt als je die regels niet kent of als het systeem te complex is.

Hier komt SODAs (Sparse Optimization for the Discovery of Differential and Algebraic Equations) om de hoek kijken. Het is een slimme, data-gedreven methode die deze twee soorten regels apart van elkaar ontdekt.

---

De Analogie: De Ontdekkingsreiziger en de Kaart

Stel je voor dat je een ontdekkingsreiziger bent in een onbekend landschap. Je hebt een camera (je meetapparatuur) en je neemt foto's van alles wat er gebeurt.

1. De oude methode (SINDy):
   De oude ontdekkers probeerden direct een kaart te tekenen van de beweging van de rivieren en wind. Maar omdat er ook onzichtbare muren waren (de algebraïsche regels) die de rivieren dwongen om in een kanaal te blijven, raakten ze in de war. Ze probeerden de muren te negeren, wat leidde tot een chaotische en onnauwkeurige kaart, vooral als het regende (ruis in de data).

2. De nieuwe methode (SODAs):
   SODAs werkt in twee stappen, net als een slimme detective:

   • Stap 1: De "Muur-Opzoeker" (Algebraic Finder)
     Eerst kijkt SODAs alleen naar de statische regels. "Welke punten bewegen niet ten opzichte van elkaar?" of "Welke sommen blijven altijd gelijk?"

     • Voorbeeld: Bij een chemische reactie is de totale hoeveelheid atomen constant. SODAs ziet dit als een "muur" in de data.
     • Zodra deze muur is gevonden, verwijdert SODAs alle verwarring die door deze muur wordt veroorzaakt. Het is alsof je de muren uit de kamer haalt zodat je de rest van de kamer schoner kunt zien. Dit maakt de data veel rustiger en makkelijker te lezen.

   • Stap 2: De "Bewegings-Opzoeker" (Dynamic Finder)
     Nu, met de muren weg en de verwarring verwijderd, kijkt SODAs naar hoe de dingen bewegen. Omdat de "ruis" van de vaste regels is verwijderd, kan het de bewegingsregels (de dynamiek) veel nauwkeuriger en sneller vinden, zelfs als de data een beetje ruis bevat (zoals een trillende camera).

---

Waarom is dit zo slim? (De Creatieve Vergelijkingen)

1. Het Oplossen van de "Verwarde Bibliotheek"

Stel je een bibliotheek voor waar je boeken zoekt die de regels van het universum beschrijven. In een DAE-systeem staan er echter boeken die exact hetzelfde zeggen als andere boeken, maar dan vermenigvuldigd met een getal. Dit noemen we meerdere correlaties (multicollinearity).

• Het probleem: Als je probeert te kiezen welk boek de juiste regel is, raak je in paniek omdat er 100 boeken zijn die bijna hetzelfde zeggen. De computer wordt er "ziek" van (numerieke instabiliteit).
• De SODAs-oplossing: SODAs kijkt eerst naar de boeken die de "vaste regels" beschrijven. Zodra het een regel vindt (bijv. "A + B = 10"), haalt het alle boeken die hierop gebaseerd zijn uit de bibliotheek. Plotseling is de bibliotheek veel kleiner, overzichtelijker en makkelijker te scannen.

2. Het Vinden van de "Waarheid" in een Storm

Stel je voor dat je probeert een liedje te horen terwijl er een storm buiten waait (ruis in de data).

• Als je probeert het hele liedje (beweging + regels) tegelijk te horen, verdrinkt het liedje in het lawaai van de storm.
• SODAs doet alsof het eerst de storm (de vaste regels) identificeert en dempt. Zodra de storm weg is, is het liedje (de beweging) kristalhelder te horen, zelfs als het nog steeds een beetje waait.

---

Wat heeft SODAs bewezen? (De Experimenten)

De auteurs hebben SODAs getest op drie heel verschillende gebieden:

1. Chemische Reacties (De Keuken):
   Ze keken naar hoe chemicaliën reageren. SODAs ontdekte automatisch welke stoffen "in evenwicht" waren (de algebraïsche regels) en welke stoffen veranderen (de beweging). Het deed dit met veel minder data dan eerdere methoden nodig hadden.

2. Het Stroomnet (De Stad):
   Ze keken naar elektriciteitsnetwerken. Hier zijn de regels gebaseerd op hoe stroom door draden stroomt (wetten van behoud). SODAs kon de hele structuur van het netwerk reconstrueren, zelfs als de metingen een beetje ruis hadden. Het wist precies welke stroombronnen met welke huizen verbonden waren.

3. Schommelende Pendels (De Speeltuin):
   Dit was het meest creatieve deel. Ze keken naar video's van schommelende pendels (en zelfs een chaotische dubbele pendel).

   • De camera zag alleen x- en y-coördinaten (beweging op het scherm).
   • SODAs ontdekte echter dat er een verborgen regel was: "De afstand tot het midden is altijd hetzelfde" (de lengte van het touw).
   • Door deze regel te vinden, kon het systeem de beweging vertalen naar een simpelere "hoek-coördinaat". Het was alsof SODAs de camera vertaalde van "pixel-ruis" naar "fysieke realiteit".

---

Conclusie: Waarom moeten we hier blij om zijn?

SODAs is een doorbraak omdat het stopt met proberen alles in één keer te raden. In plaats daarvan:

1. Het zoekt eerst naar de vaste regels (de muren).
2. Het haalt die regels uit de weg om de beweging (de dans) duidelijker te zien.
3. Het werkt zelfs als de data niet perfect is (ruis, trillingen).

Dit betekent dat we in de toekomst veel complexere systemen (van ziektes in het lichaam tot het weer of robotica) kunnen begrijpen en modelleren, zonder dat we van tevoren hoeven te weten hoe de machine precies in elkaar zit. Het is alsof we eindelijk de handleiding hebben gevonden voor de machine, zelfs als we hem nooit hebben opengebroken.

Kortom: SODAs is de slimme detective die eerst de regels van het spel ontdekt, zodat hij daarna de spelers perfect kan volgen.

Technische samenvatting

Probleemstelling

Dynamische systemen in de natuurkunde, biologie en techniek worden vaak gemodelleerd met Differentiaal-Algebraïsche Vergelijkingen (DAE's). Deze systemen combineren differentiaalvergelijkingen (die tijdsafhankelijke evolutie beschrijven) met algebraïsche constraints (die behoudswetten, quasi-steady-state aannames of fysieke beperkingen vertegenwoordigen).

Bestaande data-gedreven methoden voor modelontdekking, zoals SINDy (Sparse Identification of Nonlinear Dynamics), zijn doorgaans ontworpen voor Differentiaalvergelijkingen (ODE's). Om SINDy toe te passen op DAE-systemen, moeten onderzoekers de algebraïsche variabelen handmatig elimineren om het systeem te reduceren tot een ODE-formulering. Dit leidt tot verschillende problemen:

1. Verlies van interpretatie: De fysieke betekenis van de algebraïsche constraints (zoals behoudswetten) gaat verloren in de gereduceerde ODE-vorm.
2. Numerieke instabiliteit: De transformatie naar ODE's kan leiden tot complexe rationale functies (breuken) die gevoelig zijn voor ruis en numerieke instabiliteit, vooral bij systemen met hoge index.
3. Aannames: Bestaande methoden vereisen vaak dat bekend is welke variabelen differentieel en welke algebraïsch zijn, of dat alle variabelen gemeten zijn.
4. Meercollineariteit: Algebraïsche relaties tussen variabelen veroorzaken perfecte correlaties in de kandidaat-bibliotheek, wat de numerieke voorwaarde (conditioning) van het optimalisatieprobleem verslechtert en de ontdekking van het juiste model bemoeilijkt.

Er is dus behoefte aan een methode die DAE's direct in hun expliciete vorm kan ontdekken zonder voorafgaande eliminatie van variabelen, en die robuust is tegen ruis en meercollineariteit.

Methodologie: SODAs

De auteurs introduceren SODAs (Sparse Optimization for Differential-Algebraic Systems), een data-gedreven algoritme dat differentiaal- en algebraïsche componenten sequentieel identificeert. Het proces verloopt als volgt:

1. Constructie van de Kandidaat-Bibliotheek:
   Er wordt een bibliotheek $\Theta$ van mogelijke functies (bijv. polynomen, trigonometrische functies) opgesteld die de dynamiek van het systeem kunnen beschrijven.

2. Stap 1: Algebraïsche Vinder (Algebraic Finder):

   • Het algoritme identificeert iteratief algebraïsche relaties tussen de variabelen zonder gebruik te maken van afgeleiden (wat gevoelig is voor ruis).
   • Voor elke term in de bibliotheek wordt een sparseregressie uitgevoerd tegen de rest van de bibliotheek om te zien of de term lineair afhankelijk is van de anderen.
   • De beste fit (hoogste $R^2$ of laagste AIC/BIC) wordt geïdentificeerd als een algebraïsche relatie.
   • Bibliotheek-Refinement: Om meercollineariteit te verminderen, wordt de gevonden algebraïsche relatie vereenvoudigd (factoren eruit gehaald). Vervolgens wordt de term met de hoogste "complexiteit" (bijv. de hoogste graad in een polynoom) uit de bibliotheek verwijderd, samen met alle veelvouden daarvan. Dit verbetert de conditionering van de matrix.
   • Dit proces wordt herhaald totdat geen verdere verbetering in de conditienummer van de bibliotheek wordt waargenomen (gebaseerd op Singular Value Decomposition (SVD) analyse). SVD helpt om het aantal lineaire afhankelijkheden (en dus het aantal algebraïsche constraints) te bepalen.

3. Stap 2: Dynamische Vinder (Dynamic Finder):

   • Zodra de algebraïsche variabelen en relaties zijn geïdentificeerd, worden de overgebleven variabelen behandeld als differentiaalvariabelen.
   • De dynamische vergelijkingen (ODE's) worden ontdekt met behulp van bestaande sparseregressiemethoden (zoals SINDy met LASSO en sequentiële drempelwaarde) op de geoptimaliseerde en gereduceerde bibliotheek.
   • Omdat de algebraïsche termen al zijn verwijderd, is de bibliotheek beter geconditioneerd en minder gevoelig voor ruis in de numerieke afgeleiden.

4. Output:
   Het resultaat is een set DAE's in semi-expliciete vorm: een set algebraïsche vergelijkingen $G(y, z, t) = 0$ en differentiaalvergelijkingen $F(y, \dot{y}, z, t) = 0$.

Belangrijkste Bijdragen

• Directe DAE-ontdekking: SODAs is de eerste methode die DAE-systemen direct in hun expliciete vorm ontdekt, zonder ze eerst te reduceren tot ODE's. Dit behoudt de fysieke structuur en interpretatie van het systeem.
• Iteratief Refinement: De innovatieve stap van het iteratief verwijderen van termen die deel uitmaken van algebraïsche relaties lost het probleem van perfecte meercollineariteit op, wat een groot obstakel is voor bestaande sparse regression methoden.
• Geen afgeleiden nodig voor algebra: De algebraïsche component wordt gevonden zonder numerieke afgeleiden te schatten, wat de methode zeer robuust maakt tegen meetruis.
• Open Source Implementatie: De auteurs hebben de DaeFinder Python-pakket ontwikkeld en beschikbaar gesteld, wat de toepasbaarheid voor andere onderzoekers vergroot.

Resultaten

De methode werd getest op drie verschillende domeinen:

1. Chemische Reactienetwerken (CRN's):

   • SODAs slaagde erin om behoudswetten (enzymconcentraties) en quasi-steady-state relaties te ontdekken uit tijdsreeksen van chemische concentraties.
   • Het systeem was robuust tot 15% ruis en vereiste aanzienlijk minder data (5 initiële condities) dan bestaande impliciete methoden zoals SINDy-PI (die duizenden condities nodig hadden).
   • De methode kon de juiste structuur vinden zelfs bij hoge orde bibliotheektermen, mits de bibliotheek correct werd gereduceerd.

2. Stroomnetwerken (Power Grids):

   • Toepassing op IEEE-benchmarks (4, 9 en 39 bussen).
   • SODAs kon de topologie van het netwerk (koppelingen tussen bussen) en de power-flow vergelijkingen (algebraïsche constraints) nauwkeurig reconstrueren.
   • De methode presteerde uitstekend bij verschillende signaal-ruisverhoudingen (SNR), zelfs bij 20 dB ruis, en leverde fysisch betekenisvolle trajecten op.

3. Niet-lineaire en Chaotische Slagbomen (Pendulums):

   • Toepassing op pixel-data uit video-opnames van een enkele en een dubbele slagboom.
   • SODAs slaagde erin om de onderliggende algebraïsche constraints (de lengte van de slagboom, $x^2 + y^2 = l^2$) te ontdekken puur op basis van Cartesische coördinaten.
   • Dit leidde tot de identificatie van een verminderd coördinatenstelsel (poolcoördinaten). Hoewel de dynamische vergelijkingen voor de chaotische dubbele slagboom niet volledig werden herontdekt (vanwege de complexiteit en ruis in afgeleiden), bewees de methode dat het vinden van algebraïsche constraints essentieel is om het juiste coördinatenstelsel te vinden voor verdere modellering.

Betekenis en Conclusie

SODAs vertegenwoordigt een significante doorbraak in het veld van data-gedreven wetenschappelijk ontdekken. Door de scheiding tussen algebraïsche en differentiaalcomponenten aan te pakken, overwint de methode fundamentele beperkingen van bestaande SINDy-varianten.

• Interpretatie: Het behoudt de fysieke betekenis van behoudswetten en constraints, wat cruciaal is voor wetenschappelijke inzichtelijkheid.
• Stabiliteit: Het verbetert de numerieke stabiliteit door meercollineariteit actief te elimineren.
• Toepasbaarheid: De methode is breed toepasbaar op systemen met tijdschaal-separatie, zoals biologische netwerken, mechanische systemen en energienetwerken.

De auteurs wijzen wel op beperkingen, zoals de noodzaak om alle toestandsvariabelen te meten en de uitdagingen bij systemen waar snelle variabelen niet volledig in quasi-steady-state verkeren. Toch biedt SODAs een krachtig raamwerk voor het modelleren van complexe systemen waar traditionele ODE-reductie methoden tekortschieten.