Symbolic Discovery of Stochastic Differential Equations with Genetic Programming

Dit paper introduceert een methode op basis van genetische programmering voor de symbolische ontdekking van stochastische differentiaalvergelijkingen, waarbij drift- en diffusiefuncties gezamenlijk worden geoptimaliseerd om interpreteerbare wiskundige uitdrukkingen te leren die zowel deterministische dynamica als ruiscomponenten nauwkeurig modelleren.

De kern

Stel je voor dat je een detective bent die probeert de regels van een mysterieus spel te achterhalen. Je kijkt naar een chaos van bewegingen: een bal die stuitert, een stofje dat door de lucht dwarrelt, of een beurskoers die omhoog en omlaag gaat.

In de wetenschap proberen we vaak wiskundige formules te vinden die deze bewegingen verklaren. Tot nu toe hebben wetenschappers zich vooral gericht op voorspelbare bewegingen (als een pendel die precies heen en weer zwaait). Maar in het echte leven is er altijd ruis: de wind die de pendel een beetje duwt, of een onverwachte stoot.

Deze paper introduceert een slimme nieuwe manier om niet alleen de hoofdregels te vinden, maar ook de "ruis" zelf te begrijpen. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De Voorspelbare vs. De Chaotische

Stel je voor dat je probeert te voorspellen waar een bal zal zijn.

• De oude methode (Deterministisch): Je zegt: "De bal gaat hierheen." Maar als de wind waait, mis je de bal. De oude methoden zagen de wind als een foutje dat je moet negeren.
• De nieuwe methode (Stochastisch): Je zegt: "De bal gaat hierheen, maar er is een kans dat de wind hem een duwtje geeft." Je leert dus twee dingen tegelijk: de hoofdregel én hoe de wind werkt.

2. De Oplossing: Genetische Programmatie (De "Digitale Evolutie")

Hoe vinden we deze formules? De auteurs gebruiken een techniek die Genetische Programmatie heet. Denk hierbij aan natuurlijke selectie, maar dan met wiskundige formules in plaats van dieren.

• De Start: De computer maakt duizenden willekeurige, gekke formules (zoals sin(x) + 3 of x * y - 2). Dit zijn de "baby's".
• De Test: De computer kijkt welke formule het beste past bij de data die je hebt.
• De Overleving van de Fittest: De formules die het beste werken, krijgen "kinderen".
  • Crossover (Kruising): Twee goede formules worden samengevoegd. Stel, formule A heeft een goede manier om de wind te beschrijven, en formule B heeft een goede manier om de zwaartekracht te beschrijven. Ze wisselen delen uit en maken een nieuwe, betere formule.
  • Mutatie: Soms verandert er per ongeluk een klein dingetje in een formule (bijvoorbeeld een + wordt een *). Soms is dit een gelukstreffer en wordt de formule nog beter.
• Het Doel: Na duizenden generaties heeft de computer de perfecte formule gevonden die zowel de hoofdregel als de "wind" (de ruis) beschrijft.

3. Waarom is dit zo speciaal?

Vroeger probeerden wetenschappers de "wind" (de ruis) te negeren of te middelen. Dit papier zegt: "Nee, leer de wind!"

• Beter voorspellen: Als je weet hoe de wind werkt, kun je niet alleen zeggen waar de bal nu is, maar ook alle mogelijke banen die hij in de toekomst kan afleggen. Het is alsof je niet alleen één route tekent, maar een heel wolkje van mogelijke routes.
• Minder fouten bij complexe dingen: De oude methoden (die "bakken" met data gebruikten om gemiddelden te nemen) faalden als het systeem te complex werd (bijvoorbeeld met 20 verschillende variabelen tegelijk). De nieuwe methode (Genetische Programmatie) groeit mee met de complexiteit. Het is alsof je een simpele schaal gebruikt voor een bakje water, maar een enorme emmer voor een zwembad. De oude methode lekte uit bij het zwembad; de nieuwe methode pakt het perfect op.
• Werkt ook met weinig data: Soms heb je maar een paar metingen. De nieuwe methode kan "inzoomen" tussen die metingen en de beweging logisch invullen, zelfs als de data spaarzaam is.

4. Een concreet voorbeeld: De Rössler Attractor

De auteurs testten dit op een systeem dat eruitziet als een wirwar van lijnen (een "attractor").

• De oude methode kon de hoofdlijnen wel zien, maar de "willekeurige sprongetjes" miste hij.
• De nieuwe methode zag zowel de hoofdlijnen als de sprongetjes.
• Het resultaat: Als je de nieuwe formule gebruikt om een nieuwe film te maken van hoe het systeem zich gedraagt, ziet die eruit als een perfecte kopie van de echte chaos. De oude methode gaf een saaie, voorspelbare lijn die na een tijdje uit de bocht vloog.

Samenvattend

Deze paper is als het vinden van een nieuwe soort bril voor wetenschappers.

• De oude bril zag alleen de hoofdlijnen en negeerde de ruis.
• De nieuwe bril (Genetische Programmatie voor Stochastische Vergelijkingen) ziet alles: de regels én de chaos.

Het stelt ons in staat om complexe, onvoorspelbare systemen (zoals weer, beursmarkten of zelfs hersenactiviteit) niet alleen te begrijpen, maar ook te simuleren op een manier die echt voelt als de echte wereld. Het is een grote stap in het automatiseren van wetenschappelijke ontdekkingen in een wereld die nooit stil staat en altijd een beetje chaotisch is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Symbolic Discovery of Stochastic Differential Equations with Genetic Programming" in het Nederlands.

Probleemstelling

Automatische wetenschappelijke ontdekking (ASD) richt zich op het afleiden van onderliggende mechanica uit data. Traditionele methoden voor symbolische regressie focussen voornamelijk op het vinden van deterministische vergelijkingen, zoals gewone differentiaalvergelijkingen (ODE's). In de praktijk zijn systemen echter vaak onderhevig aan ruis (stochastische dynamica).

• Beperkingen van bestaande methoden: De gangbare aanpak is om ruis te negeren of als een complicatie te zien bij het herleiden van deterministische dynamica. Bestaande methoden voor stochastische differentiaalvergelijkingen (SDE's) maken gebruik van de Kramers-Moyal-expansie gekoppeld aan sparse regression (zoals SINDy).
• Nadeel van Kramers-Moyal: Deze methode vereist het "binning" (indelen in hokjes) van data om drift- en diffusiecoëfficiënten te schatten. Dit leidt tot een aantal problemen:
  • Het is gevoelig voor de "curse of dimensionality" (explosie van rekentijd en onnauwkeurigheid bij hogere dimensies).
  • Het is een tweestapsproces (eerst schatten, dan regressie), wat fouten kan accumuleren.
  • Het vereist hoge sample-frequenties en is minder robuust bij schaars geprofileerde data.
  • Het levert vaak geen interpreteerbare functie op voor het stochastische deel (diffusie), maar schat alleen coëfficiënten.

Het doel van dit onderzoek is het ontwikkelen van een methode die direct symbolische structuren voor zowel de drift (deterministisch) als de diffusie (stochastisch) van SDE's leert, zonder afhankelijk te zijn van binning of vooraf gedefinieerde modelstructuren.

Methodologie

De auteurs introduceren GP-SDE, een methode die Genetische Programmering (GP) gebruikt om symbolische expressies voor SDE's te ontdekken.

1. Formulering van het SDE-probleem:
   Het systeem wordt gemodelleerd als:
   $$dx(t) = f(x(t))dt + G(x(t))dW$$
   Waarbij $f(x)$ de driftfunctie is en $G(x)$ de diffusiefunctie (ruis). De methode schat zowel $f$ als $G$ als symbolische bomen.

2. Genetische Programmering (GP):

   • Populatie: Individuen worden voorgesteld als parse-bomen die symbolische vergelijkingen vormen.
   • Multi-baam representatie: Elk individu bevat meerdere bomen: één voor de drift en één voor de diffusie per variabele.
   • Evolutie: De populatie evolueert via crossover (uitwisselen van subbomen) en mutatie (wijzigen van operatoren of bladeren).
   • Optimalisatie: De constante parameters binnen de bomen worden geoptimaliseerd met gradient descent om de convergentie te versnellen.

3. Fitnessfunctie (Maximum Likelihood Estimate - MLE):
   In plaats van numerieke integratie of binning, wordt de MLE gebruikt als fitnessfunctie.

   • De methode maximaliseert de waarschijnlijkheid van de geobserveerde data gegeven het geleerde model.
   • Voor normaal verdeelde ruis wordt de negatieve log-likelihood van een Gaussische verdeling geminimaliseerd.
   • Multi-step Integratie (GP-SDE-MS): Bij schaars geprofileerde data (grote tijdsintervallen) worden de vergelijkingen numeriek geïntegreerd in meerdere kleine stappen tussen observaties om de nauwkeurigheid te verhogen.

4. Vergelijking:
   De methode wordt vergeleken met:

   • GP-ODE: GP die alleen de drift leert (negeert diffusie).
   • KM-SR: De bestaande standaard (Kramers-Moyal expansie + sparse regression).

Belangrijkste Bijdragen

• Gecombineerde optimalisatie: Voor het eerst wordt GP toegepast om drift en diffusie gelijktijdig te optimaliseren via MLE, wat leidt tot coherenter en nauwkeuriger modellen.
• Eliminatie van Binning: De methode maakt geen gebruik van data-binning, waardoor deze schaalbaar is naar hogere dimensies en minder gevoelig is voor de keuze van hyperparameters.
• Interpreteerbaarheid: De methode levert expliciete, menselijk leesbare wiskundige formules op voor zowel de deterministische als de stochastische componenten.
• Generatieve capaciteit: Omdat het volledige stochastische model wordt geleerd, kunnen nieuwe, realistische trajectoires worden gegenereerd (generative sampling).

Resultaten

De methode is getest op diverse benchmarks, waaronder het Double Well-potentieel, Van der Pol-oscillator, Rössler-attractor, Lorenz96 (5, 10, 20 dimensies) en Lotka-Volterra systemen.

• Nauwkeurigheid: GP-SDE herstelt de drift- en diffusiefuncties nauwkeurig, zelfs bij complexe, niet-lineaire multiplicatieve ruis.
• Schaalbaarheid:
  • Bij lage dimensies is GP-SDE concurrerend met KM-SR.
  • Bij hoge dimensies (bijv. Lorenz96 met 10 of 20 variabelen) faalt KM-SR door de ondoordringbaarheid van het binning-proces (miljoenen hokjes nodig). GP-SDE presteert hier echter stabiel en nauwkeurig.
• Robuustheid bij schaarse data: Door het gebruik van multi-step integratie (GP-SDE-MS) kan de methode accurate vergelijkingen vinden uit data met lage sample-frequenties, waarbij KM-SR en standaard GP-ODE falen.
• Stochastische PDE's (SPDE's): De methode is succesvol toegepast op SPDE's (zoals de Fisher-KPP vergelijking en 2D warmtevergelijking), wat aantoont dat het kader generaliseert naar ruimtelijke systemen.
• Generatieve samples: Simulaties tonen aan dat modellen gevonden met GP-SDE betere statistische eigenschappen (gemiddelde en variantie) genereren dan KM-SR, en beter overeenkomen met de echte stochastische dynamica dan deterministische modellen.

Betekenis en Conclusie

Dit werk markeert een belangrijke stap in de automatisering van wetenschappelijke ontdekking in een ruisige wereld.

• Het bewijst dat het expliciet modelleren van ruis (diffusie) essentieel is voor het correct herleiden van de deterministische dynamica (drift).
• Het biedt een schaalbaar alternatief voor de Kramers-Moyal-expansie, wat cruciaal is voor complexe, multidimensionale systemen in de natuurwetenschappen en biologie.
• Hoewel de methode momenteel uitgaat van volledige observatie en normaal verdeelde ruis, opent het de weg voor toekomstig onderzoek naar latent SDE's en complexere ruisverdelingen.

Kortom, GP-SDE combineert de interpretatiekracht van symbolische regressie met de modelleringcapaciteit van stochastische processen, waardoor het een krachtig hulpmiddel wordt voor het begrijpen van dynamische systemen in de echte wereld.