Hyperparameter Optimization in the Estimation of PDE and Delay-PDE models from data

Dit artikel presenteert een verbeterde methode voor het schatten van partiële differentiaalvergelijkingen en delay-PDE's uit data, waarbij Bayes-optimalisatie en het Bayesiaanse informatiecriterium worden gebruikt om hyperparameters automatisch te optimaliseren, wat resulteert in robuustere en voorspellende modellen voor diverse fysische systemen.

De kern

De Kunst van het Gokken: Hoe een Computer de Regels van het Universum Ontdekt

Stel je voor dat je een enorme hoeveelheid video-opnames hebt van een dansende vlam, een kolkende oceaan of een zich uitbreidende bacteriecultuur. Je ziet de beweging, maar je weet niet waarom ze zich zo bewegen. Wat zijn de onzichtbare regels die deze dans sturen?

In de wetenschap proberen we deze regels te vinden door wiskundige vergelijkingen te schrijven. Maar vaak weten we die regels niet, of zijn ze zo complex dat ze onmogelijk met de hand op te lossen zijn. Hier komt dit nieuwe onderzoek van Oliver Mai en zijn team om de hoek kijken. Ze hebben een slimme, geautomatiseerde methode bedacht om die regels uit de data te 'gokken' – maar dan op een manier die veel slimmer is dan gewoon raden.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Grote Bibliotheek van Mogelijkheden

Stel je voor dat je een enorme bibliotheek hebt vol met bouwstenen. Deze bouwstenen zijn allemaal mogelijke wiskundige stukjes: "vermenigvuldig dit met dat", "neem de helling hier", "voeg een vertraging toe".
De computer neemt al je data (de dansende vlam) en probeert deze bibliotheek te gebruiken om de beweging na te bouwen. Het probleem? De bibliotheek is zo groot dat er duizenden onzincombinaties tussen zitten. Als je alles gebruikt, krijg je een onleesbare, rommelige vergelijking die nergens toe dient.

2. De Slimme Tuinman (Bayse Optimalisatie)

In het verleden moesten wetenschappers zelf de 'tuinman' spelen. Ze moesten handmatig beslissen: "Hoeveel onzin mag ik weggooien?" of "Hoe lang moet de vertraging zijn?". Ze deden dit door te gissen en te proberen (trial-and-error), wat veel tijd kostte en vaak leidde tot verkeerde conclusies.

Deze nieuwe methode gebruikt een Slimme Tuinman (een algoritme genaamd Bayse Optimalisatie).

• Hij proeft en proeft: De tuinman kijkt naar de data en probeert verschillende instellingen (zoals hoe streng hij moet zijn bij het weggooien van onzin).
• Hij zoekt de perfecte balans: Hij gebruikt een slimme maatstaf (de Bayesian Information Criterion). Denk hierbij aan een balansschaal. Aan de ene kant wil je een vergelijking die de data perfect beschrijft. Aan de andere kant wil je een vergelijking die zo simpel mogelijk is (niet meer blokken dan nodig). De tuinman zoekt automatisch het punt waar deze twee in perfect evenwicht zijn.

3. De Proef met de Tijdreis

Een van de grootste problemen bij het vinden van deze regels is dat computers vaak alleen kijken naar het momentane tempo van verandering. Dat is als kijken naar een foto van een rennende atleet en proberen te raden hoe hij over een uur eruit ziet. Soms werkt dat, maar vaak mislukt het.

De auteurs van dit paper hebben een trucje toegevoegd: Tijdsintegratie.
Stel je voor dat de computer niet alleen naar de foto kijkt, maar de hele film afspeelt. Hij bouwt een simulatie op en kijkt: "Als ik deze regels gebruik, komt de film na 10 minuten overeen met de echte data?" Als de simulatie uit elkaar valt of raar doet, weet de tuinman: "Deze regels kloppen niet." Dit maakt de methode veel robuuster, zelfs als de data niet perfect is of als er gaten in zitten.

4. De Magie van de Vertraging (Delay)

Soms reageert een systeem niet direct. Denk aan een plant die pas groeit nadat het geregend heeft, of een populatie die pas toeneemt nadat de jongen volwassen zijn geworden. In de wiskunde noemen we dit een vertraging.
Vroeger was het voor computers bijna onmogelijk om deze vertragingen te vinden. Deze nieuwe methode kan de vertragingstijd zelf als een 'knop' zien die de tuinman kan draaien. De computer probeert verschillende vertragingstijden en vindt automatisch de juiste: "Ah, de plant reageert precies 3 dagen na de regen!"

Waarom is dit belangrijk?

Dit onderzoek toont aan dat we niet langer hoeven te wachten tot een menselijke expert alle regels van een complex systeem (zoals klimaatverandering, ziekteverspreiding of stroming in een motor) uit zijn hoofd kent.

Deze methode is als een super-slimme detective die:

1. Kijkt naar de bewijzen (de data).
2. Test duizenden theorieën in een mum van tijd.
3. Zelf de beste instellingen kiest om de waarheid te vinden.
4. Zelfs de 'trucs' van het systeem (zoals vertragingen) ontdekt.

Het resultaat? We kunnen sneller en betrouwbaarder modellen maken die de echte wereld nabootsen, zelfs als de data rommelig is of als de systemen heel complex zijn. Het is een stap in de richting van computers die ons helpen de taal van het universum te leren spreken.

Technische samenvatting

Titel: Hyperparameter-optimalisatie bij het schatten van PDE- en Delay-PDE-modellen uit data

Auteurs: Oliver Mai, Tim W. Kroll, Uwe Thiele en Oliver Kamps (Universiteit Münster, Duitsland)

---

1. Het Probleem

De snelle vooruitgang in dataverzameling en rekenkracht heeft data-gedreven methoden voor het ontdekken van fysische wetten mogelijk gemaakt. Hoewel er veel methoden bestaan voor het identificeren van gewone differentiaalvergelijkingen (ODE's), zijn deze vaak ontoereikend voor ruimtelijk uitgebreide systemen die partiële differentiaalvergelijkingen (PDE's) vereisen.

Bestaande methoden voor PDE-identificatie (zoals SINDy) kampen met enkele kritieke beperkingen:

• Hyperparameter-afhankelijkheid: De prestaties hangen sterk af van handmatig ingestelde hyperparameters (zoals drempelwaarden voor sparsiteit of leersnelheden). Deze worden vaak via trial-and-error of kostbare roosterzoekopdrachten bepaald.
• Onvoldoende robuustheid: Methoden die alleen kijken naar de residuen van de tijdsafgeleide ($\partial_t u$) zijn vaak gevoelig voor ruis en onderbemonsterde data.
• Beperkte complexiteit: Het schatten van modellen met massabehoud (zoals de Cahn-Hilliard vergelijking) of tijdvertragingen (Delay-PDE's) vereist vaak specifieke, niet-generieke aanpassingen of is niet mogelijk met standaardbibliotheken.
• Instabiliteit: Geoptimaliseerde modellen zijn soms numeriek instabiel bij tijdsintegratie, zelfs als ze goed lijken te passen op de afgeleide data.

2. Methodologie

De auteurs stellen een verbeterde methode voor die Bayese Optimalisatie combineert met het Bayesian Information Criterion (BIC) om hyperparameters automatisch te vinden voor zowel de numerieke methode als het te schatten model.

Kerncomponenten van de methode:

• Basisprincipe: De methode zoekt een lineaire combinatie van kandidaat-functies (een "library" of bibliotheek) die de dynamica van een systeem $\partial_t u = F(u)$ beschrijft.
• Integratie van Tijdsintegratie: In tegenstelling tot methoden die alleen het residu van de afgeleide minimaliseren, integreert deze methode het geschatte model in de tijd om een gereconstrueerde tijdsreeks $\hat{u}$ te verkrijgen. De afwijking tussen $\hat{u}$ en de oorspronkelijke data $u$ wordt gebruikt als maatstaf voor de kwaliteit.
• Bayesian Information Criterion (BIC): De optimalisatie streeft naar het minimaliseren van de BIC:
  $$\text{BIC} = s \ln(N_t) - 2 \ln(\tilde{L})$$
  Waarbij $s$ het aantal niet-nul coëfficiënten is (sparsiteit), $N_t$ het aantal datapunten, en $\tilde{L}$ de likelihood (gerelateerd aan de integratiefout). Dit straalt een evenwicht af tussen modelnauwkeurigheid en complexiteit.
• Hyperparameter-optimalisatie (TPE): Er wordt gebruik gemaakt van de Tree-structured Parzen Estimator (TPE), een Bayese optimalisatie-algoritme, om de optimale waarden te vinden voor:
  • Drempelwaarden ($h_i$): Voor sequentiële drempelwaarde-minimale-kwadraten (STLS). Belangrijk: de methode staat toe dat verschillende variabelen of groepen termen (bijv. diffusie-termen) verschillende drempelwaarden hebben, in plaats van één globale drempel.
  • Modelparameters: Zoals tijdvertragingen ($\tau$) in Delay-PDE's.
• Implementatie: De methode maakt gebruik van SciPy voor tijdsintegratie (Runge-Kutta of trapeziumregel als fallback) en Hyperopt voor de TPE-optimalisatie.

3. Belangrijkste Bijdragen

1. Automatische Hyperparameter-selectie: De methode elimineert de noodzaak voor handmatige tuning van drempelwaarden en andere parameters, wat de toepasbaarheid op complexe systemen vergroot.
2. Verbeterde Robuustheid: Door tijdsintegratie in de optimalisatiecyclus op te nemen, zijn de gegenereerde modellen veel robuuster tegen onderbemonsterde data en ruis dan traditionele methoden die alleen op afgeleiden focussen.
3. Uitbreiding naar Delay-PDE's: Voor het eerst wordt een framework getoond dat tijdvertragingen ($\tau$) direct als een te optimaliseren hyperparameter behandelt binnen een sparsiteitsgebaseerde PDE-identificatie.
4. Flexibiliteit voor Massabehoud: De methode kan succesvol modellen met massabehoud (zoals Cahn-Hilliard) schatten zonder extra wiskundige beperkingen op de bibliotheek, wat vaak nodig is bij andere methoden.
5. Meervoudige Drempelwaarden: De mogelijkheid om specifieke drempelwaarden toe te wijzen aan groepen termen (bijv. per variabele of per type term) lost problemen op waarbij parameters verschillende orde van grootte hebben.

4. Resultaten

De methode is getest op diverse synthetische benchmarks met verschillende complexiteit:

• Complex Ginzburg-Landau (cGL) vergelijking:
  • De methode levert resultaten op die vergelijkbaar zijn met PySINDy bij hoge sample-frequenties.
  • Bij onderbemonsterde data (grotere tijdstappen) presteert de voorgestelde methode aanzienlijk beter: het identificeert de juiste termen betrouwbaarder en produceert stabielere tijdsintegraties, terwijl PySINDy meer fouten maakt en minder sparsiteit toont.
• Phase-field modellen:
  • Allen-Cahn: Nauwkeurige reconstructie met fouten < 2%.
  • Cahn-Hilliard: De methode slaagt erin de complexe vergelijking (met niet-lineaire termen en hogere orde afgeleiden) correct te identificeren, terwijl standaardimplementaties (zoals PySINDy) hier vaak falen vanwege beperkingen in de bibliotheek.
• FitzHugh-Nagumo (FHN) systeem:
  • Door het gebruik van verschillende drempelwaarden voor de twee variabelen (die verschillende orde van grootte hebben), kon de methode het systeem correct reconstrueren. Een enkele globale drempel leidde hier tot falen (ofwel te veel ruis, ofwel te veel termen verwijderd).
• Chaos en Turbulentie:
  • In chaotische regimes (defect-turbulentie) en intermitentie-regimes bleek de methode effectief. Bij intermitentie was het gebruik van gespecialiseerde drempelwaarden voor diffusie-termen cruciaal om de juiste dynamiek te vangen.
• Fisher-KPP met Tijdvertraging:
  • De methode slaagde erin de tijdvertraging $\tau$ automatisch te schatten (resultaat: $\tau \approx 1.02$ in plaats van 1.0) en de juiste vergelijking te vinden, wat een doorbraak is voor Delay-PDE identificatie.

5. Betekenis en Conclusie

Dit werk markeert een belangrijke stap in de data-gedreven modellering van dynamische systemen. De belangrijkste implicaties zijn:

• Van "Trial-and-Error" naar Geautomatiseerd: De afhankelijkheid van expertkennis voor het instellen van hyperparameters wordt sterk verminderd.
• Robuustheid voor Real-World Data: Door tijdsintegratie te integreren, is de methode beter geschikt voor real-world scenario's waar data vaak ruisig of schaars is.
• Breder Toepassingsgebied: De methende kan nu systemen behandelen die eerder als te complex werden beschouwd, zoals systemen met massabehoud, chaotisch gedrag en tijdvertragingen.
• Toekomstperspectief: De auteurs suggereren dat toekomstig werk zich moet richten op het toepassen van deze methode op experimentele data (bijv. microscopie of biologische systemen) en het integreren van sub-sampling of gradiënt-based optimalisatie om de rekentijd te verlagen.

Samenvattend biedt deze studie een flexibel, robuust en geautomatiseerd framework dat de nauwkeurigheid en het toepassingsbereik van data-gedreven PDE-identificatie aanzienlijk uitbreidt.