Turning Time Series into Algebraic Equations: Symbolic Machine Learning for Interpretable Modeling of Chaotic Time Series

Dit artikel introduceert twee symbolische machine learning-methoden, SyNF en SyTF, die interpreteerbare algebraïsche vergelijkingen leren uit chaotische tijdreeksen om zowel nauwkeurige voorspellingen te maken als inzicht te geven in de onderliggende dynamica.

De kern

Stel je voor dat je probeert het weer te voorspellen, maar niet op basis van een simpele regel als "als het vandaag regent, is het morgen ook nat". Je probeert het weer te voorspellen in een wereld waar kleine veranderingen (zoals een vlinder die zijn vleugels slaat) enorme, onvoorspelbare gevolgen kunnen hebben. Dit noemen wetenschappers chaotische tijdreeksen.

Deze paper, geschreven door onderzoekers van de Sorbonne Universiteit, probeert een nieuw soort "kristallen bol" te bouwen. Maar in plaats van een magische, ondoorzichtige bol (zoals de complexe AI-modellen van vandaag), willen ze een doorzichtige, begrijpelijke formule vinden die het gedrag van deze chaotische systemen uitlegt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zwarte Doos"

Vandaag de dag gebruiken wetenschappers en bedrijven superkrachtige computerprogramma's (Deep Learning) om voorspellingen te doen. Deze programma's zijn als supersterke zwarte dozen. Ze kijken naar de data en geven een heel goed antwoord, maar niemand weet hoe ze tot dat antwoord komen.

• Het nadeel: Als je wilt weten waarom het weer zo wordt, of waarom een ziekte uitbreekt, kan deze zwarte doos je niets vertellen. Het is alsof je een auto rijdt zonder te weten hoe de motor werkt; als hij stukgaat, kun je hem niet repareren.

2. De Oplossing: Symbolisch Leren (Het "Recept" vinden)

De auteurs van dit paper zeggen: "Laten we niet alleen voorspellen, maar ook de recepten vinden." Ze willen niet alleen zeggen "het gaat regenen", maar ook "het gaat regenen omdat de luchtvochtigheid en de wind op deze specifieke manier samenkomen".

Ze hebben twee nieuwe methoden bedacht om deze recepten (wiskundige vergelijkingen) te vinden:

Methode A: De "Neurale Symbolische Voorspeller" (SyNF)

Stel je dit voor als een kunstenaar die een schilderij maakt, maar elke penseelstreek moet een wiskundig getal zijn.

• Deze methode gebruikt een computerprogramma dat net als een mens leert door te proberen en te fouten.
• In plaats van willekeurige patronen te leren, is het programma zo geprogrammeerd dat het alleen "wiskundige bouwstenen" mag gebruiken (zoals optellen, vermenigvuldigen, of sinussen).
• Vergelijking: Het is alsof je een Lego-bouwwerk maakt, maar je mag alleen specifieke, standaard Lego-blokjes gebruiken. Aan het eind heb je niet alleen een mooi bouwwerk, maar kun je ook precies opschrijven: "Ik heb 3 rode blokken en 2 blauwe blokken gebruikt." Het resultaat is een duidelijke formule.

Methode B: De "Symbolische Boom Voorspeller" (SyTF)

Stel je dit voor als een evolutie-experiment in een computer.

• De computer begint met duizenden willekeurige, gekke formules (zoals "a + b x c - sin(d)").
• Vervolgens laat hij deze formules "vechten" om te zien welke het beste de data voorspelt.
• De winnaars krijgen "kinderen" (nieuwe formules die een beetje anders zijn) en de verliezers verdwijnen. Dit gebeurt duizenden keren, net als in de natuur (evolutie).
• Vergelijking: Het is alsof je een zaadje plant dat elke dag een beetje groeit en verandert. Na veel tijd heb je een boom die perfect past in de tuin. Het mooie is: je kunt de boom zien en precies vertellen hoe hij eruitziet.

3. De Test: Van Chaos tot Zekerheid

De onderzoekers hebben hun methoden getest op twee soorten dingen:

1. 132 Simpele Chaos-systemen: Denk aan wiskundige modellen die lijken op het weer of de beweging van planeten. Hier bleek dat de "Boom-methode" (SyTF) het beste was. Hij vond simpele, elegante formules die precies werkten, terwijl de grote zwarte dozen van de AI het vaak niet konden.
2. Echte Wereld Data:
   • Koorts (Dengue) in San Juan: Het voorspellen van wanneer er een uitbraak van dengue-koorts komt.
   • El Niño: Het voorspellen van de temperatuur van de oceaan, wat invloed heeft op het weer over de hele wereld.
   • Hier bleek dat de "Neurale Kunstenaar-methode" (SyNF) het beste was. Hij kon complexe patronen vinden die de andere methoden misten, maar gaf toch een duidelijke formule.

4. Waarom is dit belangrijk?

Stel je voor dat je een arts bent.

• Met een zwarte doos zegt de computer: "Deze patiënt krijgt morgen koorts." Je doet wat de computer zegt, maar je begrijpt niet waarom. Als het fout gaat, weet je niet hoe je het moet fixen.
• Met deze nieuwe methoden zegt de computer: "Deze patiënt krijgt morgen koorts, omdat de temperatuur en de luchtvochtigheid een specifieke formule volgen."
  • Je begrijpt het.
  • Je kunt het controleren.
  • Je kunt erop vertrouwen.

Conclusie

De onderzoekers hebben laten zien dat je niet hoeft te kiezen tussen nauwkeurigheid en begrip. Je kunt beide hebben. Ze hebben een manier gevonden om de "taal" van het chaos te vertalen naar simpele wiskundige vergelijkingen die iedereen kan lezen.

In plaats van te zeggen "de computer heeft het zo gezegd", kunnen we nu zeggen: "De computer heeft de formule gevonden die het systeem beschrijft." Dat is een enorme stap voor wetenschappers die willen begrijpen hoe de wereld werkt, in plaats van alleen maar te raden wat er gaat gebeuren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Turning Time Series into Algebraic Equations: Symbolic Machine Learning for Interpretable Modeling of Chaotic Time Series" in het Nederlands.

Probleemstelling

Het voorspellen van chaotische tijdsreeksen is een fundamentele uitdaging in de moderne wetenschap. Chaotische systemen worden gekenmerkt door een sterke gevoeligheid voor beginvoorwaarden (de "vlinder-effect"), niet-lineariteit en regime-afhankelijke variabiliteit. Hoewel moderne diepe leerarchitecturen (zoals Transformers, LSTM en N-HiTS) vaak uitstekende korte-termijnvoorspellingen leveren, functioneren ze als "black boxes". Dit gebrek aan interpretatie beperkt het wetenschappelijk inzicht en het vertrouwen in toepassingen waar het begrijpen van de onderliggende dynamica cruciaal is, zoals in de volksgezondheid (bijv. dengue-uitbraken) en klimaatwetenschap (bijv. El Niño).

Er is een behoefte aan modellen die niet alleen nauwkeurig zijn, maar ook expliciete, interpreteerbare algebraïsche vergelijkingen genereren die de onderliggende dynamica van het systeem onthullen, zonder in te leveren op voorspellende kracht.

Methodologie

De auteurs stellen twee complementaire symbolische voorspellers voor die expliciete algebraïsche vergelijkingen leren vanuit chaotische tijdsreeksdata:

1. Symbolic Neural Forecaster (SyNF):

   • Dit is een neurale-symbolische architectuur die het Equation Learner (EQL) framework aanpast voor voorspelling.
   • In plaats van standaard activeringsfuncties (zoals ReLU of tanh) gebruikt SyNF een set van symbolische basisoperatoren (unair: sinus, cosinus, identiteit; binair: vermenigvuldiging, en in latere varianten ook deling).
   • Het model is volledig differentieerbaar en wordt getraind via end-to-end backpropagation (Adam-optimizer).
   • Varianten omvatten SyNF-Reg (met $L_1$-regularisatie voor sparsiteit), SyNF-Div (met leerbare delingseenheden voor rationele relaties) en SyNF-Div-Reg (combinatie van beide).
   • Het doel is het vinden van een compacte functie $\Psi$ die de relatie tussen gelagde waarnemingen ($y_{t-1}, \dots, y_{t-p}$) en de toekomstige waarde $y_t$ beschrijft.

2. Symbolic Tree Forecaster (SyTF):

   • Dit benadert het probleem via evolutionaire symbolische regressie, gebaseerd op de PySR bibliotheek.
   • Het gebruikt een "evolve-simplify-optimize" lus om een zoekruimte van expressiebomen te navigeren.
   • Het proces omvat mutatie, crossover en selectie, waarbij kandidaat-vergelijkingen worden gesimplificeerd met algebraïsche identiteiten en geoptimaliseerd met BFGS voor continue parameters.
   • SyTF gebruikt een adaptieve "frecency"-strategie (frequentie + recentie) om de complexiteit van de bomen te controleren en zoekt naar een Pareto-optimum tussen voorspellingsnauwkeurigheid en modelcomplexiteit.
   • Varianten omvatten een basisversie en SyTF-Div-Exp (met deling en exponentiële functies).

Belangrijkste Bijdragen

• Eerste grote benchmark: De auteurs hebben een gecureerde benchmark samengesteld van 132 lage-dimensionale chaotische attractoren (bijv. Lorenz, Rössler, Chua) uit de 'dysts' repository, plus twee real-world datasets (San Juan dengue-gevallen en El Niño SST-index).
• Reframing van Symbolische Regressie: Ze positioneren symbolische regressie niet alleen als een tool voor wetenschappelijke ontdekking, maar als een competitieve voorspellingsmethodologie voor tijdsreeksen.
• Complementaire Architecturen: Ze tonen aan dat neurale-symbolische benaderingen (SyNF) en evolutionaire zoekmethodes (SyTF) verschillende trade-offs bieden en beide superieur zijn aan traditionele black-box modellen in termen van interpretatie en vaak ook nauwkeurigheid.
• Onzekerheidskwantificatie: Ze passen conformele voorspelling toe om betrouwbare voorspellingsintervallen te genereren rond de puntvoorspellingen van de symbolische modellen.

Resultaten

De evaluatie omvatte een "rolling-window" setup (één-stap-vooruit voorspelling) en vergeleek de symbolische modellen met een breed scala aan baselines (Random Forest, XGBoost, LSTM, Transformers, N-HiTS, etc.).

• Synthetische Data (132 Chaotische Attractoren):

  • De SyTF-architecturen (met name de variant met deling en exponentiële functies) presteerden het meest consistent en nauwkeurig, met de laagste mediane fouten (RMSE, MAE, SMAPE) en de kleinste spreiding over de diverse attractoren.
  • SyTF bleek robuuster tegenover veranderingen in het aantal lags (5, 10, 25) dan diepe leermodellen.
  • Statistische tests (Multiple Comparison with the Best) bevestigden dat SyTF significant beter presteerde dan alle deep-learning en ensemble-baselines.

• Real-world Data (Dengue en El Niño):

  • Voor de San Juan dengue-dataset (niet-lineair, seizoensgebonden) presteerde SyNF-Reg het beste, wat aangeeft dat sparsiteit en neurale training goed werken voor epidemiologische data.
  • Voor de El Niño SST-dataset (oscillerend, lange-termijn afhankelijkheden) presteerde SyNF-Div-Reg het best. De toevoeging van delingsoperatoren bleek cruciaal om de rationele functionele relaties in de oceaan-atmosfeer interacties te modelleren.
  • In beide gevallen overtroffen de symbolische modellen de meeste deep-learning baselines (zoals LSTM en Transformer) in nauwkeurigheid en leverden ze expliciete vergelijkingen die de dynamica verklaren.

• Interpretatie:

  • De gegenereerde vergelijkingen waren compact en onthulden fysiek betekenisvolle patronen (bijv. periodieke termen voor El Niño, niet-lineaire interacties voor dengue).
  • In tegenstelling tot SyNF, die complexere trigonometrische en polynoominteracties produceerde, neigde SyTF naar compactere, autoregressieve structuren.

Betekenis en Conclusie

Dit paper demonstreert dat symbolische machine learning een haalbare en krachtige alternatief is voor black-box deep learning bij het voorspellen van chaotische systemen.

• Wetenschappelijke Impact: Het biedt een weg naar modellen die niet alleen voorspellen, maar ook uitleggen hoe een systeem werkt. Dit is essentieel voor domeinen waar transparantie en verantwoording vereist zijn (publieke gezondheid, klimaatbeleid).
• Praktische Toepassing: De methoden zijn succesvol getest op complexe real-world scenario's, waarbij ze zowel nauwkeurige puntvoorspellingen als adaptieve onzekerheidsintervallen leveren.
• Toekomstperspectief: De auteurs suggereren dat toekomstig werk zich moet richten op meervoudige-stap-vooruit voorspelling, het integreren van multivariate inputs en exogene factoren, en het toepassen van deze technieken op hoog-risico gezondheidsdata (zoals ECG en EEG).

Kortom, de studie bewijst dat het mogelijk is om de "zwarte doos" van chaotische voorspelling te openen zonder in te leveren op prestaties, door het gebruik van symbolische regressie en neurale-symbolische hybriden.