Symbolic regression for empirically realistic population dynamic time series

Deze studie toont aan dat symbolische regressie weliswaar succesvol kan worden gebruikt om ecologische populatiemodellen te herleiden uit velddata, maar dat de nauwkeurigheid sterk afhankelijk is van de steekproefdichtheid en het procesruisniveau, terwijl de huidige methoden voor het selecteren van de beste vergelijking uit meerdere kandidaten nog onvoldoende robuust zijn.

De kern

Stel je voor dat je een geheim recept probeert te achterhalen voor een heerlijke soep, maar je mag alleen proeven van de soep op willekeurige momenten. Je weet niet welke kruiden erin zitten, je weet niet hoeveel erin zit, en je hebt zelfs geen idee of de kok per ongeluk een extra snufje zout heeft toegevoegd.

Dit is precies wat ecologen proberen te doen met populaties in de natuur, zoals de enorme kelpbossen in de oceaan. Ze hebben data (de "proeven"), maar ze willen het onderliggende wiskundige "recept" vinden dat verklaart hoe de populatie groeit en krimpt.

Deze studie kijkt naar een slimme computermethode genaamd Symbolische Regressie. Je kunt je dit voorstellen als een digitale chef-kok die duizenden recepten probeert te bedenken door te gokken, te combineren en te verbeteren, totdat hij een formule vindt die perfect past bij de data.

Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaags taal:

1. Het probleem: Te weinig "proeven"

In eerdere studies kregen deze digitale chefs vaak heel veel data (bijvoorbeeld 100 metingen per cyclus van de populatie). Maar in de echte wereld is dat zeldzaam. Vaak hebben we maar 5 of 10 metingen per jaar.

• De ontdekking: Als je de chef-kok te weinig proeven geeft (minder dan 25 metingen per cyclus), raakt hij in de war. Hij kan het echte recept niet vinden. Het is alsof je iemand vraagt een liedje te reconstrueren, maar je speelt maar één noot per minuut af. Het is onmogelijk om het lied te horen.
• De oplossing: Je hebt een hoge "sample-dichtheid" nodig. Hoe vaker je meet, hoe beter de kans dat de computer het juiste recept vindt.

2. Het verrassende nieuws: Chaos helpt!

Je zou denken dat ruis (onvoorspelbare schokjes in de natuur, zoals een storm of een ziekte) het moeilijker maakt om een patroon te vinden. Maar in dit onderzoek bleek het tegenovergestelde waar.

• De analogie: Stel je voor dat je een bal probeert te vangen in een donkere kamer. Als de bal perfect in een rechte lijn beweegt, kun je hem misschien missen als je niet goed kijkt. Maar als de bal een beetje willekeurig heen en weer stuitert (door "ruis"), zie je plotseling veel meer van de kamer en de beweging.
• De conclusie: De "ruis" in de natuur (procesruis) helpt de computer om meer van het systeem te zien, waardoor het makkelijker wordt om het echte recept te achterhalen.

3. Het echte probleem: De "Keuzestress"

Dit is het belangrijkste punt van de studie. Zelfs als de computer het perfecte recept heeft gevonden, lukt het de onderzoekers vaak niet om dat specifieke recept te herkennen tussen alle andere recepten die de computer heeft bedacht.

• De metafoor: De computer is een genie dat 100 recepten heeft bedacht. Het echte recept zit er vaak tussen, en het is zelfs het lekkerste recept (het past het beste bij de data). Maar de onderzoekers (de jury) hebben geen goed systeem om dat ene echte recept te kiezen. Ze kiezen soms per ongeluk een recept dat net zo lekker lijkt, maar niet het echte is.
• Het resultaat: De computer kan het vaak wel vinden, maar onze methoden om het te selecteren zijn nog niet goed genoeg. Het is alsof je een naald in een hooiberg vindt, maar dan vergeet je welke naald het was omdat je niet goed hebt gekeken.

4. Wat betekent dit voor de natuur?

De studie concludeert dat we voorzichtig moeten zijn.

• Wanneer werkt het? Als we veel data hebben (veel metingen) en als de natuur een beetje "chaotisch" is (wat normaal is), kan deze technologie wonderen verrichten.
• Wanneer faalt het? Als we te weinig metingen hebben (zoals vaak in veldstudies gebeurt), is de kans groot dat we het verkeerde recept kiezen.
• De les: We moeten niet alleen vertrouwen op de computer om het antwoord te geven. We moeten ook betere regels bedenken om te controleren of het antwoord dat de computer geeft, ook daadwerkelijk het juiste is.

Kortom: Symbolische regressie is een krachtige tool om de geheimen van de natuur te ontcijferen, maar we moeten zorgen voor genoeg data en betere manieren om het juiste antwoord uit de duizenden mogelijkheden te halen. Het is niet alleen een kwestie van de computer laten werken; we moeten ook weten hoe we naar de resultaten moeten kijken.

Technische samenvatting

Probleemstelling

Symbolische regressie (SR) is een krachtige techniek binnen het wetenschappelijk machine learning die wordt gebruikt om menselijk leesbare, mechanistische vergelijkingen te "reverse-engineeren" uit tijdsreeksdata. Hoewel eerdere studies succesvol hebben aangetoond dat SR vergelijkingen zoals de logistische groei en Lotka-Volterra-modellen kan herstellen uit geïdealiseerde, dicht bij elkaar liggende simulatie- of laboratoriumdata, blijft de toepasbaarheid op empirische velddata onzeker.

Velddata vertonen vaak kenmerken die afwijken van ideale simulaties:

• Lage steekproefdichtheid: Metingen zijn vaak schaars ten opzichte van de cycluslengte van de populatie.
• Procesruis: Inherent stochastisch gedrag in de populatiedynamiek (niet alleen meetfouten).
• Asymmetrie: Populatiecycli zijn vaak niet symmetrisch (snelle stijging, trage daling).
• Spurious variabelen: In veldstudies zijn de ware causale variabelen vaak onbekend, wat leidt tot het meenemen van irrelevante, maar autocorrelatie-gerelateerde variabelen.

De auteurs stellen de vraag of SR robuust genoeg is om onder deze realistische, "ruwe" omstandigheden de onderliggende generatieve vergelijkingen te vinden en hoe verschillende selectieworkflows presteren bij het identificeren van het juiste model uit een reeks kandidaten.

Methodologie

De auteurs hebben een uitgebreide simulatiestudie opgezet met de volgende componenten:

1. Generatief Model:

   • Ze gebruikten het Bence & Nisbet (1989) vertraagde differentiaalmodel voor reuzekelp (Macrocystis pyrifera).
   • Dit model bevat een tijdsvertraging ($\tau$) en een abrupte stop in groei wanneer ruimte beperkt is, wat complexe, zowel symmetrische als asymmetrische cycli genereert.
   • Het model werd aangepast om multiplicatieve procesruis toe te voegen aan de vestiging van juvenielen en de sterfte van volwassenen.

2. Case Studies en Variatie:

   • Er werden zes casestudies gedefinieerd variërend in:
     • Cyclustype: Symmetrisch vs. Asymmetrisch.
     • Ruisniveau: Deterministisch, lage procesruis, hoge procesruis.
     • Preprocessing: Discrete-tijd (log-ratio) vs. Continue-tijd (cubische spline interpolatie van log-getransformeerde data).
   • Steekproefdichtheid: Data werden gedownsampt naar 100, 50, 25, 10 en 5 datapunten per cyclus.
   • Variabelen: Naast de ware variabelen ($A(t)$ en $A(t-2)$) werden ook spurious (schijnbare) variabelen ($A(t-1)$ en $A(t-3)$) als potentiële voorspellers aan het algoritme aangeboden.

3. Symbolische Regressie Implementatie:

   • Gebruik van PySR (Python library met Julia-backend).
   • Het algoritme evolueerde vergelijkingen via een evolutionair proces met 96 semi-onafhankelijke populaties.
   • Elke dataset werd 100 keer onafhankelijk doorlopen om probabilistische successpercentages te krijgen.
   • De fitness werd gemeten via Mean Squared Error (MSE).

4. Selectieworkflows:

   • Vier workflows werden getest om het beste model te selecteren uit de Pareto-frontier (de set van vergelijkingen die de beste balans vinden tussen complexiteit en fit):
     1. Subjectief 1: Visuele inspectie van MSE vs. complexiteit (grootste additieve daling).
     2. Subjectief 2: Visuele inspectie van $\ln(\text{MSE})$ vs. complexiteit (grootste multiplicatieve daling).
     3. Objectief 3: Gebruik van de interne PySR "score" (negatieve discrete log-loss verandering per eenheid complexiteit).
     4. Objectief 4: Gebruik van het Bayesian Information Criterion (BIC).

5. Evaluatiemetrics:

   • Vergelijkingsherstel: Wordt de exacte Bence-Nisbet vergelijking (functie en parameters) gevonden?
   • Variabelenherstel: Bevatten de gevonden vergelijkingen alleen de juiste variabelen?
   • Diversiteit: Hoe divers zijn de variabelecombinaties in de top-10 vergelijkingen?

Belangrijkste Resultaten

1. Invloed van Steekproefdichtheid:

   • Dit was de belangrijkste factor. Bij steekproefdichtheden onder de 10 punten per cyclus faalde SR volledig om de onderliggende vergelijking te herstellen.
   • Bij dichtheden onder de 50 punten per cyclus was het herstel van de exacte vergelijking zeer onbetrouwbaar (<10% succes), tenzij er hoge procesruis aanwezig was.
   • Pas bij 25 of meer punten per cyclus werd de ware vergelijking consistent gegenereerd door het algoritme, maar werd deze niet altijd geselecteerd door de workflows.

2. Invloed van Procesruis:

   • In tegenstelling tot de verwachting dat ruis de prestaties zou verstoren, verhoogde procesruis de kans op succesvol herstel.
   • Ruis maakt de data informatiever door het systeem een grotere ruimte van toestanden te laten verkennen, waardoor dynamisch equivalente modellen makkelijker te onderscheiden zijn.

3. Probleem met Selectieworkflows:

   • Zelfs wanneer het algoritme de ware vergelijking genereerde (wat vaak gebeurde bij hoge dichtheid), werd deze niet consistent geselecteerd door de vier workflows.
   • De objectieve workflows (3 en 4) presteerden vaak slechter dan de subjectieve workflows (1 en 2) bij het kiezen van het juiste model.
   • De ware vergelijking zat vaak in de top-10 (laagste MSE), maar werd overtroffen door complexere vergelijkingen die wiskundig equivalent waren (bijv. met extra constanten die algebraïsch verwijderd kunnen worden) of door vergelijkingen die net iets beter pasten op de ruis.

4. Variabele Identificatie:

   • Bij hoge steekproefdichtheid kon SR de ware variabelen ($A(t)$ en $A(t-2)$) correct identificeren, zelfs in aanwezigheid van spurious variabelen.
   • Bij lage dichtheid neigden de algoritmen naar het opnemen van spurious variabelen (zoals $A(t-1)$) vanwege autocorrelatie.
   • De asymmetrie van de cyclus en de keuze tussen discrete/continue preprocessing hadden weinig invloed op het resultaat.

Bijdragen en Significatie

• Distinction tussen Generatie en Selectie: Een kerninzicht is het onderscheid maken tussen het kunnen genereren van de juiste vergelijking door het algoritme en het kunnen selecteren ervan door de gebruiker. SR kan de vergelijking vinden, maar de huidige selectiecriteria (gebaseerd op Pareto-frontier en complexiteitsstraffen) zijn vaak ontoereikend om deze te onderscheiden van dynamisch equivalente alternatieven.
• Realistische Beoordeling: De studie verschaft een realistisch beeld van de beperkingen van SR voor velddata. Het toont aan dat de eerdere successen grotendeels gebaseerd waren op data met extreem hoge dichtheid die zelden in de ecologie voorkomen.
• Ruis als Voordeel: Het artikel benadrukt dat procesruis niet per se een nadeel is; het kan de data-informativiteit vergroten en helpen bij het onderscheiden van modellen.
• Aanbevelingen voor Ecologen:
  • Symbolische regressie is alleen geschikt voor inferentie bij hoge steekproefdichtheid (minimaal 25-50 punten per cyclus).
  • Er is een dringende behoefte aan robustere post-algoritme selectiecriteria die verder gaan dan alleen MSE en complexiteit (bijv. het evalueren van structurele identificeerbaarheid of het gebruik van dynamische diagnostiek).
  • Bij lage dichtheid kunnen alternatieve strategieën zoals adaptieve bemonstering of state-space modellen nodig zijn.

Conclusie:
Symbolische regressie heeft potentie om mechanistische modellen te ontdekken uit ecologische tijdreeksen, maar de huidige toepassing is beperkt door de kwaliteit van de data (vooral dichtheid) en de gebrekkige methoden om het juiste model te selecteren uit een reeks kandidaten. Toekomstige methodologische vooruitgang moet zich richten op het verbeteren van de selectiecriteria, niet alleen op het verbeteren van het evolutie-algoritme zelf.