Technische Samenvatting: LakeFM: Naar een Foundation Model voor Aquatische Ecosystemen

1. Probleemstelling

Het monitoren van de gezondheid van binnenwateren is cruciaal voor duurzaam beheer van zoetwater, maar het modelleren van meerdynamiek kent aanzienlijke uitdagingen vanwege de aard van ecologische gegevens. Bestaande machine learning-benaderingen voor ecologische tijdreeksen gaan doorgaans uit van regelmatige bemonstering in zowel tijd als diepte. De realiteit van monitoringgegevens in meren wordt echter gekenmerkt door:

• Irregulariteit: Zeer variabele bemonsteringsfrequenties (van dagelijks tot maandelijks) en ontbrekende waarden (gemiddeld 60–70% sparsiteit in datasets zoals LakeBeD-US).
• Heterogeniteit: Diverse sets variabelen, variërende diepteresoluties en inconsistente observatiepatronen over verschillende meren heen.
• Schaalbaarheidsproblemen: Huidige Time Series Foundation Models (TSFMs) zoals Chronos 2 of Moment gaan over het algemeen uit van schone, dicht bemonsterde of univariate data, waardoor ze slecht toegerust zijn voor de ijle, multivariate en multi-diepte aard van de aquatische wetenschap. Bovendien hebben bestaande modellen vaak moeite met het generaliseren naar meren met verschillende fysieke en biogeochemische kenmerken zonder uitgebreide per-meer fine-tuning.

Het kernprobleem dat wordt geadresseerd is het gebrek aan een foundation model dat in staat is om generieke meerprocessen te leren over een brede collectie meren, terwijl het merkspecifieke nuances behoudt, specif으로 met name het afhandelen van irreguliere, multivariate, multi-diepte tijdreeksen zonder afhankelijk te zijn van externe imputatie.

2. Methodologie: LakeFM Architectuur

LakeFM is een foundation model dat is voorgetraind op een grootschalige dataset bestaande uit meer dan 1,5 miljoen samples van 21 echte meren (LakeBeD-US) en meer dan 1.000 diverse procesgebaseerde simulaties (WQHanson en FCR simulaties). De architectuur is ontworpen om te opereren op een irregulier rooster, waarbij data wordt behandeld als een sequentie van gebeurtenissen in plaats van een vast rooster.

2.1 Input Tokenisatie en Embedding

In tegenstelling tot roostergebaseerde benaderingen, tokeniseert LakeFM elke individuele meting als een afzonderlijke gebeurtenis (token).

• Token Definitie: Elke observatie is een tuple $(t_k, v_k, d_k, x_k)$, representatief voor de absolute tijdstempel, variabele-identificator, continue diepte en scalaire waarde.
• Embedding Strategie: Een composiet embedding wordt geconstrueerd door vier componenten te concateneren:
  • Time Embedding: Sinusoïdale positionele encodings voor continue tijd.
  • Depth Embedding: Fourier feature encoding om continue dieptewaarden te verwerken, waardoor het model verticale gradiënten kan leren.
  • Variate Embedding: Leerbare lookup voor categorische variabele ID's.
  • Value Embedding: Een SwiGLU-stijl gated projectie voor de scalaire metingswaarde.
• Sequentie Vorming: Tokens worden gesorteerd op variabele ID, vervolgens op diepte, en tot slot op absolute tijd om de inputsequentie te vormen.

2.2 Encoder en Feature Disentanglement

De encoder maakt gebruik van een stapel Transformer-blokken met specifieke modificaties voor wetenschappelijke data:

• Rotary Position Embeddings (RoPE): Gebruikt om relatieve temporele afhankelijkheden te modelleren.
• Structured Attention Bias: Een leerbare additieve bias wordt geïntroduceerd in de attention logits om onderscheid te maken tussen intra-variate (temporele dynamiek van een enkele variabele) en inter-variate (correlaties tussen verschillende variabelen) interacties.
• Statische vs. Dynamische Disentanglement: Het model ontkoppelt de representatieruimte in twee parallelle subspaces:
  • Statische Embeddings: Geaggregeerd via mean pooling om tijd-invariante kenmerken van het meer te vangen (bijv. geografie, hydrologie). Deze worden gebruikt voor contrastief leren.
  • Temporele Embeddings: Behouden temporele informatie en dienen als input voor de forecasting decoder.

2.3 Query-Based Forecasting en Probabilistische Output

• Query-Based Strategie: In plaats van een vaste feed-forward decoder, gebruikt LakeFM target queries gedefinieerd door specifieke $(t, v, d)$ punten. De decoder gebruikt cross-attention om relevante informatie te extraheren uit de gecodeerde historische context, wat flexibele inferentie mogelijk maakt op willekeurige ongeobserveerde punten (regelmatige of irreguliere roosters).
• Probabilistische Head: Om om te gaan met zwaar getrailde ruis en onzekerheid die gebruikelijk zijn in milieudata, geeft het model parameters voor een Student-$t$ distributie ($\mu, \sigma, \nu$). Cruciaal is dat de vrijheidsgraden ($\nu$) dynamisch worden geleerd, waardoor het model kan adapteren tussen heavy-tailed en Gaussian-achtige regimes op basis van de specifieke variabele en context.

2.4 Trainingsdoelstellingen

LakeFM wordt voorgetraind met een gezamenlijke optimalisatie van twee losses:

1. Probabilistische Forecasting Loss: Minimaliseert de negatieve log-likelihood van de grondwaarheidswaarden onder de voorspelde Student-$t$ distributie.
2. Contrastieve Loss: Moedigt het model aan om meer-specifieke statische representaties te leren door samples van hetzelfde meer als positieven te behandelen en verschillende meren als negatieven (InfoNCE formulering).

3. Belangrijkste Bijdragen

1. Afhandeling van Irreguliere Data: LakeFM is het eerste foundation model dat is ontworpen om irreguliere, multivariate, multi-diepte tijdreeksen direct te verwerken, waardoor de noodzaak voor imputatie of resampling naar regelmatige roosters wordt geëlimineerd.
2. Zero-Shot Generalisatie: Het model vertoont competitieve of superieure forecasting prestaties op ongeziene meren (Out-of-Distribution) en ongeziene variabelen, door gebruik te maken van kennisoverdracht over diverse meer-systemen.
3. Fysieke Consistentie: Het model vertoont een emergente naleving van natuurwetten (bijv. thermische stratificatie en de wet van Beer-Lambert) zonder expliciete fysieke beperkingen in de loss functie.
4. Wetenschappelijke Ontdekking: Door middel van masking experimenten onthult LakeFM nieuwe inzichten in variabele-interacties en diepte-afhankelijkheden, en fungeert het als een ontdekkingsmotor voor ecologische hypothesen.
5. Efficiëntie: Ondanks het verwerken van complexe irreguliere data, bereikt LakeFM deze resultaten met aanzienlijk minder parameters (7M) vergeleken met algemene TSFMs.

4. Experimentele Resultaten

Het model is geëvalueerd op de LakeBeD-US dataset (21 meren) en simulatie datasets, waarbij het werd vergeleken met Time Series Foundation Models (Chronos 2, MOMENT, MOIRAI), lokale modellen (iTransformer) en irreguliere tijdreeksmodellen (HyperIMTS, ReIMTS).

• Forecasting Prestaties: LakeFM behaalde de laagste Mean Squared Error (MSE) bij de meeste In-Distribution (ID) en Out-of-Distribution (OOD) meren. Het presteerde consequent beter dan de baselines, vooral in zero-shot settings waar andere modellen moeite hadden door een gebrek aan transfer learning capaciteiten.
• Imputation-Free Voordeel: In vergelijkingen met irreguliere tijdreeks baselines behaalde LakeFM de beste gemiddelde rang (1.0 in OOD, 1.27 in ID), wat bevestigt dat de prestatiewinst voortkomt uit directe modellering van irregulariteiten in plaats van enkel het vermijden van imputatie-pipelines.
• Fysieke Consistentie: Op 100 ongeziene gesimuleerde meren vertoonde LakeFM een hogere consistentie met de Thermische Stratificatie Wet (lagere inversieratio's) en de Wet van Beer-Lambert (hogere $R^2$) vergeleken met Chronos 2.
• Embedding Analyse:
  • Statische Embeddings: t-SNE visualisaties toonden aan dat geleerde statische embeddings meren natuurlijk clusterden op basis van geografische locatie (State) en hydrologisch regime (bijv. drainage vs. seepage), ondanks dat deze metadata niet tijdens de training werden gebruikt.
  • Dynamische Embeddings: Temporele trajecten in de embedding ruimte kwamen overeen met ecologische kenmerken, zoals trofische status (oligotroof vs. eutroof) en seizoenspatronen.
• Ablatie Studies: Het verwijderen van contrastief leren, variabele-specifieke vrijheidsgraden of continue diepte-embeddings resulteerde in significante prestatievermindering, wat de noodzaak van elk onderdeel valideert.

5. Betekenis en Claims

Het artikel positioneert LakeFM als een praktische stap naar schaalbare en generaliseerbare modellering van meer-ecosystemen. De betekenis ligt in:

• Paradigmaverschuiving: Een beweging weg van single-lake, single-variate analyses en imputatie-afhankelijke pipelines naar een verenigd foundation model dat informatie deelt over uiteenlopende meren met variërende irregulariteiten.
• Begrip van Macro-Systemen: Het mogelijk maken van de eerste stap naar het begrijpen van meer-ecologie op een macro-systeem schaal met diverse en heterogene data.
• Wetenschappelijke Nut: Het vermogen om gemaskeerde variabelen te verwerken stelt onderzoekers in staat om "wat-als" scenario's te bevragen (bijv. temperatuur voorspellen zonder zuurstofdata), wat inzichten biedt in variabele-interacties die toekomstige dataverzameling kunnen sturen.
• Fundament voor AI4Science: Dit werk demonstreert dat foundation modellen kunnen worden afgestemd op specifieke wetenschappelijke domeinen, waarbij ze niet alleen statistische patronen leren, maar ook onderliggende fysieke principes, waardoor de kloof tussen data-gedreven ML en procesgebaseerde wetenschappelijke modellering wordt overbrugd.

De auteurs erkennen beperkingen met betrekking tot extrapolatie naar klimatologische contexten die significant verschillen van de trainingsdistributie (bijv. regio's met andere thermische/ijs-bedekkingsdynamiek), waarbij zij opmerken dat het model vertrouwt op geleerde statistische afhankelijkheden binnen het geobserveerde databereik.