🤖 machine learning

LakeFM: Toward a Foundation Model for Aquatic Ecosystems Using Irregular Multivariate Multi-depth Time Series Data

Das Paper stellt LakeFM vor, ein Foundation Model, das auf großskaligen simulierten und beobachteten ökologischen Datensätzen vortrainiert wurde, um die Einschränkungen bei der Handhabung irregulärer, heterogener aquatischer Zeitreihendaten zu überwinden und dadurch eine überlegene sowie physikalisch plausible Vorhersage der Seendynamik und Wasserqualität zu erreichen.

Ursprüngliche Autoren: Abhilash Neog, Sepideh Fatemi, Medha Sawhney, Kazi Sajeed Mehrab, Aanish Pradhan, Bennett J. McAfee, Emma Marchisin, Arka Daw, Robert Ladwig, Cayelan C. Carey, Paul Hanson, Anuj Karpatne

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abhilash Neog, Sepideh Fatemi, Medha Sawhney, Kazi Sajeed Mehrab, Aanish Pradhan, Bennett J. McAfee, Emma Marchisin, Arka Daw, Robert Ladwig, Cayelan C. Carey, Paul Hanson, Anuj Karpatne

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „unordentliche Notizbuch“ der Seen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie ein See funktioniert, indem Sie ein Notizbuch lesen, das ein Wissenschaftler hinterlassen hat. Aber dieses Notizbuch ist ein Chaos.

Es fehlen Seiten: An manchen Tagen gibt es überhaupt keine Einträge.
Die Handschrift ist unterschiedlich: Auf einer Seite wird die Wassertemperatur jede Stunde gemessen, während sie auf der nächsten Seite nur einmal im Monat gemessen wird.
Die Tiefe ist verwirrend: Manchmal wird die Oberfläche gemessen, manchmal in 1,5 Metern Tiefe, manchmal in 6 Metern Tiefe, aber die Tiefen stimmen zwischen verschiedenen Seen nicht überein.
Die Variablen sind inkonsistent: See A hat Daten zu Sauerstoff und Algen, aber See B hat nur Daten zur Temperatur.

Lange Zeit hatten Computermodelle (Maschinelles Lernen) damit zu kämpfen. Sie waren wie Studenten, die nur perfekt getippte, regelmäßige Zeitpläne lesen konnten. Wenn die Daten unordentlich, unregelmäßig oder lückenhaft waren, brachen die Modelle zusammen oder lieferten schlechte Antworten. Sie mussten meistens zuerst „die Lücken füllen“ (Imputation von Daten), was oft Fehler einführte.

Die Lösung: LakeFM (Der „Super-Leser“)

Die Autoren haben LakeFM entwickelt, eine neue Art von KI, ein sogenanntes „Foundation Model“. Denken Sie an einen Super-Leser, der kein ordentliches Notizbuch benötigt.

1. Der „Token“-Trick (Das Chaos lesen)
Anstatt zu versuchen, die unordentlichen Daten in ein perfektes Raster zu zwingen (wie in einer Tabelle), behandelt LakeFM jedes einzelne Stück Information als einen einzigartigen „Token“ oder ein distinktes Ereignis.

Analogie: Stellen Sie sich einen Bibliothekar vor, dem es egal ist, ob Bücher in Regal A oder Regal B stehen oder ob welche fehlen. Er nimmt einfach jedes einzelne Buch (Datenpunkt) in die Hand, lift dessen Etikett (Zeitpunkt, Tiefe, Variable) und sortiert es in seinem Gehirn ein.
Dies ermöglicht es LakeFM, Daten zu verarbeiten, die in Zeit, Tiefe und Variablen unregelmäßig sind, ohne dass die fehlenden Teile zuerst „repariert“ oder aufgefüllt werden müssen.

2. Das „Zwei-Gehirne“-System
LakeFM ist darauf ausgelegt, zwei verschiedene Arten von Dingen gleichzeitig zu lernen:

Das „statische Gehirn“ (Die DNA des Sees): Dieser Teil lernt, was einen spezifischen See einzigartig und unveränderlich macht, wie seinen Standort, seine Größe und ob er von Regen oder unterirdischen Quellen gespeist wird. Es ist, als würde man einen Fingerabdruck kennen.
Das „dynamische Gehirn“ (Die Stimmung des Sees): Dieser Teil lernt, wie sich ein See im Laufe der Zeit verändert, wie zum Beispiel die Temperatur mit den Jahreszeiten schwankt oder wie Algenblüten im Sommer auftreten. Es ist, als würde man die täglichen Stimmungsschwankungen eines Menschen verfolgen.
Durch diese Trennung kann das Modell erkennen, dass ein See in Wisconsin etwas anderes ist als ein See in Florida, selbst wenn beide im Winter kalt sind.

3. Der „Universelle Übersetzer“
LakeFM wurde mit einer riesigen Bibliothek von Daten trainiert:

Reale Daten: Beobachtungen aus 21 tatsächlichen Seen in den USA (die sehr unordentlich und spärlich sind).
Simulierte Daten: Über 1.000 computergenerierte Seen basierend auf physikalischen Gesetzen.
Da es sowohl von realem Chaos als auch von perfekter Physik gelernt hat, kann es nun einen See betrachten, den es noch nie zuvor gesehen hat (Zero-Shot), und gute Vorhersagen treffen. Es ist wie ein Koch, der in 20 verschiedenen Küchen gekocht hat und nun in eine völlig neue Küche kommen und ein großartiges Gericht mit den verfügbaren Zutaten zaubern kann.

Was kann LakeFM leisten?

1. Die Zukunft vorhersagen (Forecasting)
Die Arbeit zeigt, dass LakeFM zukünftige Wasserbedingungen (wie Temperatur oder Sauerstoffgehalt) besser vorhersagen kann als bestehende Modelle, selbst wenn die Daten unvollständig oder unregelmäßig sind.

Das Ergebnis: Es schlägt andere Top-KI-Modelle (wie Chronos 2 oder MOMENT) in der Genauigkeit, insbesondere wenn es um Seen geht, die es zuvor noch nie gesehen hat.

2. Der „Was-wäre-wenn“-Detektiv
Eine der coolsten Funktionen ist, dass LakeFM mit „maskierten“ Daten umgehen kann. Sie können ihm sagen: „Ich habe nur Temperaturdaten, keine Sauerstoffdaten“, und es kann dennoch die Sauerstoffwerte vorhersagen, indem es nutzt, was es über die Wechselwirkung zwischen Temperatur und Sauerstoff in anderen Seen gelernt hat.

Die Erkenntnis: Die Arbeit fand heraus, dass, wenn man die Sauerstoffdaten verbirgt, das Modell unsicherer wird (was klug ist!), aber wenn man die Temperatur verbirgt, das Modell verwirrt ist. Dies hilft Wissenschaftlern zu verstehen, welche Variablen am wichtigsten sind, um andere vorherzusagen.

3. Den Gesetzen der Physik folgen
Obwohl LakeFM nur eine KI ist, hat sie gelernt, die Gesetze der Natur zu respektieren.

Thermische Schichtung: Im Sommer wird das Seewasser in der Tiefe kälter. LakeFM macht selten Fehler, bei denen es vorhersagt, dass das tiefe Wasser wärmer als die Oberfläche ist (eine physikalische Unmöglichkeit).
Licht und Algen: Es sagt korrekt voraus, dass das Licht mit zunehmender Tiefe abnimmt, genau wie die echte Physik es vorgibt.
Die Metapher: Es ist wie ein Schüler, der nicht nur die Antworten auswendig gelernt hat, sondern tatsächlich die Regeln des Spiels verstanden hat, sodass er keine „illegalen Züge“ macht.

4. Die Persönlichkeiten der Seen verstehen
Die Arbeit visualisierte die „Gedanken“ der KI (Embeddings) und stellte fest, dass sie Seen ganz natürlich nach deren realen Merkmalen gruppiert.

Seen, die geografisch nah beieinander liegen oder ähnliche Wassertypen haben (wie „Abfluss-“ vs. „Sickerwasserseen“), landeten in der mentalen Karte der KI nebeneinander.
Dies beweist, dass die KI nicht nur rät, sondern die tatsächliche „Persönlichkeit“ verschiedener Seesysteme gelernt hat.

Zusammenfassung

LakeFM ist ein neues KI-Werkzeug, das wie ein Meisterdetektiv für Seen agiert. Es kann unordentliche, unvollständige und unregelmäßige Daten aus jedem See lesen, die einzigartige „Persönlichkeit“ dieses Sees verstehen und sein zukünftiges Verhalten vorhersagen, während es die Gesetze der Physik respektiert. Es benötigt keine perfekten Daten, um zu funktionieren, was es zu einem mächtigen Werkzeug macht, um unsere Süßwasserökosysteme zu verstehen und zu schützen.

Technisches Resümee: LakeFM: Auf dem Weg zu einem Foundation Model für aquatische Ökosysteme

1. Problemstellung

Die Überwachung der Gesundheit von Binnengewässern ist entscheidend für ein nachhaltiges Management von Süßwasserressourcen, doch die Modellierung von See-Dynamiken steht vor erheblichen Herausforderungen aufgrund der Natur ökologischer Daten. Bestehende Ansätze des maschinellen Lernens für ökologische Zeitreihendaten setzen typischerweise eine regelmäßige Abtastung in Zeit und Tiefe voraus. Die reale Überwachung von Seen ist jedoch durch folgende Merkmale gekennzeichnet:

Irregularität: Hochgradig variable Abtastfrequenzen (von täglich bis monatlich) und fehlende Werte (im Durchschnitt 60–70 % Sparsity in Datensätzen wie LakeBeD-US).
Heterogenität: Diverse Sätze von Variablen, variierende Tiefenauflösungen und inkonsistente Beobachtungsmuster über verschiedene Seen hinweg.
Skalierbarkeitsprobleme: Aktuelle Zeitreihen-Foundation-Modelle (TSFMs) wie Chronos 2 oder MOMENT gehen im Allgemeinen von sauberen, dicht abgetasteten oder univariaten Daten aus, was sie ungeeignet für die spärliche, multivariate und multidimensionale (mehrere Tiefen) Natur der Aquatikwissenschaft macht. Zudem haben bestehende Modelle oft Schwierigkeiten, auf Seen mit unterschiedlichen physikalischen und biogeochemischen Eigenschaften zu generalisieren, ohne dass ein umfangreiches pro-See-Feintuning erforderlich ist.

Das Kernproblem, das adressiert wird, ist das Fehlen eines Foundation Models, das in der Lage ist, generische See-Prozesse über eine breite Sammlung von Seen hinweg zu erlernen und gleichzeitig standortspezifische Nuancen beizubehalten – insbesondere durch den Umgang mit irregulären, multivariaten Multi-Tiefen-Zeitreihen ohne Abhängigkeit von externer Imputation.

2. Methodik: LakeFM-Architektur

LakeFM ist ein Foundation Model, das auf einem groß angelegten Datensatz vortrainiert wurde, der aus über 1,5 Millionen Stichproben von 21 realen Seen (LakeBeD-US) und über 1.000 diversen prozessbasierten Simulationen (WQHanson und FCR-Simulationen) besteht. Die Architektur ist darauf ausgelegt, auf einem irregulären Gitter zu operieren, indem sie Daten als eine Sequenz von Ereignissen statt als ein festes Gitter behandelt.

2.1 Input-Tokenisierung und Embedding

Im Gegensatz zu gitterbasierten Ansätzen tokenisiert LakeFM jede einzelne Messung als ein distinktes Ereignis (Token).

Token-Definition: Jede Beobachtung ist ein Tupel $(t_k, v_k, d_k, x_k)$ , welches den absoluten Zeitstempel, die Variablen-ID, die kontinuierliche Tiefe und den skalaren Wert repräsentiert.
Embedding-Strategie: Ein zusammengesetztes Embedding wird durch Konkatenation von vier Komponenten konstruiert:
- Zeit-Embedding: Sinusförmige Positionskodierungen für die kontinuierliche Zeit.
- Tiefen-Embedding: Fourier-Feature-Kodierung zur Handhabung kontinuierlicher Tiefenwerte, was es dem Modell ermöglicht, vertikale Gradienten zu erlernen.
- Variaten-Embedding: Erlernbares Lookup für kategorische Variablen-IDs.
- Werte-Embedding: Eine SwiGLU-ähnliche gated Projektion für den skalaren Messwert.
Sequenzbildung: Die Tokens werden nach Variablen-ID, dann nach Tiefe und schließlich nach absolutem Zeitpunkt sortiert, um die Eingangssequenz zu bilden.

2.2 Encoder und Merkmals-Disentanglement

Der Encoder nutzt einen Stapel von Transformer-Blöcken mit spezifischen Modifikationen für wissenschaftliche Daten:

Rotary Position Embeddings (RoPE): Werden verwendet, um relative zeitliche Abhängigkeiten zu modellieren.
Strukturierter Attention-Bias: Ein erlernbarer additiver Bias wird in die Attention-Logits eingeführt, um zwischen intra-variaten (zeitliche Dynamik einer einzelnen Variable) und inter-variaten (Korrelationen zwischen verschiedenen Variablen) Interaktionen zu differenzieren.
Statische vs. Dynamische Disentanglement: Das Modell entkoppelt den Repräsentationsraum in zwei parallele Subräume:
- Statische Embeddings: Diese werden mittels Mean-Pooling aggregiert, um zeitinvariante See-Charakteristika (z. B. Geografie, Hydrologie) zu erfassen. Sie dienen für das kontrastive Lernen.
- Temporale Embeddings: Diese bewahren die zeitlichen Informationen und dienen als Input für den Forecasting-Decoder.

2.3 Query-basierte Prognose und probabilistischer Output

Query-basierte Strategie: Anstatt eines festen Feed-Forward-Decoders verwendet LakeFM Ziel-Queries, die durch spezifische $(t, v, d)$ -Punkte definiert sind. Der Decoder nutzt Cross-Attention, um relevante Informationen aus dem kodierten historischen Kontext abzurufen, was eine flexible Inferenz an beliebigen unobservierten Punkten (reguläre oder irreguläre Gitter) ermöglicht.
Probabilistischer Kopf: Um schwerfälliges Rauschen (Heavy-Tailed Noise) und Unsicherheiten zu handhaben, die in Umweltdaten häufig vorkommen, gibt das Modell Parameter für eine Student- $t$ -Verteilung ( $\mu, \sigma, \nu$ ) aus. Entscheidend ist, dass die Freiheitsgrade ( $\nu$ ) dynamisch gelernt werden, sodass das Modell zwischen heavy-tailed und Gauß-ähnlichen Regimen adaptieren kann, basierend auf der spezifischen Variable und dem Kontext.

2.4 Trainingsziele

LakeFM wird mittels einer gemeinsamen Optimierung zweier Verluste vortrainiert:

Probabilistischer Forecasting-Loss: Minimiert die negative Log-Likelihood der Ground-Truth-Werte unter der vorhergesagten Student- $t$ -Verteilung.
Kontrastiver Loss: Fördert das Erlernen see-spezifischer statischer Repräsentationen, indem Proben aus demselben See als positive und Proben aus verschiedenen Seen als negative Beispiele behandelt werden (InfoNCE-Formulierung).

3. Kernbeiträge

Umgang mit irregulären Daten: LakeFM ist das erste Foundation Model, das darauf ausgelegt ist, irregäre, multivariate Multi-Tiefen-Zeitreihen direkt zu verarbeiten, wodurch die Notwendigkeit von Imputation oder Resampling auf reguläre Gitter entfällt.
Zero-Shot-Generalisierung: Das Modell zeigt eine kompetitive oder überlegene Prognoseleistung bei ungesehenen Seen (Out-of-Distribution) und ungesehenen Variablen, indem es Wissen über diverse Seesysteme hinweg transferiert.
Physikalische Konsistenz: Das Modell zeigt eine emergente Einhaltung physikalischer Gesetze (z. B. thermische Schichtung und das Beer-Lambert-Gesetz), ohne dass explizite physikalische Constraints in der Loss-Funktion enthalten sind.
Wissenschaftliche Entdeckung: Durch Maskierungs-Experimente offenbart LakeFM neue Erkenntnisse über Variablen-Interaktionen und Tiefenabhängigkeiten und fungiert somit als Entdeckungsmotor für ökologische Hypothesen.
Effizienz: Trotz der Handhabung komplexer irregärer Daten erreicht LakeFM diese Ergebnisse mit signifikant weniger Parametern (7M) im Vergleich zu allgemeinen TSFMs.

4. Experimentelle Ergebnisse

Das Modell wurde auf dem LakeBeD-US-Datensatz (21 Seen) und Simulationsdatensätzen evaluiert und dabei mit Zeitreihen-Foundation-Modellen (Chronos 2, MOMENT, MOIRAI), lokalen Modellen (iTransformer) sowie irregulären Zeitreihenmodellen (HyperIMTS, ReIMTS) verglichen.

Prognoseleistung: LakeFM erzielte den niedrigsten Mean Squared Error (MSE) bei den meisten In-Distribution (ID) und Out-of-Distribution (OOD) Seen. Es übertraf die Baselines konsistent, insbesondere in Zero-Shot-Settings, in denen andere Modelle aufgrund mangelnder Transfer-Learning-Fähigkeiten Schwierigkeiten hatten.
Vorteil der Imputationsfreiheit: Im Vergleich mit irregulären Zeitreihen-Baselines erreichte LakeFM den besten durchschnittlichen Rang (1.0 in OOD, 1.27 in ID), was bestätigt, dass die Leistungssteigerungen auf der direkten Modellierung von Irregularitäten beruhen und nicht nur auf der Vermeidung von Imputations-Pipelines.
Physikalische Konsistenz: Bei 100 ungesehenen simulierten Seen zeigte LakeFM eine höhere Konsistenz mit dem Gesetz der thermischen Schichtung (geringere Inversionsraten) und dem Beer-Lambert-Gesetz (höheres $R^2$ ) im Vergleich zu Chronos 2.
Embedding-Analyse:
- Statische Embeddings: t-SNE-Visualisierungen zeigten, dass die gelernten statischen Embeddings Seen natürlich nach geografischer Lage (Bundesstaat) und hydrologischem Regime (z. B. Drainage vs. Seepage) clusterten, obwohl diese Metadaten während des Trainings nicht verwendet wurden.
- Dynamische Embeddings: Die Trajektorien im Embedding-Raum korrelierten mit ökologischen Merkmalen wie dem Trophiezustand (oligotroph vs. eutroph) und saisonalen Mustern.
Ablationsstudien: Das Entfernen des kontrastiven Lernens, der variatenspezifischen Freiheitsgrade oder der kontinuierlichen Tiefen-Embeddings führte zu einer signifikanten Leistungsverschlechterung, was die Notwendigkeit jeder Komponente validiert.

5. Bedeutung und Ansprüche

Das Paper positioniert LakeFM als praktischen Schritt hin zu skalierbaren und generalisierbaren Modellen für See-Ökosysteme. Die Bedeutung liegt in:

Paradigmenwechsel: Weg von Single-See-/Single-Variante-Analysen und imputationsabhängigen Pipelines hin zu einem vereinheitlichten Foundation Model, das Informationen über disparate Seen mit unterschiedlichen Irregularitäten hinweg teilt.
Verständnis von Makro-Systemen: Ermöglicht den ersten Schritt zum Verständnis der See-Ökologie auf einer Makro-System-Ebene unter Verwendung diverser und heterogener Daten.
Wissenschaftlicher Nutzen: Die Fähigkeit, maskierte Variablen zu handhaben, erlaubt es Forschern, „Was-wäre-wenn“-Szenarien abzufragen (z. B. Vorhersage der Temperatur ohne gelösten Sauerstoff), was Erkenntnisse über Variablen-Interaktionen liefert, die die zukünftige Datenerhebung steuern können.
Fundament für AI4Science: Die Arbeit zeigt, dass Foundation Models speziell auf wissenschaftliche Domänen zugeschnitten werden können, um nicht nur statistische Muster, sondern auch zugrunde liegende physikalische Prinzipien zu erlernen, und damit die Lücke zwischen datengetriebener ML und prozessbasierter wissenschaftlicher Modellierung schließen.

Die Autoren räumen Einschränkungen hinsichtlich der Extrapolation auf Klimakontexte ein, die signifikant von der Trainingsverteilung abweichen (z. B. Regionen mit anderen thermischen/Eisbedeckungs-Dynamiken), und merken an, dass das Modell auf den beobachteten statistischen Abhängigkeiten innerhalb des Datenbereichs basiert.