🤖 machine learning

In-Context Learning of Stochastic Differential Equations with Foundation Inference Models

Das Paper stellt FIM-SDE vor, ein vortrainiertes Foundation-Modell, das In-Context-Learning und überwachtes Training auf vielfältigen SDE-Pfaden nutzt, um eine präzise Zero-Shot-Schätzung von Drift- und Diffusionsfunktionen aus verrauschten Zeitreihendaten zu erreichen, während es bei der Feinabstimmung auf Ziel-Datensätzen konsequent herkömmliche Baselines übertrifft.

Ursprüngliche Autoren: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Regeln eines Spiels zu verstehen, indem Sie einfach nur beobachten, wie jemand spielt – aber es gibt einen Haken: Der Spieler wird von unsichtbaren, zufälligen Windböen hin und her geworfen. Sie können sehen, wohin er geht, aber Sie können den Wind selbst nicht sehen, und Ihre Sicht auf das Spiel ist manchmal verschwommen oder unterbrochen.

Dies ist das Problem, mit dem Wissenschaftler konfrontiert sind, wenn sie stochastische Differentialgleichungen (SDEs) untersuchen. Dies sind mathematische Formeln, die Systeme beschreiben, die sich mit einer Mischung aus vorhersehbarem Fluss (wie einer Flussströmung) und zufälligem Chaos (wie dem Wind) bewegen. Das Ziel ist es, die zwei verborgenen „Funktionen“ zu finden, die dies steuern:

Der Drift: Der vorhersehbare Teil (die Flussströmung).
Die Diffusion: Der zufällige Teil (der Wind).

Normalerweise erfordert das Entschlüsseln dieser Regeln viele Daten, viel Zeit und viel Vermutungen darüber, wie die Regeln aussehen könnten. Wenn die Daten unordentlich oder spärlich sind, versagen alte Methoden oft oder benötigen ewig für die Berechnung.

Die neue Lösung: FIM-SDE

Die Autoren dieses Papers stellen ein neues Werkzeug namens FIM-SDE (Foundation Inference Model for SDEs) vor. Stellen Sie sich FIM-SDE wie einen hochintelligenten Detektiv vor, der jahrelang Millionen von gefälschten Spielen in einem Simulationslabor studiert hat.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Das „Trainingslager“ (Pre-training)

Bevor der Detektiv jemals einen echten Fall sieht, besucht er ein riesiges Trainingslager.

Die Simulation: Die Forscher generieren 600.000 gefälschte Szenarien. Sie erfinden zufällige „Drift“- und „Diffusions“-Regeln (meist einfache mathematische Formeln wie Polynome), simulieren das Spiel und „verfälschen“ dann bewusst die Daten. Sie fügen Rauschen hinzu, machen die Sicht verschwommen und lassen Zeitschritte aus.
Die Lektion: Der Detektiv (das KI-Modell) wird darauf trainiert, diese unordentlichen, gefälschten Spielprotokolle zu betrachten und sofort die verborgenen Regeln zu erraten, die sie erzeugt haben. Er lernt, Muster im Chaos zu erkennen.

2. Die „Zero-Shot“-Superkraft (In-Context Learning)

Sobald er trainiert ist, kann der Detektiv ein brandneues Spielprotokoll (reale Welt-Daten) betrachten und die Regeln sofort erraten, ohne dieses spezifische Spiel stundenlang studieren zu müssen.

Die Analogie: Stellen Sie sich vor, Sie haben tausende verschiedene Wetterlagen gesehen. Wenn Ihnen jemand ein neues, leicht verschwommenes Foto eines Sturms zeigt, können Sie sofort sagen: „Ah, das ist ein Tiefdruckgebiet mit hohem Wind“, ohne eine neue Computersimulation durchzuführen.
Das Ergebnis: Das Paper zeigt, dass FIM-SDE in der Lage ist, unordentliche Daten von Dingen wie Aktienkursen, Ölpreisen oder Windgeschwindigkeiten zu betrachten und die zugrunde liegenden Regeln fast so gut zu erraten wie Experten, die Tage damit verbracht haben, diese spezifischen Daten zu analysieren.

3. Das „Schnelle Lernen“ (Fine-tuning)

Manchmal ist die erste Vermutung des Detektivs zwar gut, aber nicht perfekt. Vielleicht hat das reale Spiel eine seltsame Eigenheit, die im Trainingslager nicht abgedeckt wurde.

Die Analogie: Anstatt ganz von vorne anzufangen, benötigt der Detektiv nur einen kurzen Auffrischungskurs.
Das Ergebnis: Das Paper behauptet, dass FIM-SDE in nur 100 Schritten (Iterationen) an einen spezifischen neuen Datensatz angepasst werden kann. Andere Methoden benötigen vielleicht 5.000 Schritte, um die gleiche Genauigkeit zu erreichen. Es ist, als ob der Detektiv die Sprache bereits kennt und nur noch ein paar neue Slang-Begriffe lernen muss, während andere versuchen, die ganze Sprache von Grund auf neu zu lernen.

Was haben sie getestet?

Die Autoren haben diesen Detektiv zwei Arten von Herausforderungen unterzogen:

Klassische Physikprobleme: Systeme wie das „Double-Well“ (eine Kugel, die zwischen zwei Hügeln rollt) und der „Lorenz-Attraktor“ (ein berühmtes chaotisches Wettermodell).
Reale Welt-Daten: Aktienkurse von Facebook und Tesla, Ölpreisschwankungen und Windgeschwindigkeitsaufzeichnungen.

Das Urteil

Bei unordentlichen Daten: FIM-SDE ist wesentlich robuster als ältere Methoden. Wenn die Daten verrauscht oder spärlich sind, geben die alten Methoden oft auf oder liefern falsche Antworten. FIM-SDE arbeitet dennoch weiter.
Bei der Geschwindigkeit: Es ist unglaublich schnell in der Anpassung. Es kann ein neues System 50-mal schneller lernen als bisherige Deep-Learning-Methoden.
Bei der Genauigkeit: Wenn es ein kurzes „Fine-tuning“ auf die spezifischen Daten erhält, übertrifft es alle anderen Methoden (einschließlich symbolischer Mathematik und Gauß-Prozessen) in der Genauigkeit.

Die Einschränkungen (Das Kleingedruckte)

Das Paper ist ehrlich darüber, was der Detektiv noch nicht kann:

Nur einfache Regeln: Der Detektiv wurde auf relativ einfachen mathematischen Regeln (Polynomen) trainiert. Wenn die reale Welt extrem komplexe, nicht-mathematische Regeln nutzt, könnte der Detektiv Schwierigkeiten bekommen.
Kleine Systeme: Es funktioniert am besten bei Systemen mit 1 bis 3 Variablen (wie einer Kugel, die sich im 3D-Raum bewegt). Die Anwendung auf Systeme mit Hunderten von Variablen ist derzeit zu schwierig, da die Simulation im „Trainingslager“ zu langsam und fehleranfällig wird.

Zusammenfassend lässt sich sagen: FIM-SDE ist eine vortrainierte KI, die die „Grammatik“ der zufälligen Bewegung aus Millionen von Simulationen gelernt hat. Sie kann eine unordentliche Geschichte aus der realen Welt sofort lesen und die Regeln erraten, und wenn man ihr ein klein wenig zusätzliche Hilfe gibt, wird sie besser darin, diese Regeln zu erraten, als es sonst jemand kann.

Technisches Resümee: In-Context Learning von stochastischen Differentialgleichungen mit Foundation Inference Models

Problemstellung

Stochastische Differentialgleichungen (SDEs) modellieren dynamische Systeme, bei denen deterministische Flüsse (Drift) mit zufälligen Fluktuationen (Diffusion) überlagert werden. Eine zentrale Herausforderung im maschinellen Lernen und in der wissenschaftlichen Entdeckung ist die genaue Schätzung oder „Entdeckung“ dieser Drift- und Diffusionsfunktionen aus verrauschten Zeitreihendaten.

Aktuelle Ansätze stehen vor erheblichen Einschränkungen:

Symbolische Regression: Verlässt sich stark auf vordefinierte Dictionaries von Basisfunktionen und erfordert oft dichte, saubere Daten.
Gauß-Prozess-Regression (GP): Verwendet nicht-parametrische Priors, ist jedoch sensitiv gegenüber Vorwissen und hat oft Schwierigkeiten mit der Konvergenz, wenn die Daten spärlich oder verrauscht sind, was häufig variationale Approximationen erfordert.
Neurale SDEs: Repräsentieren Drift und Diffusion mittels neuronaler Netze, erfordern jedoch typischerweise ein kostspieliges Training unter Verwendung von Backpropagation durch SDE-Solver (oft via Adjoint-Sensitivitätsmethoden) und müssen für jedes neue System von Grund auf neu trainiert werden.

Das Paper identifiziert eine Lücke für eine Methode, die in der Lage ist, eine In-Context-Schätzung (Zero-Shot) von SDE-Funktionen aus verrauschten Daten durchzuführen, ohne extensives Retraining, während sie gleichzeitig robust gegenüber spärlichen Beobachtungen und Rauschen bleibt.

Methodik: FIM-SDE

Die Autoren führen FIM-SDE (Foundation Inference Model for SDEs) ein, ein vortrainiertes neuronales Erkennungsmodell, das darauf ausgelegt ist, verrauschte, diskret beobachtete SDE-Pfade direkt auf ihre zugrunde liegenden Drift- und Diffusionsfunktionen abzubilden. Die Methodik besteht aus zwei primären Komponenten:

1. Datengenerationsmodell

Um ein Modell zu trainieren, das zur Generalisierung auf ungesehene Systeme fähig ist, konstruieren die Autoren einen synthetischen Datensatz basierend auf einem generativen Prior $p_{prior}(f, G)$ .

Funktionsraum: Drift-Funktionen werden aus Polynomen des Grades $\leq 3$ und Diffusions-Funktionen aus positiven Polynomen des Grades $\leq 2$ gesampelt. Dies deckt ein breites Spektrum physikalischer Modelle ab, einschließlich chaotischer Systeme.
Simulation & Korruption: SDE-Pfade werden mittels des Euler-Maruyama-Schemas simuliert. Diese Pfade werden dann „korrumpiert“, um reale Daten zu imitieren:
- Rauschen: Additives Gaußsches Rauschen wird angewendet.
- Irreguläre Abtastung: Pfade werden untersampelt, um irreguläre Inter-Beobachtungszeiten ( $\Delta \tau$ ) zu erzeugen, die signifikant größer als der Simulationsschritt ( $\Delta t$ ) sein können.
Trainingsdaten: Der Datensatz besteht aus Tupeln korrumpierter Zeitreihen und den entsprechenden Ground-Truth-Drift/Diffusions-Paaren.

2. Architektur des neuronalen Erkennungsmodells

FIM-SDE ist eine Transformer-basierte Architektur, die von Neural Operators (speziell DeepONets) und amortisierter Inferenz inspiriert ist.

Input-Repräsentation: Der Kontext-Input besteht aus Übergangstupeln $(y_i, \Delta y_i, \Delta y_i^2, \Delta \tau_i)$ , die aus den verrauschten Zeitreihen abgeleitet wurden. Die Einbeziehung von $\Delta y^2$ ermöglicht es dem Netzwerk, separate Feature-Kanäle für die Drift- und Diffusionsschätzung zu lernen.
Kontext-Matrix: Ein selbst-attentiver Transformer-Encoder ( $\Psi$ ) verarbeitet die eingebetteten Übergangstupel, um eine „Kontext-Matrix“ zu erstellen. Diese fungt als Äquivalent zum Branch-Net eines DeepONets und kodiert die gesamte Beobachtungshistorie.
Funktionale Aufmerksamkeit: Um die Drift oder Diffusion an einem spezifischen Abfragespunkt $x$ zu schätzen, verwendet das Modell einen Mechanismus der „funktionalen Aufmerksamkeit“ (gleichbedeutend mit dem Trunk-Net eines DeepONets). Dieser fragt die Kontext-Matrix unter Verwendung des Ortes $x$ als Query ab und gewichtet Übergänge basierend auf ihrer räumlichen Nähe zu $x$ dynamisch.
Trainingsziel: Das Modell wird trainiert, um den gewichteten mittleren quadratischen Fehler (MSE) zwischen den geschätzten Funktionen und der Ground Truth zu minimieren. Ein lernbarer Unsicherheits-Estimator $U_\theta$ wird verwendet, um Regionen abzuwerten, in denen das Modell unsicher ist (z. B. spärliche oder hochgradig verrauschte Bereiche), um numerische Instabilitäten zu verhindern.

3. Finetuning-Strategie

Obwohl FIM-SDE im Zero-Shot-Modus operiert, unterstützt es ein schnelles Finetuning:

Dichte Daten: Finetuning maximiert die Likelihood von Kurzzeit-Übergängen.
Spärliche Daten: Finetuning simuliert die inferierte SDE über die Beobachtungslücken hinweg und minimiert die Diskrepanz zwischen dem simulierten und dem beobachteten Zustand.
Dies ermöglicht es dem Modell, sich an spezifische Ziel-Datensätze anzupassen, mit signifikant weniger Iterationen als eine Standard-Neural-SDE-Methode.

Wichtigste Beiträge

Datengenerationsmodell: Ein neuartiges Modell zur Abtastung und Korrumpierung von SDE-Pfaden, die auf polynomischen Drift- und Diffusionsfunktionen beschränkt sind. Die Autoren zeigen empirisch, dass dieses Modell einen starken Prior kodiert, der die Generalisierung sowohl auf In-Distribution-Synthetik-Systemen als auch auf realen Datensätzen ermöglicht.
Erster In-Context Neural Recognizer: FIM-SDE ist das erste neuronale Modell, das in der Lage ist, Drift- und Diffusionsfunktionen niedrigdimensionaler SDEs aus verrauschten Daten in einem Zero-Shot-Verfahren zu schätzen.
Schnelle Adaption: Das Modell kann auf Zielprozesse (sowohl dichte als auch spärliche) feinjustiert werden und konvergiert bis zu 50-mal schneller als Standard-Neural-SDE-Methoden, während es diese letztlich sogar übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten FIM-SDE auf acht kanonischen SDE-Systemen (z. B. Double-well, Lorenz-Attraktor) und vier realen Datensätzen (Facebook/Tesla Aktienkurse, Ölpreise, Windgeschwindigkeit).

Zero-Shot-Performance: Über verschiedene kanonische Systeme mit variierenden Rauschpegeln ( $\rho$ ) und Beobachtungsintervallen ( $\Delta \tau$ ) hinweg erzielte FIM-SDE eine robuste Performance. In verrauschten oder spärlichen Settings übertraf es die Baselines der symbolischen Regression (BISDE) und der Gauß-Prozesse (SparseGP) konsistent. Auf sauberen, dichten Daten performte es vergleichbar mit diesen Baselines. Bemerkenswert ist, dass FIM-SDE stabil blieb, während symbolische und GP-Methoden häufig ungültige SDE-Schätzungen produzierten oder die Konvergenz scheiterten.
Reale Daten: Bei Aktienkursdaten übertraf die Zero-Shot-Performance von FIM-SDE sowohl BISDE als auch LatentSDE. Bei Wind- und Öl-Daten lag die Zero-Shot-Performance zwar leicht hinter BISDE zurück, doch das Finetuning von FIM-SDE lieferte die beste Gesamtleistung über alle Systeme hinweg.
Effizienz: Beim Finetuning auf den Lorenz-Attraktor übertraf FIM-SDE die LatentSDE-Baseline (trainiert für 5000 Iterationen) in weniger als 100 Iterationen. Bei realen Datensätzen benötigte FIM-SDE nur 100 Finetuning-Iterationen im Vergleich zu 5000 bei LatentSDE, was einer Reduktion des Rechenaufwands um das 50-fache entspricht.

Bedeutung und Behauptungen

Das Paper behauptet, dass FIM-SDE als echtes Foundation Model für die SDE-Entdeckung fungiert. Seine Bedeutung liegt in:

Umgehung von Trainings-Engpässen: Es eliminiert die Notwendigkeit für kostspielige, systemspezifische Trainingspipelines und Backpropagation durch SDE-Solver für jeden neuen Datensatz.
Robustheit: Es handhabt verrauschte, spärliche und irregulär abgetastete Daten effektiv, ohne dass eine explizite variationale Regularisierung zwischen den Beobachtungen erforderlich ist.
Wissenschaftliche Automatisierung: Durch die Bereitstellung einer Zero-Shot-Lösung, die schnell adaptiert werden kann, bietet es einen Weg zur Automatisierung der wissenschaftlichen Entdeckung in Szenarien, in denen das Vorwissen über Dynamiken gering ist.

Die Autoren räumen Einschränkungen ein, primär dass der aktuelle Prior auf niedrigdimensionale Systeme und niedriggradige polynomische Drift/Diffusion beschränkt ist (aufgrund der Ablehnungsraten beim Sampling in hohen Dimensionen). Sie postulieren jedoch, dass die aus dieser eingeschränkten Klasse gelernten starken induktiven Biases ausreichen, um als leistungsstarke Initialisierung für reale Anwendungen zu dienen.