🤖 machine learning

In-Context Learning of Stochastic Differential Equations with Foundation Inference Models

Het artikel introduceert FIM-SDE, een voorgetraind fundamentemodel dat in-context leren en supervised training op diverse SDE-paden benut om nauwkeurige, zero-shot schattingen van drift- en diffusiefuncties uit ruisgevoelige tijdreeksgegevens te bereiken, terwijl het consequent traditionele baselines overtreft wanneer het wordt gefinetuned op doelgegevens.

Oorspronkelijke auteurs: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de regels van een spel probeert te begrijpen door simpelweg naar iemand te kijken die het speelt, maar er is een addertje onder het gras: de speler wordt heen en weer geduwd door onzichtbare, willekeurige windvlagen. Je ziet waar de persoon naartoe gaat, maar je kunt de wind zelf niet zien, en je zicht op het spel is soms wazig of wordt onderbroken.

Dit is het probleem waar wetenschappers voor staan bij het bestuderen van Stochastische Differentiaalvergelijkingen (SDE's). Dit zijn wiskundige formules die systemen beschrijven die bewegen met een mix van een voorspelbare stroom (zoals een rivierstroming) en willekeurige chaos (zoals de wind). Het doel is om de twee verborgen "functies" te vinden die dit aansturen:

De Drift: Het voorspelbare deel (de rivierstroming).
De Diffusie: Het willekeurige deel (de wind).

Meestal vereist het ontrafelen van deze regels veel data, veel tijd en veel giswerk over hoe de regels eruit zouden kunnen zien. Als de data rommelig of schaars is, schieten oude methoden tekort of duren ze eindeloos om te berekenen.

De Nieuwe Oplossing: FIM-SDE

De auteurs van dit paper introduceren een nieuw hulpmiddel genaamd FIM-SDE (Foundation Inference Model for SDEs). Zie FIM-SDE als een super slimme detective die jarenlang miljoen nep-spelletjes heeft bestudeerd in een simulatielab.

Zo werkt het, met behulp van eenvoudige analogieën:

1. Het "Trainingskamp" (Pre-training)

Voordat de detective ooit een echte zaak ziet, gaat hij naar een enorm trainingskamp.

De Simulatie: De onderzoekers genereren 600.000 nep-scenario's. Ze verzinnen willekeurige "drift" en "diffusie" regels (voornamelijk eenvoudige wiskundige formules zoals polynomen), simuleren het spel en maken de data vervolgens bewust "corrupt". Ze voegen ruis toe, maken het beeld wazig en slaan tijdstappen over.
De Les: De detective (het AI-model) wordt getraind om naar deze rommelige, nep spelverslagen te kijken en onmiddellijk de verborgen regels te raden die ze hebben gecreëerd. Het leert patronen te herkennen in de chaos.

2. De "Zero-Shot" Superkracht (In-Context Learning)

Zodra hij getraind is, kan de detective naar een nieuw spelverslag kijken (echte wereld data) en de regels onmiddellijk raden, zonder dat hij die specifieke game urenlang hoeft te bestuderen.

De Analogie: Stel dat je duizenden verschillende soorten weerspatronen hebt gezien. Als iemand je een nieuwe, licht wazige foto van een storm laat zien, kun je direct zeggen: "Ah, dat is een lagedrukgebied met hoge windsnelheid," zonder dat je een nieuwe computersimulatie hoeft te draaien.
Het Resultaat: Het paper laat zien dat FIM-SDE naar rommelige data van zaken als aandelenkoersen, olieprijzen of windsnelheden kan kijken en de onderliggende regels bijna net zo goed kan raden als experts die dagenlang die specifieke data hebben geanalyseerd.

3. De "Snelle Studie" (Fine-tuning)

Soms is de eerste gok van de detective goed, maar niet perfect. Misschien heeft het echte spel een vreemde eigenaardigheid die niet in het trainingskamp werd behandeld.

De Analogie: In plaats van helemaal opnieuw te beginnen, heeft de detective alleen een snelle opfriscursus nodig.
Het Resultaat: Het paper beweert dat FIM-SDE zich aan een specifieke nieuwe dataset kan aanpassen in slechts 100 stappen (iteraties). Andere methoden hebben misschien 5.000 stappen nodig om dezelfde nauwkeurigheid te bereiken. Het is alsoal de detective de taal al kent en alleen nog een paar nieuwe straattaalwoorden hoeft te leren, terwijl anderen de hele taal vanaf nul proberen te leren.

Wat hebben ze getest?

De auteurs hebben deze detective getest op twee soorten uitdagingen:

Klassieke Natuurkundige Problemen: Systemen zoals de "Double-Well" (een bal die tussen twee heuvels rolt) en de "Lorenz Attractor" (een beroemd chaotisch weermodel).
Real-world Data: Aandelenkoersen van Facebook en Tesla, schommelingen in olieprijzen en windkrachtmetingen.

Het Oordeel

Op Rommelige Data: FIM-SDE is veel robuuster dan oudere methoden. Wanneer de data ruizig of schaars is, geven de oude methoden vaak op of geven ze foute antwoorden. FIM-SDE blijft gewoon werken.
Op Snelheid: Het is ongelooflijk snel in het aanpassen. Het kan een nieuw systeem 50 keer sneller leren dan voorgaande deep learning-methoden.
Op Nauwkeurigheid: Wanneer het een snelle "fine-tuning" krijgt op de specifieke data, verslaat het alle andere methoden (inclusief symbolische wiskunde en Gaussische processen) in nauwkeurigheid.

De Beperkingen (De Kleine Lettertjes)

Het paper is eerlijk over wat de detective niet kan:

Alleen Eenvoudige Regels: De detective is getraind op relatief eenvoudige wiskundige regels (polynomen). Als de echte wereld gebruik maakt van extreem complexe, niet-wiskundige regels, kan de detective moeite hebben.
Kleine Systemen: Het werkt het beste op systemen met 1 tot 3 variabelen (zoals een bal die in een 3D-ruimte beweegt). Het toepassen van dit op systemen met honderden variabelen is momenteel te moeilijk omdat de simulatie van de "training camp" te traag wordt en foutgevoelig is.

Samengevat: FIM-SDE is een voorgetrainde AI die de "grammatica" van willekeurige beweging leert van miljoenen simulaties. Het kan onmiddellijk een rommelig echt wereldverhaal lezen en de regels raden, en als je het een klein beetje extra hulp geeft, is het de beste in het raden van die regels, sneller dan wie dan ook.

Technische Samenvatting: In-Context Learning van Stochastische Differentiaalvergelijkingen met Foundation Inference Modellen

Probleemstelling

Stochastische Differentiaalvergelijkingen (SDE's) modelleren dynamische systemen waarbij deterministische stromingen (drift) worden gecombineerd met willekeurige fluctuaties (diffusie). Een centrale uitdaging in machine learning en wetenschappelijke ontdekking is de nauwkeurige schatting of "ontdekking" van deze drift- en diffusiefuncties uit ruisige tijdreeksgegevens.

Huidige benaderingen kampen met aanzienlijke beperkingen:

Symbolische Regressie: Leunt zwaar op vooraf gespecificeerde woordenboeken van basisfuncties en vereist vaak dichte, schone data.
Gaussian Process (GP) Regressie: Gebruikt niet-parametrische priors maar is gevoelig voor voorkennis en heeft vaak moeite met convergentie wanneer data schaars of ruisig is, waarbij vaak variationele benaderingen nodig zijn.
Neural SDE's: Representeren drift en diffusie via neurale netwerken, maar vereisen doorgaans kostbare training die involves backpropagation door SDE-solvers (vaak via adjoint sensitivity methoden) en moeten voor elk nieuw systeem vanaf nul worden getraind.

Het artikel identificeert een gat voor een methode die in staat is tot in-context (zero-shot) schatting van SDE-functies uit ruisige data zonder uitgebreide hertraining, terwijl het robuust blijft tegen schaarse observaties en ruis.

Methodologie: FIM-SDE

De auteurs introduceren FIM-SDE (Foundation Inference Model voor SDE's), een vooraf getraind neuraal herkenningsmodel dat ontworpen is om ruisige, discreet geobserveerde SDE-paden direct te mappen naar hun onderliggende drift- en diffusiefuncties. De methodologie bestaat uit twee primaire componenten:

1. Datageneratiemodel

Om een model te trainen dat kan generaliseren naar ongeziene systemen, construeren de auteurs een synthetische dataset gebaseerd op een generatieve prior $p_{prior}(f, G)$ .

Functieruimte: Driftfuncties worden gesampled uit polynomen van graad $\leq 3$ , en diffusiefuncties uit positieve polynomen van graad $\leq 2$ . Dit dekt een breed scala aan fysieke modellen, inclusief chaotische systemen.
Simulatie & Corruptie: SDE-paden worden gesimuleerd met behulp van het Euler-Maruyama schema. Deze paden worden vervolgens "gecorrumpeerd" om de werkelijkheid na te bootsen:
- Ruis: Additieve Gaussische ruis wordt toegepast.
- Irreguliere Sampling: Paden worden gesubsampleerd om irreguliere intervallen tussen observaties ( $\Delta \tau$ ) te creëren, die aanzienlijk groter kunnen zijn dan de simulatiestap ( $\Delta t$ ).
Trainingsdata: De dataset bestaat uit tupels van gecorrumpeerde tijdreeksen en hun overeenkomstige ground-truth drift/diffusie paren.

2. Architectuur van het Neurale Herkenningsmodel

FIM-SDE is een Transformer-gebaseerde architectuur geïnspireerd door Neural Operators (specifiek DeepONets) en geamortiseerde inferentie.

Input Representatie: De input context bestaat uit transitie-tupels $(y_i, \Delta y_i, \Delta y_i^2, \Delta \tau_i)$ afgeleid van de ruisige tijdreeksen. De inclusie van $\Delta y^2$ stelt het netwerk in staat om aparte feature-kanalen te leren voor drift- en diffusieschatting.
Context Matrix: Een self-attentive Transformer encoder ( $\Psi$ ) verwerkt de ingebedde transitie-tupels om een "Context Matrix" te creëren. Deze fungeert als het equivalent van de Branch-net van een DeepONet en codeert de volledige observatiegeschiedenis.
Functionele Attentie: Om de drift of diffusie op een specifieke locatie $x$ te schatten, gebruikt het model een "Functionele Attentie"-mechanisme (equivalent aan de Trunk-net van een DeepONet). Dit mechanisme bevraagt de Context Matrix met de locatie $x$ als query, waarbij de transitie dynamisch wordt gewogen op basis van hun ruimtelijke nabijheid tot $x$ .
Trainingsdoel: Het model wordt getraind om de gewogen Mean Squared Error (MSE) tussen de geschatte functies en de ground-truth te minimaliseren. Een leerbare onzekerheidschatter $U_\theta$ wordt gebruikt om regio's te down-wegen waar het model onzeker is (bijv. schaarse of zeer ruisige gebieden), om numerieke instabiliteit te voorkomen.

3. Finetuning Strategie

Hoewel FIM-SDE opereert in een zero-shot modus, ondersteunt het snelle finetuning:

Dichte Data: Finetuning maximaliseert de likelihood van kortstondige transities.
Schaarse Data: Finetuning simuleert de geïnferreerde SDE over de observatiekloven en minimaliseert de discrepantie tussen de gesimuleerde en geobserveerde toestanden.
Dit stelt het model in staat om zich aan te passen aan specifieke doel-datasets met aanzienlijk minder iteraties dan een standaard Neural SDE vanaf nul trainen.

Belangrijkste Bijdragen

Datageneratiemodel: Een nieuw model voor het samplen en corrumperen van SDE-paden die beperkt zijn tot polynomiale drift en diffusie. De auteurs demonstreren empirisch dat dit datamodel een sterke prior codeert, wat generalisatie mogelijk maakt naar zowel in-distributie synthetische systemen als real-world datasets.
Eerste In-Context Neurale Recognizer: FIM-SDE is het eerste neurale model dat in staat is om drift- en diffusiefuncties van laag-dimensionale SDE's uit ruisige data te schatten op een zero-shot wijze.
Snelle Adaptatie: Het model kan worden gefinetuned naar doelprocessen (zowel dicht als schaars) en convergeert tot wel 50 $\times$ sneller dan standaard Neural SDE-methoden, terwijl het deze uiteindelijk ook overtreft.

Experimentele Resultaten

De auteurs evalueerden FIM-SDE op acht canonieke SDE-systemen (bijv. Double-well, Lorenz attractor) en vier real-world datasets (Facebook/Tesla aandelenkoersen, olieprijzen, windsnelheid).

Zero-Shot Prestaties: Over canonieke systemen met variërende ruisniveaus ( $\rho$ ) en observatiekloven ( $\Delta \tau$ ), bereikte FIM-SDE robuuste prestaties. In ruisige of schaarse settings presteerde het consistent beter dan de Symbolic Regression (BISDE) en Gaussian Process (SparseGP) baselines. Op schone, dichte data presteerde het vergelijkbaar met deze baselines. Opvallend genoeg bleef FIM-SDE stabiel op plaatsen waar symbolische en GP-methoden vaak ongeldige SDE-schattingen produceerden of faalden om te convergeren.
Real-World Data: Op aandelenkoersdata overtrof de zero-shot prestatie van FIM-SDE zowel BISDE als LatentSDE. Op wind- en oliegegevens, hoewel de zero-shot prestatie van FIM-SDE iets achterbleef bij BISDE, leverde finetuning van FIM-SDE de beste algehele prestaties op voor alle systemen.
Efficiëntie: Wanneer gefinetuned op de Lorenz-attractor, overtrof FIM-SDE de LatentSDE-baseline (getraind voor 5000 iteraties) in minder dan 100 iteraties. In real-world datasets had FIM-SDE slechts 100 finetuning-iteraties nodig vergeleken met 5000 voor LatentSDE, wat een reductie in rekenkracht van 50 $\times$ vertegenwoordigt.

Betekenis en Claims

De auteurs claimen dat FIM-SDE functioneert als een echte foundation model voor SDE-ontdekking. De betekenis ligt in:

Omzeilen van Trainingsbottlenecks: Het elimineert de noodzaak voor kostbare, systeem-specifieke trainingspipelines en backpropagation door SDE-solvers voor elke nieuwe dataset.
Robuustheid: Het gaat effectief om met ruisige, schaarse en irregulier gesamplede data zonder dat er expliciete variationele regularisatie tussen observaties nodig is.
Wetenschappelijke Automatisering: Door een zero-shot oplossing te bieden die snel kan worden aangepast, biedt het een pad naar het automatiseren van wetenschappelijke ontdekking in scenario's waar voorkennis van dynamica schaars is.

De auteurs erkennen beperkingen, primair dat de huidige prior beperkt is tot laag-graads polynomiale drift/diffusie en laag-dimensionale systemen (vanwege de afwijzingspercentages in hoog-dimensionale sampling). Ze stellen echter dat de sterke inductieve biases geleerd uit deze beperkte klasse voldoende zijn om te dienen als een krachtige initialisatie voor real-world toepassingen.