🤖 machine learning

Foundation Inference Models for Ordinary Differential Equations

Het artikel introduceert FIM-ODE, een voorgetraind fundamentaal model dat efficiënt ODE-vectorvelden afleidt uit ruisgevoelige trajecten in één enkele forward pass, waarbij het sterke zero-shot prestaties bereikt en snelle, expert-vrije finetuning mogelijk maakt die bestaande symbolische, neurale en Gaussian process-baselines overtreft.

Oorspronkelijke auteurs: Maximilian Mauel, Johannes R. Hübers, David Berghaus, Patrick Seifner, Ramses J. Sanchez

Gepubliceerd 2026-06-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maximilian Mauel, Johannes R. Hübers, David Berghaus, Patrick Seifner, Ramses J. Sanchez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Detective Leren Om Onmiddellijk Misdaden Op te Lossen

Stel je voor dat je een detective bent die probeert de regels van een spel te begrijpen door simpelweg naar iemand te kijken die het speelt. Je ziet een bal over een tafel rollen, tegen een muur botsen en vertragen. Jouw taak is om de onzichtbare "krachtvelden" (de regels) te raden die ervoor zorgden dat de bal zo bewoog.

In de wetenschap wordt dit een Gewone Differentiaalvergelijking (ODE) genoemd. Wetenschappers gebruiken deze vergelijkingen om alles te beschrijven, van hoe planeten in een baan draaien tot hoe virussen zich verspreiden. Meestal is het ontrafelen van deze regels uit rommelige, ruizige gegevens als het proberen op te lossen van een puzzel terwijl je dikke handschoenen draagt: het is traag, moeilijk en vereist veel deskundige training.

Dit paper introduceert een nieuw hulpmiddel genaamd FIM-ODE. Zie FIM-ODE als een superdetective die al miljoenen oefenpuzzels heeft opgelost voordat hij jouw specifieke zaak zelfs maar heeft gezien. Omdat het zoveel "huiswerk" heeft gedaan (pretraining), kan het naar jouw rommelige gegevens kijken en met één enkele blik de regels van het spel raden, zonder alles opnieuw te hoeven leren.

Hoe het Werkt: De "Trainingskampen" versus "Het Echte Spel"

1. Het Trainingskamp (Pretraining)
De meeste AI-modellen worden getraind op één specifiek probleem tegelijk. Als je het weer wilt voorspellen, train je één model. Als je aandelenkoersen wilt voorspellen, train je een ander model. Dit is als het inhuren van een nieuwe werknemer voor elke nieuwe baan, waarbij die werknemer de handleiding vanaf pagina één moet lezen.

De auteurs kozen een andere aanpak. Ze bouwden een enorm "trainingskamp" voor hun AI.

Het Curriculum: Ze genereerden 600.000 nep, verzonnen natuurkundige problemen. Deze waren eenvoudig genoeg om oplosbaar te zijn (met behulp van polynomen van lage graad, wat vergelijkbaar is met basis algebraïsche curven), maar complex genoeg om de AI te leren patronen te herkennen.
De Les: De AI leerde een algemeen "inferentie-algoritme". In plaats van specifieke antwoorden te memoriseren, leerde het hoe je de regels ontdekt op basis van ruizige observaties.

2. Het Echte Spel (Zero-Shot Inference)
Zodra de AI zijn trainingskamp had voltooid, gooiden ze hem in de echte wereld.

De Test: Ze gaven het de echte wereldgegevens die de AI nog nooit eerder had gezien, inclusief gegevens van complexe chemische reacties en zelfs menselijke bewegingsregistratie (mensen die lopen en rennen).
Het Resultaat: De AI hoefde niet opnieuw getraind te worden. Het keek naar de rommelige gegevens en produceerde onmiddellijk een kaart van het "krachtveld" dat de beweging aanstuurde. In veel gevallen presteerde het beter dan de vorige state-of-the-art modellen, ook al was het veel kleiner en had het veel minder trainingsvoorbeelden gezien.

Het Geheime Recept: Lokale versus Globale Kaarten

Het paper maakt een slim onderscheid tussen twee manieren om een kaart te tekenen:

De Globale Kaart (De Oude Manier): Eerdere modellen probeerden één perfecte wiskundige zin (een symbolische formule) te schrijven die het gehele universum van het probleem beschreef. Het is alsof je de hele oceaan probeert te beschrijven met één enkele zin. Als de zin op één plek een beetje fout is, is de hele kaart fout.
De Lokale Kaart (De Manier van FIM-ODE): FIM-ODE probeert niet één perfecte zin voor de hele wereld te schrijven. In plaats daarvan werkt het als een hologram. Het kijkt naar een specifieke plek waar je gegevens hebt en tekent een kleine, nauwkeurige kaart voor alleen die buurt. Het weet dat als je een klein stukje beweegt, de regels ook licht kunnen veranderen, en past daarom zijn lokale kaart aan.

De Analogie: Stel je voor dat je het terrein van een berg probeert te beschrijven.

De Globale aanpak probeert één gedicht te schrijven dat de top, de vallei en de helling tegelijkertijd beschrijft.
De Lokale aanpak (FIM-ODE) zegt: "Ik heb geen gedicht nodig voor de hele berg. Ik moet alleen precies weten hoe de grond voelt op de plek waar je nu staat." Dit blijkt veel nauwkeuriger te zijn wanneer de gegevens rommelig zijn.

Waarom Dit Belangrijk Is

1. Snelheid en Eenvoud
Normaal gesproken heb je om een goed model te krijgen een team van experts, enorme computers en weken aan training nodig. FIM-ODE is als een vooraf geladen GPS. Je hoeft de kaart niet zelf te maken; je zet hem gewoon aan en hij begeleidt je. Het stelt wetenschappers zonder diepe kennis van machine learning in staat om complexe dynamica snel af te leiden.

2. Omgaan met Rommelige Gegevens
Echte wereldgegevens zijn nooit perfect. Ze bevatten ruis (statische storingen) en gaten (ontbrekende stukken). Omdat FIM-ODE getraind is op miljoenen "gecorrumpeerde" nepscenario's, is het ongelooflijk goed in het negeren van de statische storing en het opvullen van de gaten.

3. De "Fine-Tuning" Optie
Soms is de getrainde detective goed, maar niet perfect voor een heel specifiek, vreemd geval (zoals de unieke loopstijl van een specif으로 persoon). Het paper laat zien dat je dit vooraf getrainde model kunt nemen en het een heel klein beetje extra training kunt geven (fine-tuning) op juist dat ene specifieke geval. Het past zich razendsnel aan en wordt binnen minuten een specialist in plaats van dagen.

Beperkingen (De Addertjes onder het Gras)

Het paper is eerlijk over waar dit hulpmiddel momenteel moeite mee heeft:

De "Vloek van de Dimensionaliteit": Het trainingskamp was voornamelijk gericht op 1-, 2- of 3-dimensionale problemen (zoals een bal die in een lijn, op een vlak of in een kamer beweegt). Wanneer zaken zeer complex worden (hoge dimensies), kunnen de "nep" trainingsgegevens soms exploderen of instabiel worden. De auteurs geven toe dat ze momenteel beperkt zijn tot 3 dimensies, omdat het genereren van stabiele, realistische gegevens voor hogere dimensies moeilijk is.
Geen Magische Oplossing: Als de gegevens te schaars zijn of als het systeem totaal anders is dan wat de AI tijdens de training heeft gezien, kan het model nog steeds in de war raken. Het is een hulpmiddel voor het genereren van hypothesen, geen vervanging voor menselijk wetenschappelijk oordeel.

Samenvatting

De auteurs hebben een "Foundation Inference Model" gebouwd voor natuurkundige vergelijkingen. Door een neuraal netwerk te trainen op een enorme bibliotheek van eenvoudige, synthetische natuurkundige problemen, hebben ze een model gecreëerd dat onmiddellijk de regels van beweging kan raden uit rommelige gegevens. Het werkt als een lokale kaartenmaker in plaats van een globale dichter, waardoor het nauwkeuriger en aanpasbaarder is dan eerdere methoden, terwijl het minder rekenkracht en expertise vereist.

Technische Samenvatting: Foundation Inference Modellen voor Gewone Differentiaalvergelijkingen (FIM-ODE)

1. Probleemstelling

Gewone differentiaalvergelijkingen (ODE's) zijn fundamenteel voor wetenschappelijke modellering, maar het afleiden van de onderliggende vectorenvelden uit ruisige, ijle en onregelmatig gesamplede trajectgegevens blijft een aanzienlijke uitdaging. Traditionele benaderingen vallen uiteen in drie categorieën:

Symbolische Regressie: Methoden zoals SINDy of genetische programmering zoeken naar symbolische expressies, maar vereisen vaak schone, dicht gesamplede data, nauwkeurige afgeleide-schattingen of sterke voorkennis over de functionele vorm.
Gaussian Process (GP) Regressie: Deze methoden zijn sterk afhankelijk van de keuze van de GP-prior en maken vaak gebruik van complexe variationele benaderingen of gradiëntmatching.
Neural ODEs: Hoewel flexibel, vereisen deze kostbare, instabiele trainingspipelines die backpropagation door numerieke solvers of trage adjoint-methoden omvatten, wat aanzienlijke expertise op het gebied van machine learning vereist.

Deze klassieke benaderingen volgen een "per-dataset" optimalisatieparadigma, waarbij een model vanaf nul wordt getraind voor elk specifiek systeem. Dit artikel stelt een verschuiving voor naar een geamortiseerd inferentieparadigma met behulp van Foundation Inference Modellen (FIM's). Het doel is om één model te pretrainen op een diverse synthetische dataset om een herbruikbare inferentieprocedure te leren, wat snelle, zero-shot vectorenveld-schatting uit ruisige trajecten mogelijk maakt in een enkele forward pass.

2. Methodologie: FIM-ODE

Het voorgestelde FIM-ODE framework bestaat uit twee hoofdonderdelen: een pretraining-priorverdeling over ODE's en een neuraal inferentiemodel.

2.1 Pretraining Prior Verdeling

De auteurs definiëren een synthetische datageneratie-pipeline gebaseerd op een priorverdeling over autonome, eerste-orde ODE's in dimensies $d \in \{1, 2, 3\}$ .

Vectorenvelden: De prior gaat ervan uit dat vectorenvelden zijn samengesteld uit ijle, multivariate polynomen van graad maximaal drie. Coëfficiënten worden gesampled uit $\mathcal{N}(0, 1)$ , waarbij willekeurige masking wordt toegepast op graden en monomialen om ijlheid en structurele variëteit te induceren. Deze keuze wordt gemotiveerd door de observatie dat veel canonieke ODE's (bijv. het Lorenz-systeem, biologische oscillatoren) lage-graads polynomsystemen zijn, en polynomen garanderen de existentie en uniciteit van oplossingen via het Picard-Lindelöf theorema.
Datageneratie: Voor elk gesampled vectorenveld worden meerdere trajecten gesimuleerd vanuit begincondities getrokken uit $\mathcal{N}(0, 1)$ .
Corruptie: Om de echte wereld na te bootsen, worden trajecten gecorrumpeerd met multiplicatieve Gaussische ruis en willekeurige subsampling (het verwijderen van een fractie van de observaties). Systemen die divergerende trajecten produceren, worden weggegooid om de training te concentreren op begrensde regimes.

2.2 Modelarchitectuur: Transformer-gebaseerde Neurale Operator

FIM-ODE is een Transformer-gebaseerde neurale operator ontworpen om ruisige traject-contexten te mappen naar lokale vectorenveld-schattingen.

Input Representatie: In plaats van ruwe trajecten verwerkt het model "transitie-features" afgeleid van opeenvolgende toestandsparen $(y_i, y_{i+1})$ . Deze features bevatten de huidige staat, verplaatsing, gekwadrateerde verplaatsing en intervallen tussen observaties. Dit ontwerp maakt gebruik van de eindverschil-benadering van het vectorenveld.
Encoder: Een context-encoder gebruikt self-attention om een permutatie-invariante representatie van de $K$ ruisige trajecten te creëren.
Decoder: Een functionele attention-decoder bevraagt deze context-representatie op willekeurige ruimtelijke locaties $x$ . Het gebruikt cross-attention om relevante informatie uit de context te extraheren om een lokale schatting van het vectorenveld $\hat{f}_\theta(x)$ te produceren.
Schaalinvariantie: Het model maakt gebruik van reversible instance normalization voor ruimtelijke dimensies en delta log centering voor temporele dimensies om variërende schalen over verschillende ODE-systemen heen te hanteren.
Verliesfunctie: Training maakt gebruik van een gemengde samplingstrategie (de helft van de geobserveerde trajectpunten, de andere helft van uniforme ruimtelijke sampling) en een onzekerheid-gewogen verlies (Laplace likelihood met heteroscedastische schaal) om te voorkomen dat de optimalisatie wordt gedomineerd door regio's met een hoge magnitude in het vectorenveld.

3. Belangrijkste Bijdragen

Eenvoudigere Pretraining Prior met Sterke Generalisatie: De auteurs introduceren een pretraining-prior gebaseerd op lage-graads polynoom-vectorenvelden (graad $\le 3$ ) in dimensies 1–3. Ondanks dat deze prior aanzienlijk eenvoudiger is dan de complexe prior gebruikt door ODEFormer (die trigonometrische en rationale functies bevat), bereikt FIM-ODE sterke zero-shot prestaties, die vaak ODEFormer evenaren of overtreffen.
Lokale Neurale Operator Representatie: In tegenstelling tot symbolische regressiemethoden die naar een globale functionele vorm zoeken, representeert FIM-ODE het vectorenveld lokaal met behulp van een neurale operator. De auteurs laten zien dat deze lokale representatie de nauwkeurigheid van globale symbolische representaties kan evenaren of overtreffen, vooral in datarijke regimes. Cruciaal is dat zij aantonen dat deze lokale representatie interpreteerbaar is: het kan worden bevraagd voor evenwichten, Jacobiaan, stabiliteitstypen en fase-ruimte geometrie, vergelijkbaar met symbolische ODE's.
Effectieve Finetuning voor Out-of-Distribution (OOD) Regimes: Het artikel demonstreert dat het getrainde model dient als een sterke initialisatie. Wanneer de doel-dynamica ver buiten de distributie ligt (bijv. menselijke beweging in de echte wereld of lage-data regimes), maakt bescheiden finetuning op de specifieke context-data een snelle en stabiele adaptatie mogelijk, wat beter presteert dan moderne neurale en GP-gebaseerde baselines zonder dat uitgebreide ML-expertise nodig is.

4. Experimentele Resultaten

De auteurs evalueren FIM-ODE in drie belangrijke experimentele settings:

ODEBench (Zero-Shot Inferentie): Vergeleken met ODEFormer (een model met 86 miljoen parameters dat is getraind op 50 miljoen systemen) op een benchmark van 61 autonome ODE's.
- FIM-ODE (8 miljoen parameters, getraind op 0,6 miljoen systemen) presteerde consistent beter dan ODEFormer in traject-reconstructie over alle ruis- en subsampling-configuraties.
- In traject-generalisatie (voorspellen vanaf nieuwe begincondities), presteerde FIM-ODE vergelijkbaar met ODEFormer, met een duidelijk voordeel bij minder strikte drempelwaarden.
- Interpretabiliteitsanalyse: Op specifieke OOD-systemen (bijv. wrijvingsloze pendel, CDIMA-reactie), identificeerde FIM-ODE succesvol lokale stabiliteitseigenschappen (bijv. onstabiele spiralen) die globale symbolische modellen soms verkeerd classificeerden, wat het voordeel van lokale schatting boven rigide globale functionele verplichtingen benadrukt.
Low-Data OOD Regime (Van der Pol & FitzHugh-Nagumo):
- In zero-shot settings met korte, ruisige context-vensters vertoonde FIM-ODE gevoeligheid voor ruisrealisaties, een beperking van zuivere zero-shot inferentie in data-arme regimes.
- Echter, finetuning van FIM-ODE op de specifieke context-data leidde tot snelle adaptatie, wat substantiële prestatiewinsten opleverde en de klassieke baselines (NeuralODE, GP-gebaseerde methoden) overtrof.
Reële Menselijke Beweging (CMU Motion Capture):
- Toegepast op 5D latente representaties van loop- en rensequenties.
- Zero-shot prestaties varieerden per subject; het was uitstekend voor sommigen (Subject 09) maar slecht voor anderen (Subjects 35, 39) wiens dynamica minder overeenkwam met de polynoom-prior.
- Finetuning op subject-specifieke data herstelde de prestaties drastisch, wat aantoont dat de 3D ODE-modelklasse voldoende is om deze dynamica te representeren zodra het specifieke vectorenveld is aangepast.

5. Betekenis en Claims

Het artikel claimt dat FIM-ODE de drempel voor data-gestuurde ODE-inferentie verlaagt. Door de kosten van inferentie te amotiseren via pretraining, stelt het wetenschappers in staat om dynamische modellen af te leiden zonder:

Bespoke modellen voor elke dataset te trainen.
Te vertrouwen op grote, schone datasets.
Over substantiële machine learning expertise of computationele budgetten te beschikken.

De auteurs benadrukken dat hoewel het model geen "silver bullet" is voor alle dynamische systemen (ze merken beperkingen op wat betreft de niet-stationaire schaling van de polynoom-prior en de vaste dimensionaliteit), het een krachtig instrument biedt voor hypothesegeneratie en model-ondersteunde analyse. De resultaten suggereren dat een lokale, neurale-operator aanpak, getraind op een eenvoudige prior, effectief kan generaliseren naar complexe, reële systemen, wat een overtuigend alternatief biedt voor complexe symbolische regressie of instabiele neurale ODE-trainingspipelines.

Erkende Beperkingen:

De polynoom-prior induceert niet-stationaire schaling, waardoor de magnitudes van de vectorenvelden groeien met de afstand tot de oorsprong, wat de generatie van stabiele, hoog-dimensionale trajecten beperkt (vandaar de restrictie tot $d \le 3$ ).
De architectuur heeft momenteel een vaste maximale staat-dimensie, wat een a priori selectie van dimensionaliteit vereist.
Zero-shot inferentie kan falen in lage-data regimes of wanneer de doel-dynamica slecht wordt gerepresenteerd door de prior, wat finetuning noodzakelijk maakt.