🤖 machine learning

In-Context Learning of Stochastic Differential Equations with Foundation Inference Models

L'article présente FIM-SDE, un modèle de fondation préentraîné qui exploite l'apprentissage en contexte et l'entraînement supervisé sur des trajectoires d'EDS diverses pour parvenir à une estimation zero-shot précise des fonctions de dérive et de diffusion à partir de séries temporelles bruitées, tout en surpassant systématiquement les bases de référence traditionnelles lorsqu'il est affiné sur des ensembles de données cibles.

Auteurs originaux : Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre les règles d'un jeu simplement en regardant quelqu'un y jouer, mais il y a un piège : le joueur est bousculé par des rafales de vent invisibles et aléatoires. Vous voyez où il va, mais vous ne voyez pas le vent lui-même, et votre vue du jeu est parfois floue ou interrompue.

C'est le problème auquel les scientifiques sont confrontés lorsqu'ils étudient les Équations Différentielles Stochastiques (EDS). Ce sont des formules mathématiques qui décrivent des systèmes se déplaçant avec un mélange de flux prévisible (comme le courant d'une rivière) et de chaos aléatoire (comme le vent). L'objectif est de découvrir les deux « fonctions » cachées qui les contrôlent :

La Dérive (Drift) : la partie prévisible (le courant de la rivière).
La Diffusion (Diffusion) : la partie aléatoire (le vent).

Habituellement, comprendre ces règles nécessite beaucoup de données, beaucoup de temps et beaucoup de suppositions sur l'apparence des règles. Si les données sont désordonnées ou éparses, les anciennes méthodes échouent ou prennent un temps de calcul infini.

La nouvelle solution : FIM-SDE

Les auteurs de cet article introduisent un nouvel outil appelé FIM-SDE (Foundation Inference Model for SDEs). Voyez le FIM-SDE comme un détective super intelligent qui a passé des années à étudier des millions de faux jeux dans un laboratoire de simulation.

Voici comment il fonctionne, en utilisant des analogies simples :

1. Le « Camp d'entraînement » (Pré-entraînement)

Avant même que le détective n'affronte un vrai cas, il part dans un immense camp d'entraînement.

La Simulation : Les chercheurs génèrent 600 000 scénarios fictifs. Ils inventent des règles de « dérive » et de « diffusion » aléatoires (principalement des formules mathématiques simples comme des polynômes), simulent le jeu, puis « corrompent » délibérément les données. Ils ajoutent du bruit, rendent la vue floue et sautent des étapes temporelles.
La Leçon : Le détective (le modèle d'IA) est entraîné à observer ces journaux de jeux fictifs et désordonnés pour deviner immédiatement les règles cachées qui les ont créés. Il apprend à reconnaître des motifs au milieu du chaos.

2. Le « Superpouvoir Zero-Shot » (Apprentissage en contexte)

Une fois entraîné, le détective peut examiner un nouveau journal de jeu (données du monde réel) et deviner les règles immédiatement, sans avoir besoin d'étudier ce jeu spécifique pendant des heures.

L'analogie : Imaginez que vous avez vu des milliers de types différents de modèles météorologiques. Si quelqu'un vous montre une nouvelle photo légèrement floue d'une tempête, vous pouvez instantanément dire : « Ah, c'est un système de basse pression avec des vents forts », sans avoir besoin de lancer une nouvelle simulation informatique.
Le Résultat : L'article montre que le FIM-SDE peut examiner des données désordonnées provenant de choses comme les cours de bourse, les prix du pétol ou la vitesse du vent, et deviner les règles sous-jacentes presque aussi bien que des experts ayant passé des jours à analyser ces données spécifiques.

3. Le « Étude Rapide » (Affinage/Fine-tuning)

Parfois, la première intuition du détective est bonne, mais pas parfaite. Peut-être que le vrai jeu possède une particularité étrange que le camp d'entraînement n'avait pas couverte.

L'analogie : Au lieu de repartir de zéro, le détective a juste besoin d'un rapide cours de rappel.
Le Résultat : L'article affirme que le FIM-SDE peut s'adapter à un nouvel ensemble de données spécifique en seulement 100 étapes (itérations). D'autres méthodes pourraient avoir besoin de 5 000 étapes pour obtenir la même précision. C'est comme si le détective connaissait déjà la langue et avait juste besoin d'apprendre quelques nouveaux mots d'argot, alors que les autres essaient d'apprendre toute la langue en partant de zéro.

Qu'ont-ils testé ?

Les auteurs ont testé ce détective sur deux types de défis :

Problèmes de physique classiques : Des systèmes comme le « Double-Puits » (une balle roulant entre deux collines) et l'« Attracteur de Lorenz » (un célèbre modèle météo chaotique).
Données du monde réel : Les cours de bourse de Facebook et Tesla, les fluctuations des prix du pétrole et les enregistrements de la vitesse du vent.

Le Verdict

Sur les données désordonnées : Le FIM-SDE est beaucoup plus robuste que les anciennes méthodes. Lorsque les données sont bruitées ou éparses, les anciennes méthodes abandonnent souvent ou donnent de mauvaises réponses. Le FIM-SDE continue de fonctionner.
Sur la vitesse : Il est incroyablement rapide pour s'adapter. Il peut apprendre un nouveau système 50 fois plus vite que les précédentes méthodes d'apprentissage profond.
Sur la précision : Lorsqu'il bénéficie d'un rapide « affinage » sur les données spécifiques, il surpasse toutes les autres méthodes (y compris les mathématiques symboliques et les processus gausiens) en termes de précision.

Les Limites (Les petits caractères)

L'article est honnête sur ce que le détective ne peut pas encore faire :

Règles simples uniquement : Le détective a été entraîé sur des règles mathématiques relativement simples (polynômes). Si le monde réel utilise des règles mathématiques incroyablement complexes, le détective pourrait éprouver des difficultés.
Systèmes de petite taille : Il fonctionne mieux sur des systèmes comportant de 1 à 3 variables (comme une balle se déplaçant dans un espace 3D). Appliquer cela à des systèmes comportant des centaines de variables est actuellement trop difficile car la simulation du « camp d'entraînement » devient trop lente et sujette aux erreurs.

En résumé : Le FIM-SDE est une IA pré-entraînée qui apprend la « grammaire » du mouvement aléatoire à partir de millions de simulations. Il peut lire instantanément une histoire désordonnée du monde réel et deviner les règles, et si vous lui donnez un tout petit peu d'aide supplémentaire, il devient le meilleur pour deviner ces règles, plus vite que quiconque.

Résumé technique : Apprentissage en contexte d'équations différentielles stochastiques avec des modèles d'inférence de fondation

Énoncé du problème

Les équations différentielles stochastiques (SDE) modélisent des systèmes dynamiques où des flux déterministes (dérive) sont superposés à des fluctuations aléatoires (diffusion). Un défi central dans l'apprentissage automatique et la découverte scientifique est l'estimation ou la « découverte » précise des fonctions de dérive et de diffusion à partir de données de séries temporelles bruitées.

Les approches actuelles présentent des limitations significatives :

Régression symbolique : Repose fortement sur des dictionnaires prédéfinis de fonctions de base et nécessite souvent des données denses et propres.
Régression par processus gaussiens (GP) : Utilise des priors non paramétriques mais est sensible aux connaissances a priori et rencontre souvent des problèmes de convergence lorsque les données sont éparses ou bruitées, nécessitant fréquemment des approximations variationnelles.
Neural SDEs : Représentent la dérive et la diffusion via des réseaux de neurones, mais nécessitent généralement un entraînement coûteux impliquant la rétropropagation à travers des solveurs de SDE (souvent via des méthodes de sensibilité de l'adjoint), et doivent être réentraînés de zéro pour chaque nouveau système.

L'article identifie le besoin d'une méthode capable d'effectuer une estimation en contexte (zero-shot) des fonctions de SDE à partir de données bruitées, sans réentraînement extensif, tout en restant robuste face aux observations éparses et au bruit.

Méthodologie : FIM-SDE

Les auteurs introduisent FIM-SDE (Foundation Inference Model for SDEs), un modèle de reconnaissance neuronale pré-entraîné conçu pour mapper directement les trajectoires de SDE observées de manière discrète et bruitée vers leurs fonctions de dérive et de diffusion sous-jacentes. La méthodologie se compose de deux composantes principales :

1. Modèle de génération de données

Pour entraîner un modèle capable de généraliser à des systèmes inédits, les auteurs construisent un ensemble de données synthétiques basé sur un prior génératif $p_{prior}(f, G)$ .

Espace fonctionnel : Les fonctions de dérive sont échantillonnées à partir de polynômes de degré $\leq 3$ , et les fonctions de diffusion à partir de polynômes positifs de degré $\leq 2$ . Cela couvre un large éventail de modèles physiques, incluant les systèmes chaotiques.
Simulation et corruption : Les trajectoires de SDE sont simulées à l'aide du schéma d'Euler-Maruyama. Ces trajectoires sont ensuite « corrompues » pour imiter des données du monde réel :
- Bruit : Un bruit gaussien additif est appliqué.
- Échantillonnage irrégulier : Les trajectoires sont sous-échantillonnées pour créer des intervalles d'observation irréguliers ( $\Delta \tau$ ), qui peuvent être nettement plus grands que le pas de simulation ( $\Delta t$ ).
Données d'entraînement : Le jeu de données comprend des tuples de séries temporelles corrompues et leurs paires de dérive/diffusion de vérité terrain correspondantes.

2. Architecture du modèle de reconnaissance neuronale

FIM-SDE est une architecture basée sur les Transformers, inspirée des opérateurs neuronaux (spécifiquement les DeepONets) et de l'inférence amortie.

Représentation d'entrée : Le contexte d'entrée consiste en des tuples de transition $(y_i, \Delta y_i, \Delta y_i^2, \Delta \tau_i)$ dérivés des séries temporelles bruitées. L'inclusion de $\Delta y^2$ permet au réseau d'apprendre des canaux de caractéristiques distincts pour l'estimation de la dérive et de la diffusion.
Matrice de contexte : Un encodeur Transformer auto-attentif ( $\Psi$ ) traite les tuples de transition intégrés pour créer une « Matrice de Contexte ». Celle-ci agit comme l'équivalent de la branche « Branch-net » d'un DeepONet, encodant l'intégralité de l'historique d'observation.
Attention fonctionnelle : Pour estimer la dérive ou la diffusion à un emplacement de requête $x$ spécifique, le modèle utilise un mécanisme d'« Attention Fonctionnelle » (équivalent au « Trunk-net » d'un DeepONet). Ce mécanisme interroge la Matrice de Contexte en utilisant la localisation $x$ comme requête, pondérant dynamiquement les transitions en fonction de leur proximité spatiale avec $x$ .
Objectif d'entraînement : Le modèle est entraîné pour minimiser l'erreur quadratique moyenne (MSE) pondérée entre les fonctions estimées et la vérité terrain. Un estimateur d'incertitude apprenable $U_\theta$ est utilisé pour réduire la pondération des régions où le modèle est incertain (par exemple, les zones éparses ou hautement bruitées), évitant ainsi l'instabilité numérique.

3. Stratégie de fin de réglage (Finetuning)

Bien que FIM-SDE opère en mode zero-shot, il supporte un fin de réglage rapide :

Données denses : Le fin de réglage maximise la vraisemblance des transitions de court terme.
Données éparses : Le fin de réglage simule la SDE inférée sur les intervalles d'observation et minimise la divergence entre les états simulés et observés.
Cela permet au modèle de s'adapter à des jeux de données cibles spécifiques avec beaucoup moins d'itérations qu'un entraînement de Neural SDE à partir de zéro.

Contributions clés

Modèle de génération de données : Un nouveau modèle pour l'échantillonnage et la corruption de trajectoires de SDE restreintes à des dérives et diffusions polynomiales. Les auteurs démontrent empiriquement que ce modèle encode un prior fort, permettant une généralisation tant aux systèmes synthétiques in-distribution qu'aux données du monde réel.
Premier reconnaisseur neuronal en contexte : FIM-SDE est le premier modèle neuronal capable d'estimer les fonctions de dérive et de diffusion de SDE de faible dimension à partir de données bruitées de manière zero-shot.
Adaptation rapide : Le modèle peut être ajusté pour des processus cibles (denses et éparses) en convergeant jusqu'à 50 fois plus vite que les méthodes standard de Neural SDE, tout en les surpassant finalement en performance.

Résultats expérimentaux

Les auteurs ont évalué FIM-SDE sur huit systèmes SDE canoniques (ex: double puits, attracteur de Lorenz) et quatre jeux de données du monde réel (prix des actions Facebook/Tesla, prix du pétrole, vitesse du vent).

Performance Zero-Shot : Sur les systèmes canoniques avec des niveaux de bruit variables ( $\rho$ ) et des intervalles d'observation ( $\Delta \tau$ ), FIM-SDE a obtenu des performances robustes. Dans les contextes bruités ou éparses, il a systématiquement surpassé les bases de comparaison de régression symbolique (BISDE) et de processus gaussiens (SparseGP). Sur des données propres et denses, il a obtenu des performances comparables à ces bases. Notamment, FIM-SDE est resté stable là où les méthodes symboliques et GP produisaient fréquemment des estimations de SDE invalides ou échouaient à converger.
Données du monde réel : Sur les données boursières, la performance zero-shot de FIM-SDE a surpassé à la fois BISDE et LatentSDE. Sur les données de vent et de pétrole, bien que la performance zero-shot ait légèrement accusé un retard par rapport à BISDE, le fin de réglage de FIM-SDE a produit la meilleure performance globale sur tous les systèmes.
Efficacité : Lors du fin de réglage sur l'attracteur de Lorenz, FIM-SDE a surpassé la base de comparaison LatentSDE (entraînée pendant 5000 itérations) en moins de 100 itérations. Pour les jeux de données réels, FIM-SDE n'a nécessité que 100 itérations de fin de réglage contre 5000 pour LatentSDE, représentant une réduction de calcul de 50 $\times$ .

Signification et affirmations

L'article affirme que FIM-SDE fonctionne comme un véritable modèle de fondation pour la découverte de SDE. Sa signification réside dans :

Contournement des goulots d'étranglement de l'entraînement : Il élimine le besoin de pipelines d'entraînement coûteux et spécifiques au système, ainsi que la rétropropagation à travers des solveurs de SDE pour chaque nouveau jeu de données.
Robustesse : Il gère efficacement les données bruitées, éparses et échantillonnées de manière irrégulière sans nécessiter de régularisation variationnelle explicite entre les observations.
Automatisation scientifique : En fournissant une solution zero-shot capable d'une adaptation rapide, il offre une voie vers l'automatisation de la découverte scientifique dans des scénarios où les connaissances préalables sur la dynamique sont rares.

Les auteurs reconnaissent des limites, principalement le fait que le prior actuel est restreint à des dérives/diffusions polynomiales de bas degré et à des systèmes de faible dimension (en raison des taux de rejet élevés dans l'échantillonnage de haute dimension). Cependant, ils postulent que les biais inductifs forts appris de cette classe restreinte sont suffisants pour servir de puissante initialisation pour des applications réelles.