🤖 machine learning

Neural operator discovery from heterogeneous trajectories

Ce document introduit la Découverte d'Opérateurs Neuraux (NOD), un cadre qui apprend des opérateurs de solution partagés et des variations spécifiques aux systèmes directement à partir de trajectoires hétérogènes sans facteurs directeurs étiquetés, permettant ainsi des prédictions interprétables, généralisables et stables sur de longs horizons à travers divers systèmes dynamiques.

Auteurs originaux : Zituo Chen, Qiaofeng Li, Jiaxin Hu, Sili Deng

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zituo Chen, Qiaofeng Li, Jiaxin Hu, Sili Deng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez un millier de vidéos différentes d'eau en mouvement. Certaines vidéos montrent de l'eau s'écoulant rapidement dans un tuyau étroit, d'autres dans une rivière large, et d'autres encore montrent de l'eau frappant un rocher. Dans chaque vidéo, l'eau suit les mêmes règles fondamentales de la physique — elle tourbillonne, accélère et ralentit. Mais dans le monde réel, les scientifiques n'ont souvent pas une étiquette sur chaque vidéo indiquant exactement la largeur du tuyau ou la taille du rocher. Ils ont seulement les images brutes et mouvantes. Pendant longtemps, les ordinateurs essayant de prédire ce qui se passe ensuite dans ces vidéos devaient se voir dire la « recette secrète » (comme la largeur exacte du tuyau) avant de pouvoir deviner le futur. Si ce secret manquait, les ordinateurs devenaient confus, ou tentaient de mémoriser toute la vidéo image par image, ce qui est lent et sujet à des erreurs au fil du temps. Ce document s'attaque au problème d'apprendre à un ordinateur à comprendre les règles de l'écoulement et à découvrir la recette secrète simplement en regardant l'eau bouger, sans que personne ne lui indique jamais quelle est cette recette.

Les chercheurs, dirigés par Zituo Chen et Sili Deng, ont développé une nouvelle méthode appelée Neural Operator Discovery (NOD). Considérez cela comme l'apprentissage pour un ordinateur comment devenir un détective. Au lieu de simplement mémoriser le chemin de l'eau, l'ordinateur apprend à séparer les « lois universelles » de l'eau des « détails spécifiques » de chaque scène. Ils ont construit un système avec deux parties : un « décodeur » qui sait prédire le futur de l'eau en fonction des règles, et un « encodeur » qui agit comme le carnet de notes d'un détective. L'encodeur observe un court clip de l'eau et écrit une petite note secrète (une « représentation latente ») qui capture uniquement les détails spécifiques de cette scène, comme la taille du tuyau.

Le tour de magie ici réside dans la façon dont ils entraînent le détective. Ils ne se contentent pas de montrer à l'ordinateur une vidéo de l'eau circulant dans un tuyau, puis de lui demander de prédire le futur ; ils utilisent une technique appelée échantillonnage découplé de trajectoire (trajectory-decoupled sampling). Imaginez montrer à l'ordinateur une vidéo de l'eau circulant dans un tuyau, mais lui demander ensuite de prédire le futur d'une autre vidéo d'eau circulant dans ce même tuyau, en partant d'un endroit différent. Comme le tuyau est le même mais que le point de départ est différent, l'ordinateur réalise que la note « taille du tuyau » dans son carnet doit être la même pour les deux, tandis que le « point de départ » change. Cela force l'ordinateur à ignorer les détails temporaires et désordonnés du début pour se concentrer uniquement sur les facteurs cachés et permanents qui définissent le système.

L'équipe a testé cette idée sur trois types de problèmes physiques très différents :

L'équation de Burgers : Un modèle de la formation des ondes de choc dans les fluides. L'équipe a constaté que l'ordinateur pouvait réussir à apprendre qu'il n'y avait qu'un seul facteur caché (la viscosité) changeant d'une vidéo à l'autre. Même lorsqu'ils ont demandé à l'ordinateur de prédire ce qui se passerait si le fluide avait une viscosité nulle (un état qu'il n'avait jamais vu auparavant), le « carnet » de l'ordinateur s'est étendu de manière fluide pour gérer cela, prédisant les ondes de choc avec précision.
Sillage d'écoulement autour d'un cylindre : Cela simule le vent soufflant devant un cylindre, comme un mât de drapeau. Les données ici étaient désordonnées et provenaient d'une forme irrégulière. L'ordinateur a appris à repérer que, malgré la complexité, l'écoulement était réellement piloté par un seul facteur principal (la viscosité). Il pouvait prédire les tourbillons de sillage derrière le cylindre pour 50 étapes dans le futur sans dériver de sa trajectoire, là où d'autres méthodes ont échoué.
Système de FitzHugh–Nagumo : Ce système modélise la façon dont les signaux électriques voyagent dans les nerfs. Ici, le système était piloté par deux facteurs cachés. L'ordinateur a réussi à comprendre qu'il avait besoin d'un « carnet » en deux dimensions pour capturer la variation. Il a ensuite pu prédire les signaux nerveux pour de nouvelles combinaisons de ces facteurs, même si ces combinaisons se situaient en dehors de la plage sur laquelle il avait été entraîné.

Les résultats suggèrent que cette approche est un moyen puissant d'apprendre à partir de données désordonnées et non étiquetées. L'ordinateur n'a pas seulement mémorisé ; il a organisé les différents systèmes en une carte logique et fluide où les systèmes similaires sont proches les uns des autres. Cela a permis à l'ordinateur de faire des prédictions « zero-shot » — deviner le comportement d'un système totalement nouveau simplement en échantillonnant un point sur cette carte, sans avoir jamais vu de vidéo de ce système spécifique auparavant. Bien que le papier démontre ces résultats à travers des simulations informatiques, il indique que cette méthode pourrait changer la donne pour la compréhension de systèmes physiques complexes où les paramètres sous-jacents sont inconnus ou impossibles à mesurer, offrant un moyen d'apprendre les « règles du jeu » directement à partir des mouvements des joueurs.

Résumé technique : Découverte d'opérateurs neuronaux à partir de trajectoires hétérogènes

Énoncé du problème

Dans les sciences physiques, les données de trajectoire sont fréquemment collectées à partir de systèmes qui partagent une loi de régissement commune mais diffèrent par des facteurs spécifiques au système non observés (par exemple, paramètres physiques, géométries, conditions aux limites). Dans de nombreux ensembles de données expérimentales et de simulations héritées, ces facteurs distinctifs ne sont pas enregistrés ou sont impossibles à mesurer. Par conséquent, les données consistent en des trajectoires hétérogènes générées par de multiples configurations sous-jacentes sans étiquettes explicites pour les variables pilotant leur variation.

Le défi central consiste à apprendre des modèles prédictifs capables de capturer à la fois la dynamique partagée d'une famille de systèmes et les différences entre des instances de systèmes spécifiques, directement à partir de ces trajectoires non étiquetées. Les approches existantes font face à des limitations :

Régression symbolique : Contrainte par des bibliothèques de primitives et coûteuse en calcul pour la dynamique spatio-temporelle de haute dimension.
Opérateurs neuronaux paramétriques (PNO) : Nécessitent des entrées de facteurs explicites, qui sont indisponibles dans ce contexte.
Opérateurs neuronaux autorégressifs (ANO) : Se conditionnent sur des fenêtres d'états passés, ce qui conduit à des représentations de haute dimension et non structurées qui accumulent des erreurs de déroulement et échouent à identifier la variation spécifique au système.
Modèles conditionnés par un espace latent : Sacrifient souvent l'expressivité, la scalabilité ou l'interprétabilité, ou reposent sur des adaptations de méta-apprentissage coûteuses.

Méthodologie : Découverte d'opérateurs neuronaux (NOD)

Les auteurs formulent la Découverte d'Opérateurs Neuronaux (NOD) comme le problème consistant à apprendre un opérateur de solution partagé et une variation spécifique au système directement à partir de trajectoires hétérogènes sans supervision de paramètres. Le cadre proposé, NODnet, emploie une réalisation factorisée composée de deux composants :

Encodeur de trajectoire ( $f_\phi$ ) : Mappe une fenêtre d'état passé (trajectoire de conditionnement) d'une instance de système vers une représentation latente de faible dimension $c$ .
Opérateur d'évolution d'état ( $g_\theta$ ) : Un opérateur neuronal conditionnel qui prédit les états futurs en se basant sur un état initial et la représentation latente $c$ .

Pour garantir que la représentation latente capture les facteurs de régissement plutôt que les caractéristiques transitoires de la trajectoire, NODnet intègre trois mécanismes clés :

1. Prédiction factorisée

Au lieu de prédire directement les états futurs à partir d'une fenêtre d'états passés (comme dans l'ANO), le modèle factorise le processus :
$c = f_\phi(x'_{0:s}), \quad \hat{x}_{t+1} = g_\theta(x_t; c)$
L'encodeur infère un $c$ latent à partir d'une trajectoire de conditionnement, tandis que le décodeur prédit l'évolution d'une trajectoire distincte provenant de la même instance de système.

2. Échantillonnage découplé de la trajectoire (TDS)

Pour empêcher la représentation latente de coder des informations spécifiques aux conditions initiales, l'encodeur et le décodeur sont entraînés en utilisant des trajectoires générées à partir de différentes conditions initiales de la même instance de système.

L'encodeur infère $c$ à partir d'une trajectoire de conditionnement $x'_{0:s}$ .
Le décodeur prédit l'évolution d'une trajectoire distincte $x_{t:t+1}$ du même système.
Cette contrainte encourage l'encodeur à ne retenir que les invariants inter-trajectoires (les facteurs de régissement) et à supprimer les caractéristiques transitoires.

3. Sélection de la dimension

La dimension latente $d$ est sélectionnée comme la plus petite valeur suffisante pour expliquer les différences entre les instances de systèmes. Ceci est réalisé via une procédure en deux étapes :

Étape 1 : Identifier les dimensions candidates où l'augmentation de $d$ n'apporte plus d'amélioration significative de la perte d'entraînement au-delà de la variabilité de la graine aléatoire (random seed).
Étape 2 : Sélectionner la dimension finale $d^*$ comme la plus petite dimension candidate où le modèle $(d+1)$ ne produit pas de structure supplémentaire alignée sur les facteurs (évaluée via une Analyse en Composantes Principales des moyennes latentes par instance).

Contributions clés

Formulation de la NOD : Une nouvelle formulation de problème pour l'apprentissage d'opérateurs partagés et de variations spécifiques au système sans facteurs de régissement étiquetés.
Conditionnement latent factorisé : Une architecture novatrice qui découple l'encodage de la trajectoire de l'évolution de l'état, permettant la découverte d'espaces latents de faible dimension et interprétables.
Échantillonnage découplé de la trajectoire (TDS) : Une stratégie d'entraînement qui impose l'extraction d'invariants au niveau du système en associant des trajectoires de conditionnement et de prédiction avec des conditions initiales différentes.
Mesure de la dimension basée sur les données : Une procédure systématique pour déterminer automatiquement la dimension intrinsèque de la variation du système, correspondant au nombre de facteurs de régissement indépendants sans connaissance préalable.

Résultats

La méthode a été validée sur trois familles d'équations aux dérivées partielles (EDP) et quatre études de cas supplémentaires dans l'information complémentaire :

Équation de Burgers (Viscosité variable) :
- Résultat : Le modèle a correctement identifié une dimension latente $d^*=1$ , correspondant au facteur unique variant (viscosité $\nu$ ).
- Performance : A obtenu des prédictions précises sur de longs horizons et a réussi à extrapoler vers la limite non visqueuse ( $\nu=0$ ), un régime singulier où les méthodes numériques classiques peinent souvent. L'espace latent appris présentait une correspondance lisse et monotone avec la viscosité.
- Comparaison : A surpassé les bases de référence autorégressives (ANO) et les bases à système unique (SNO), particulièrement lors de déroulements à long horizon où l'ANO accumulait une dérive significative.
Sillage d'écoulement autour d'un cylindre (Maillage non structuré) :
- Résultat : A identifié $d^*=1$ malgré le fait que le système soit paramétré par la viscosité et la vitesse d'entrée, car les dynamiques dans le régime de nombre de Reynolds testé sont régies par un groupe adimensionnel unique ($Re$).
- Performance : A démontré une robustesse sous supervision parcellaire (entraîné sur seulement 16 trajectoires) et une généralisation à des viscosités et vitesses d'entrée non vues.
- Cohérence physique : A récupéré les coefficients de traînée et les nombres de Strouhal corrects, alors que les bases de référence autorégressives présentaient une dérive de fréquence et un comportement de traînée non physique.
Système de réaction-diffusion de FitzHugh–Nagumo :
- Résultat : A correctement identifié $d^*=2$ , correspondant aux deux facteurs de régissement indépendants ( $k, \beta$ ).
- Généralisation : A démontré à la fois l'inférence en un coup (one-shot) (inférer $c$ à partir d'une seule trajectoire) et l'inférence zero-shot (échantillonner $c$ directement de l'espace latent appris). L'espace latent a organisé les instances de systèmes dans une structure lisse et approximativement inversible alignée avec l'espace des paramètres réel, permettant l'extrapolation au-delà de l'enveloppe d'entraînement.
- Géométrie de la supervision : A montré que les décodeurs hiérarchiques (supervisant plusieurs horizons temporels) produisaient des représentations latentes plus structurées et des déroulements plus stables par rapport aux décodeurs autorégressifs à étape unique.

Signification et affirmations

L'article établit un paradigme interprétable pour l'apprentissage d'opérateurs en l'absence de supervision explicite des facteurs. Les auteurs affirment que :

Identifiabilité : Les espaces latents appris s'alignent systématiquement avec les facteurs de régissement sous-jacents, présentant des structures lisses et approximativement inversibles (diffeomorphismes) avec l'espace des facteurs réels, malgré un apprentissage sans étiquettes de paramètres.
Généralisation : La méthode permet la généralisation à des instances de systèmes auparavant non vues, incluant l'extrapolation zero-shot à travers des régimes (ex: limites non visqueuses) et une prédiction stable sur de longs horizons.
Efficacité : En restreignant la dimension latente à la taille minimale nécessaire, le modèle évite le "relâchement structurel" qui conduit à l'accumulation d'erreurs dans les espaces latents de haute dimension.
Complémentarité : La NOD offre une alternative scalable à la régression symbolique pour les systèmes complexes de haute dimension où les équations sous forme close sont difficiles à récupérer, et une alternative plus structurée aux modèles de fondation autorégressifs pour les systèmes avec des paramètres non observés.

Les auteurs notent des limitations, notamment l'accent actuel mis sur les facteurs variant continûment dans des espaces euclidiens de faible dimension, l'utilisation de données générées par simulation, et la nécessité de recherches plus approfondies sur les classes de systèmes discrets, les dynamiques de bifurcation et la robustesse au bruit expérimental.