💻 computer science

Neural operator discovery from heterogeneous trajectories

Cet article introduit la découverte d'opérateurs neuronaux (Neural Operator Discovery, NOD), un cadre qui apprend des opérateurs de solution partagés et des variations spécifiques au système directement à partir de trajectoires hétérogènes sans facteurs directeurs étiquetés, permettant une généralisation interprétable et à l'état zéro grâce à une formulation de conditionnement latent factorisé.

Auteurs originaux : Sili Deng, Zituo Chen, Qiaofeng Li, Jiaxin Hu

Publié 2026-07-30

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sili Deng, Zituo Chen, Qiaofeng Li, Jiaxin Hu

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que vous n'ayez que les empreintes laissées derrière elles, et non les chaussures qui les ont tracées. Dans le monde de la physique et de l'ingénierie, les scientifiques disposent souvent de montagnes de données — des instantanés de la façon dont les choses se déplacent, s'écoulent ou changent au fil du temps, comme le sillage tourbillonnant derrière un bateau ou la façon dont la chaleur se propage dans une tige métallique. On appelle cela des « trajectoires ». Habituellement, pour prédire ce qui va se passer ensuite, les scientifiques ont besoin de connaître les « règles du jeu » exactes pour chaque situation spécifique : la viscosité du fluide, la forme de l'objet ou la température. C'est comme avoir besoin de connaître le poids exact d'une chaussure pour prédire la profondeur d'une empreinte. Mais dans le monde réel, nous n'avons souvent pas ces étiquettes. Nous n'avons que les empreintes désordonnées. Ce document s'attaque au défi consistant à apprendre les règles du jeu et les détails spécifiques de la chaussure, tout à la fois, simplement en regardant les empreintes.

Les auteurs, une équipe de l'MIT et de l'Université de Zhejiang, ont développé une nouvelle méthode appelée « Neural Operator Discovery » (NOD). Considérez cela comme un détective IA super intelligent qui ne se contente pas de mémoriser les empreintes, mais apprend à comprendre le style du marcheur. Ils ont découvert qu'en forçant leur IA à observer deux marches différentes faites par la même personne (mais partant de points différents), elle pouvait identifier le « style » unique de la personne (les règles cachées) sans jamais avoir été informée de l'identité de cette personne. Cela permet à l'IA de prédire les mouvements futurs avec une grande précision, même pour des personnes qu'elle n'a jamais rencontrées, et même dans des conditions extrêmes où les règles changent radicalement.

Le nouveau tour de passe-passe du détective

Habituellement, lorsque les scientifiques essaient de construire un modèle informatique pour prédire comment un système (comme un fluide ou une réaction chimique) va se comporter, ils se heurtent à un mur s'ils n'ont pas le « manuel d'instructions ». S'ils veulent prédire comment l'eau coule autour d'un cylindre, ils doivent connaître l'épaisseur de l'eau (la viscosité). Si ils n'ont pas ce chiffre, le modèle est aveugle.

Les tentatives précédentes pour corriger cela revenaient à essayer de deviner la pointure de la chaussure en regardant une seule empreinte. Certaines méthodes tentaient de mémoriser tout l'historique du mouvement (comme regarder les 10 derniers pas pour deviner le suivant), mais cela menait souvent le modèle à la confusion et à des erreurs aberrantes au fil du temps. D'autres tentaient de compresser les données dans un « code secret » caché, mais ce code était souvent désordonné et ne nous disait rien d'utile sur la physique.

L'équipe derrière ce papier, dirigée par Sili Deng et ses collègues, a décidé d'essayer une approche différente. Ils ont traité le problème comme un jeu de « trouver la différence » entre deux versions d'une même histoire.

Le jeu d'entraînement des « deux histoires »

Voici comment leur méthode, NODnet, fonctionne, en utilisant une analogie simple :

Imaginez que vous avez une bibliothèque de milliers d'histoires écrites par différents auteurs. Vous ne savez pas qui a écrit quelle histoire, et vous n'avez pas leurs noms. Vous avez juste le texte. Votre objectif est de construire une machine capable de terminer n'importe quelle histoire, peu importe l'auteur, et même d'écrire de nouvelles histoires pour des auteurs que vous n'avez jamais rencontrés.

Le tour de l'auteur a été de prendre deux chapitres différents du même auteur.

Le Chapitre A est utilisé pour comprendre la « voix » unique de l'auteur (son style, son vocabulaire et son ton).
Le Chapitre B est utilisé pour tester si la machine peut prédire ce qui se passe ensuite, en utilisant cette « voix » comme guide.

Crucialement, on dit à la machine : « Ces deux chapitres sont écrits par le même auteur, mais ils commencent à des points différents de l'intrigue. » Cela force la machine à ignorer les détails spécifiques de l'intrigue (comme « le héros était au château ») pour se concenter uniquement sur le style unique de l'auteur (les « facteurs directeurs »).

Dans le monde réel, cela signifie que l'IA observe une courte rafale de données provenant d'un écoulement de fluide (la « voix ») et utilise cela pour prédire le futur d'une autre rafale de données provenant de la même configuration de fluide. En faisant cela de manière répétée, l'IA apprend à éliminer le bruit des conditions de départ spécifiques pour isoler les « règles » pures qui régissent le système.

La magie de la « dimension cachée »

L'une des parties les plus ingénieuses de cette découverte est la façon dont l'IA détermine combien de règles cachées elle doit apprendre.

Imaginez que vous essayiez de décrire le style de marche d'une personne. Vous pourriez utiliser mille mots différents, mais peut-être n'en avez-vous besoin que de deux : « longueur de la foulée » et « allure ». Si vous utilisez trop de mots, vous commencez à décrire la couleur de ses chaussettes (des détails non pertinents). Si vous en utilisez trop peu, vous ne pouvez pas faire la différence entre un sprinteur et un promeneur.

Les chercheurs ont construit un système qui teste automatiquement différents nombres de « mots cachés » (appelés dimensions latentes). Ils ont découvert que pour l'équation de Burgers (un modèle pour les chocs de fluides), l'IA s'est naturellement stabilisée sur 1 dimension cachée. Pour le système de FitzHugh–Nagumo (un modèle pour les impulsions nerveuses), elle s'est stabilisée sur 2. Cela correspondait parfaitement au nombre réel de variables physiques changeant dans ces systèmes (la viscosité pour le premier, deux paramètres pour le second).

Cela suggère que l'IA ne fait pas que deviner ; elle découvre réellement le nombre minimal de règles nécessaires pour décrire le monde. C'est comme si l'IA disait : « Je n'ai pas besoin de connaître la couleur des chaussettes ; j'ai juste besoin de connaître la longueur de la foulée. »

Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)

L'équipe a testé cette idée sur trois systèmes physiques très différents :

L'équation de Burgers : Un modèle d'écoulement de fluide capable de créer des chocs soudains et tranchants (comme un bang supersonique). Ils l'ont testé avec différentes viscosités, y compris un cas de « viscosité nulle » où le fluide est parfaitement glissant.
Le sillage d'écoulement autour d'un cylindre : Comment l'air ou l'eau tourbillonne derrière un cylindre. C'était un test difficile car les données étaient « éparses » (seulement 16 exemples) et la forme était irrégulière.
Le système de FitzHugh–Nagмо : Un modèle de la façon dont les signaux électriques voyagent dans les nerfs, qui peut se comporter de manières complexes et oscillantes.

Dans les trois cas, le modèle NODnet a surpassé les anciennes méthodes.

Prédiction à long terme : Alors que d'autres modèles auraient dévié de leur trajectoire après quelques étapes (comme un GPS qui perd lentement le signal), le modèle NODnet est resté précis beaucoup plus longtemps. Par exemple, dans le test de Burgers, les anciens modèles « autorégressifs » (qui regardent simplement le passé) présentaient des erreurs énormes après 50 étapes, tandis que NODnet a gardé son sang-froid.
La magie du « Zero-Shot » : Le modèle pouvait même prédire ce qui arriverait pour un système qu'il n'avait jamais vu auparavant. Dans le test de l'impulsion nerveuse, ils ont entraîné l'IA sur un ensemble de règles spécifiques, puis lui ont demandé de prédire un tout nouvel ensemble de règles qu'elle n'avait jamais rencontrées. L'IA n'a pas seulement deviné ; elle a utilisé le « style » appris pour extrapoler correctement.
La limite « inviscid » : Dans le test de fluide, ils ont demandé à l'IA de prédire ce qui se passe lorsque le fluide a une viscosité de zéro (un état pour lequel elle n'a pas été explicitement entraînée). La « voix » interne de l'IA a changé de manière fluide et continue pour gérer ce cas extrême, montrant qu'elle comprenait réellement la physique, et pas seulement les mathématiques.

Les limites du détective

Les auteurs précisent avec prudence qu'il s'agit d'une découverte basée sur des simulations. Ils n'ont pas encore testé cela sur des données de capteurs réelles et bruyantes provenant d'une usine ou d'une rivière. Ils soulignent également que leur méthode fonctionne mieux lorsque les « règles » changent de manière fluide. Si le système passe soudainement d'un type de comportement à un autre complètement différent (comme l'eau se transformant en glace), la méthode actuelle pourrait éprouver des difficultés.

De plus, ils ont découvert que la façon dont l'IA est « enseignée » est cruciale. Si l'IA ne regarde qu'une étape à la fois (comme une seule image d'un film), elle échoue à apprendre les règles profondes. Elle doit voir l'image globale ou plusieurs étapes à l'avance pour comprendre la « voix » du système. Cela suggère que pour découvrir les lois de la nature à partir de données, nous devons regarder l'ensemble du tableau, et pas seulement l'étape suivante immédiate.

Pourquoi cela importe

Ce papier suggère une nouvelle façon de faire de la science. Au lieu d'avoir besoin d'un humain pour étiqueter chaque expérience avec ses paramètres, nous pourrions être capables de laisser l'IA passer au crible des données désordonnées et non étiquetées pour trouver les lois cachées pour nous. C'est une étape vers la découverte « auto-supervisée », où les machines apprennent les règles de l'univers simplement en le regardant jouer.

Bien que ce ne soit pas une baguette magique qui résolve tous les problèmes de physique aujourd'hui, cela offre une voie prometteuse. Cela montre que même sans manuel, si nous observons suffisamment de « empreintes » différentes et que nous les comparons de la bonne manière, nous pouvons apprendre à prédire l'avenir de systèmes complexes, de l'écoulement du sang dans nos veines aux modèles météorologiques dans notre atmosphère. L'IA ne fait pas que mémoriser ; elle apprend à penser comme un physicien.

Résumé technique : Découverte d'opérateurs neuronaux à partir de trajectoires hétérogènes

Formulation du problème

Dans de nombreuses sciences physiques, les données de trajectoire sont collectées à partir de familles de systèmes dynamiques qui partagent une loi directrice commune mais diffèrent par des facteurs spécifiques au système non observés (par exemple, paramètres physiques, géométries ou conditions aux limites). Les approches existantes de modélisation basées sur les données font face à des limitations significatives dans ce contexte :

Régression symbolique : Bien que capable de récupérer des équations sans étiquettes, elle est contrainte par des bibliothèques de primitives et est coûteuse en calcul pour la dynamique spatio-temporelle de haute dimension.
Opérateurs neuronaux paramétriques (PNO) : Ils nécessitent une supervision explicite des facteurs directeurs comme entrées, ce qui n'est pas disponible dans le cas de figure ciblé.
Opérateurs neuronaux autorégressifs (ANO) : Ils conditionnent les prédictions sur des fenêtres d'états passés sans représentations latentes explicites. Bien qu'ils évitent la supervision des paramètres, ils accumulent des erreurs de déroulement (rollout) et ne parviennent pas à fournir une représentation identifiable et de faible dimension de la variation du système.
Modèles conditionnés par un état latent : Les approches existantes font souvent un compromis entre expressivité, scalabilité ou interprétabilité, ou reposent sur des procédures de méta-apprentissage coûteuses.

Le défi central abordé par ce travail est la Découverte d'Opérateurs Neuronaux (NOD - Neural Operator Discovery) : apprendre à la fois un opérateur de solution partagé et la variation spécifique au système directement à partir de trajectoires hétérogènes, sans accès aux facteurs directeurs étiquetés.

Méthodologie : NODnet

Les auteurs proposent une réalisation factorisée, NODnet, qui décompose le problème en deux composantes :

Encodeur de trajectoire ( $f_\phi$ ) : Mappe une fenêtre d'état passé "conditionnante" d'une instance de système vers une représentation latente de faible dimension $c$ .
Opérateur d'évolution d'état ( $g_\theta$ ) : Un opérateur neuronal conditionnel qui prédit les états futurs en se basant sur un état initial et la représentation latente $c$ .

Pour garantir que la représentation latente capture uniquement la variation spécifique au système (facteurs directeurs) plutôt que les caractéristiques transitoires de la trajectoire, la méthode emploie trois contraintes clés :

1. Prédiction factorisée

Au lieu de prédire les états futurs directement à partir d'une fenêtre d'historique (comme dans l'ANO), le modèle factorise le processus :
$c = f_\phi(x'_{0:s}), \quad \hat{x}_{t+1} = g_\theta(x_t; c)$
L'encodeur infère $c$ à partir d'une trajectoire de conditionnement $x'_{0:s}$ , tandis que le décodeur prédit l'évolution d'une trajectoire distincte $x_{t:t+1}$ issue de la même instance de système.

2. Échantillonnage découplé de trajectoire

Pour empêcher l'encodeur de coder des informations spécifiques aux conditions initiales, l'entraînement associe l'encodeur et le décodeur en utilisant des paires de trajectoires générées à partir de différentes conditions initiales de la même instance de système. Cela force l'encodeur à ne conserver que les invariants inter-trajectoires (les facteurs directeurs) et à supprimer les caractéristiques spécifiques à la trajectoire.

3. Sélection de la dimension

La dimensionnalité de l'espace latent n'est pas fixée arbitrairement mais sélectionnée comme la plus petite valeur suffisante pour capturer la variation entre les instances de systèmes. Ceci est réalisé via une procédure en deux étapes :

Étape 1 : Identifier les dimensions candidates où l'augmentation de la dimensionnalité n'apporte plus d'amélioration significative de la perte au-delà de la variabilité de la graine aléatoire (random seed).
Étape 2 : Sélectionner la dimension finale $d^*$ comme la plus petite candidate pour laquelle le modèle $d+1$ correspondant ne produit pas de structure supplémentaire alignée sur les facteurs (évaluée via l'Analyse en Composantes Principales).

Contributions clés

Formulation de la NOD : Définition du problème consistant à apprendre des opérateurs partagés et des variations spécifiques au système sans supervision de paramètres.
Architecture factorisée : Introduction d'un cadre qui apprend conjointement un opérateur neuronal et une représentation latente de faible dimension grâce à la prédiction factorisée et à l'échantillonnage de trajectoire découplé.
Sélection automatique de la dimension : Une procédure pilotée par les données pour déterminer la dimension intrinsèque de la variation du système, correspondant au nombre de facteurs directeurs indépendants.
Modes de généralisation : Le cadre supporte deux modes d'inférence :
- Inférence en un coup (One-shot Inference) : Inférer la représentation latente à partir d'une seule trajectoire observée pour prédire des conditions initiales non vues.
- Inférence zero-shot : Échantillonner directement à partir de l'espace latent appris pour générer des prédictions pour des instances de systèmes entièrement nouvelles (facteurs non vus durant l'entraînement).

Résultats expérimentaux

La méthode a été évaluée sur trois familles d'équations aux dérivées partielles (EDP) :

1. Équation de Burgers (Viscosité variable)

Configuration : Système 1D avec viscosité cinématique $\nu$ variable, incluant la limite non visqueuse ( $\nu=0$ ).
Résultats : La procédure de sélection de dimension a correctement identifié $d^*=1$ . L'espace latent a présenté une correspondance lisse et monotone avec la viscosité, s'étendant continûment jusqu'au régime non visqueux.
Performance : Le modèle conditionné par un état latent (NODnet) a nettement surperformé les bases autorégressives (ANO) lors de déroulements à long horizon (50 étapes), maintenant une erreur bornée même dans la limite non visqueuse. Les variantes autorégressives n'ont pas réussi à distinguer les régimes de viscosité, s'effondrant vers une représentation latente constante.

2. Sillage de flux de cylindre (Maillage non structuré, données éparses)

Configuration : Écoulement de Navier-Stokes incompressible en 2D avec viscosité et vitesse d'entrée variables sur un maillage non structuré. Les données d'entraînement étaient éparses (16 trajectoires).
Résultats : Identification correcte de $d^*=1$ (viscosité). Le modèle a réussi à se généraliser à des vitesses d'entrée et des viscosités non vues en dehors de la plage d'entraînement.
Cohérence physique : Le modèle a récupéré le coefficient de traînée correct ( $C_D \approx 1.36$ ) et le nombre de Strouhal, alors que la base autorégressive présentait une dérive de fréquence et un comportement de traînée non physique.
Robustesse : Malgré une supervision éparse, le modèle est resté stable, utilisant l'échantillonnage de trajectoire découplé et la régularisation contrastive pour organiser l'espace latent.

3. Réaction-diffusion de FitzHugh–Nagumo (Multi-facteurs)

Configuration : Système 2D avec deux facteurs directeurs indépendants : le paramètre de stimulus $k$ et le taux de récupération $\beta$ .
Résultats : La sélection de dimension a identifié $d^*=2$ . L'espace latent a organisé les instances de système selon les paramètres $(k, \beta)$ avec une correspondance lisse et approximativement inversible (ajustement quadratique $R^2=0.9937$ ).
Généralisation : Le modèle a atteint une généralisation zero-shot à des combinaisons de paramètres en dehors de l'enveloppe d'entraînement (OOD-Extra).
Géométrie de la supervision : Un décodeur hiérarchique (supervisant plusieurs horizons temporels) a significativement amélioré la précision de la prédiction à long horizon par rapport aux décodeurs à étape unique, soulignant l'importance des signaux de supervision sensibles aux facteurs directeurs sur des temps étendus.

Signification et affirmations

L'article affirme établir un paradigme interprétable pour l'apprentissage d'opérateurs en l'absence de supervision explicite des facteurs. Les affirmations clés incluent :

Identifiabilité : Les espaces latents appris s'alignent systématiquement avec les facteurs directeurs sous-jacents, organisant les instances de système dans une structure lisse et approximativement inversible.
Prédiction supérieure à long horizon : Le conditionnement latent combiné à l'échantillonnage de trajectoire découplé surpasse les bases autorégressives et sans conditionnement lors de déroulements à long horizon, réduisant l'accumulation d'erreurs.
Extrapolation Zero-shot : La méthode permet de généraliser à des instances de systèmes précédemment non vues (facteurs) en échantillonnant directement à partir de l'espace latent appris, même pour des régimes comme la limite non visqueuse ou des combinaations de paramètres en dehors de l'enveloppe convexe d'entraînement.
Scalabilité : L'approche passe à l'échelle pour des systèmes spatio-temporels de haute dimension et des maillages non structurés sans nécessiter d'étiquettes de paramètres explicites.

Les auteurs notent des limites, notamment leur focalisation actuelle sur des facteurs variant continûment dans des espaces euclidiens de faible dimension, l'utilisation de données générées par simulation, et la nécessité de recherches supplémentaires sur les classes de systèmes discrètes, les dynamiques de bifurcation et la robustesse face au bruit expérimental. Ils précisent qu'une caractérisation théorique formelle des propriétés latentes apprises reste une question ouverte.