🤖 machine learning

Factorized Neural Operators Decompose Dynamic and Persistent Responses

Cet article introduit les Factorized Neural Operators (FaNO), un cadre unifié qui décompose les représentations spectrales en des branches dynamiques équivariantes et persistantes invariantes afin de mieux capturer les mécanismes physiques hétérogènes, améliorant ainsi la précision, l'efficacité et la généralisation à travers les échelles et les domaines par rapport aux opérateurs neuronaux traditionnels à biais unique.

Auteurs originaux : Hao Tang, Yuechen Duan, Jiongyu Zhu, Zimeng Feng, Hao Li, Chao Li

Publié 2026-06-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hao Tang, Yuechen Duan, Jiongyu Zhu, Zimeng Feng, Hao Li, Chao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la météo ou la façon dont l'eau s'écoule autour d'un rocher. Ces systèmes sont désordonnés. Ils présentent deux choses très différentes se produisant simultanément :

L'aspect rapide : Des vagues changeant rapidement, des vents tourbillonnants et des poussées d'énergie soudaines. Ils changent chaque seconde et dépendent fortement de ce qui s'est passé un instant auparavant.
L'aspect lent : Les grands motifs stables. Pensez à la forme permanente d'un littoral, à la direction générale d'une rivière, ou à la façon dont un bâtiment bloque le vent. Ils ne changent pas beaucoup, peu importe la force du vent qui les entoure.

Le problème des anciens modèles

Pendant longtemps, les informaticiens ont essayé d'apprendre à l'IA à prédire ces systèmes en utilisant une approche « taille unique ». Ils construisaient un seul réseau de neurones (un type de cerveau d'IA) pour tout apprendre en même temps.

L'article soutient que cela revient à essayer d'écouter un solo de jazz effréné et un battement de tambour lent et régulier avec la même oreille. L'IA s'embrouille. Elle essaie de forcer les changements rapides et les structures lentes dans la même boîte. Cela rend l'IA moins précise, surtout lorsque vous lui demandez de prédire l'avenir lointain ou lorsque les données diffèrent légèrement de celles sur lesquelles elle a été entraînée.

La nouvelle solution : FaNO (L'approche du « cerveau divisé »)

Les auteurs introduisent une nouvelle méthode appelée Factorized Neural Operators (FaNO). Au lieu d'un seul gros cerveau essayant de tout faire, ils divisent l'IA en deux branches spécialisées qui travaillent ensemble, inspirées par un concept mathématique classique appelé Fonction de Green (qui est essentiellement une recette de la manière dont un système réagit à une impulsion).

Considérez FaNO comme une équipe de deux personnes :

Le « Danseur » (Branche dynamique) : Cette partie de l'IA est entraînée pour observer l'aspect rapide. C'est comme un danseur qui réagit instantanément à la musique, capturant les vortex tourbillonnants et les vagues rapides. Elle est très sensible aux changements et aux mouvements.
L'« Architecte » (Branche persistante) : Cette partie de l'IA est entraînée pour observer l'aspect lent. C'est comme un architecte qui connaît le plan du bâtiment. Il se souvient de la forme du lit de la rivière ou de l'obstacle dans l'eau. Il ne se soucie pas des rafales de vent momentanées ; il ne s'intéresse qu'à la structure permanente qui reste constante.

Comment ils travaillent ensemble

Dans les anciens modèles, le « Danseur » et l'« Architecte » étaient fusionnés, ce qui causait de la confusion. Dans FaNO, ils travaillent côte à côte :

L'Architecte pose les fondations stables (les structures persistantes).
Le Danseur ajoute les détails rapides et mobiles sur cette fondation.
La prédiction finale est un mélange parfait de la carte stable et de la danse en mouvement.

Pourquoi cela importe (Les résultats)

L'article a testé ce nouveau modèle d'équipe au « cerveau divisé » contre les anciens modèles à « un seul cerveau » dans plusieurs scénarios du monde réel :

Prévisions météorologiques : Lors de la prédiction de la météo plusieurs jours à l'avance, les anciens modèles commençaient à avoir des « hallucinations » (inventer de fausses tempêtes ou des motifs de vent). FaNO est resté précis beaucoup plus longtemps car l'« Architecte » maintenait la vue d'ensemble stable tandis que le « Danseur » gérait les changements quotidiens.
Dynamique des fluides : Lors de la simulation de l'écoulement de l'eau autour d'un cylindre, les anciens modèles finissaient par perdre la trace des tourbillons d'eau derrière l'objet. FaNO a maintenu les tourbillons organisés et précis beaucoup plus longtemps.
Résolution croisée : Si vous entraîniez l'IA sur une carte de faible qualité et que vous lui demandiez de prédire sur une carte de haute qualité, les anciens modèles échouaient. FaNO gérait bien mieux ce changement car il comprenait la différence entre la forme du monde (Architecte) et le mouvement à l'intérieur de celui-ci (Danseur).

L'essentiel

L'article affirme qu'en réalisant que les systèmes physiques sont composés à la fois de dynamiques changeant rapidement et de structures lentes et persistantes, nous pouvons construire une meilleure IA. Au lieu de forcer un seul modèle à tout faire, FaNO divise le travail. Cela rend l'IA plus précise, utilise moins de ressources informatiques et la rend beaucoup plus fiable lors de la prédiction de systèmes physiques complexes comme la météo, les courants océaniques ou l'écoulement des fluides.

Il ne s'agit pas de rendre l'IA « plus intelligente » de manière générale ; il s'agit de lui donner les bons outils pour la bonne tâche, tout comme on n'utiliserait pas un marteau pour visser une ampoule.

Résumé technique : Les opérateurs neuronaux factorisés décomposent les réponses dynamiques et persistantes

1. Énoncé du problème

Les systèmes physiques, allant des flux géophysiques à la turbulence en ingénierie, présentent souvent des mécanismes hétérogènes où des dynamiques à évolution rapide coexistent avec des structures persistantes induites par la géométrie, les conditions aux limites et les milieux hétérogènes. Les opérateurs neuronaux existants, particulièrement les approches basées sur le spectre (ex. FNO, SFNO), reposent généralement sur un biais inductif unique dominant (souvent l'équivariance). Cette formulation couple des réponses physiques distinctes dans une représentation partagée, forçant le modèle à rendre compte simultanément de dynamiques sensibles aux transformations et de structures stables aux transformations.

Les auteurs soutiennent que ce couplage limite l'interprétabilité, amplifie les erreurs autoregressives lors des déploiements à long horizon et affaiblit la généralisation entre les résolutions. Le défi central est de savoir si les opérateurs physiques doivent être appris comme une réponse unique ou s'ils doivent être factorisés en composantes spécifiques aux mécanismes pour mieux refléter l'organisation hétérogène des systèmes physiques.

2. Méthodologie : Cadre unifié de la fonction de Green et FaNO

2.1 Cadre unifié de la fonction de Green

Les auteurs proposent une réinterprétation de la fonction de Green classique non pas simplement comme un noyau analytique à récupérer, mais comme un principe de conception pour des systèmes d'opérateurs natifs à la géométrie. Ils formulent un cadre unifié où la solution d'un système physique est représentée comme une réponse intégrale. Dans ce cadre, ils distinguent deux types de noyaux selon leur dépendance :

Noyaux dépendant de la position relative ( $G(T^{-1}u)$ ) : Ils conduisent naturellement à des réponses équivariantes (dynamiques), capturant les dynamiques sensibles aux transformations.
Noyaux dépendant de la position absolue ( $G(u)$ ) : Ils représentent des réponses invariantes (persistantes), capturant des structures stables aux transformations, telles que celles induites par des frontières fixes ou une géométrie globale.

2.2 Opérateurs neuronaux factorisés (FaNO)

Sur la base de ce cadre, les auteurs introduisent FaNO, une architecture spectrale qui décompose l'opérateur en deux branches spécialisées :

Branche Dynamique (Équivariante) : Modélisée à l'aide d'un noyau apprenable $G^E_\theta$ dépendant des positions relatives (ou transformations de groupe $T$ ). Cette branche capture les dynamiques transitoires, rapides et dépendantes de l'état. Elle utilise des transformées spectrales standards (Fourier pour les grilles euclidiennes, Harmoniques Sphériques pour les sphères, base propre de Laplace-Beltrami pour les variétés).
- Formulation : $g^E(u) = \mathcal{F}^{-1}[G^E_\theta \cdot \mathcal{F}[f]]$
Branche Persistante (Invariante) : Modélisée à l'aide d'un noyau apprenable $G^I_\theta$ dépendant des positions absolues. Cette branche extrait des structures cohérentes, dépendantes du système, qui restent stables à travers les échelles. Elle est pilotée par l'information intégrale sensible à la géométrie ( $C_f$ ) de la fonction d'entrée.
- Formulation : $g^I(u) = \mathcal{F}^{-1}[C_f \cdot G^I_\theta]$
Fusion : Les sorties des deux branches sont concaténées et transmises à une couche linéaire ( $w_1$ ) pour l'interaction entre canaux :
- $g(u) = \mathcal{F}^{-1}[\text{Concat}(\mathcal{F}[f] \cdot G^E_\theta, C_f \cdot G^I_\theta)] \cdot w_1$

Cette conception permet au modèle de préserver l'invariance de grille et l'efficacité des opérateurs spectraux tout en permettant une spécialisation explicite. L'architecture est applicable aux grilles euclidiennes, aux domaines sphériques et aux variétés non structurées.

3. Contributions clés

Changement conceptuel : Propose de passer au-delà des formulations à biais inductif unique vers des représentations d'opérateurs factorisées qui séparent explicitement les réponses physiques dynamiques et persistantes.
Cadre unifié : Introduit un cadre unifié de la fonction de Green qui généralise la conception d'opérateurs à travers différents domaines géométriques (euclidiens, sphériques, variétés) en distinguant les structures de noyaux équivariantes et invariantes.
Spécialisation spontanée : Démontre que les deux branches de FaNO se spécialisent spontanément en rôles physiques distincts sans supervision explicite : la branche dynamique suit les changements transitoires, tandis que la branche invariante ancre l'organisation spatiale stable.
Généralisabilité : Montre que cette factorisation améliore les performances non seulement en dynamique des fluides, mais aussi dans les systèmes physiques indépendants du temps (Darcy, Helmholtz) et les tâches d'apprentissage géométrique (classification, segmentation).

4. Résultats expérimentaux

Les auteurs ont évalué FaNO par rapport aux lignes de base à branche unique (SFNO, FNO, NORM) et aux modèles de pointe à travers divers contextes :

Spécialisation des mécanismes : Dans la prévision autorégressive pour les équations de l'eau peu profonde (SWE), de Navier-Stokes (NS) et l'écoulement de cylindre (Cylinder Flow), la branche dynamique a capturé les variations de haute amplitude dépendantes de l'échantillon, tandis que la branche persistante a encodé les structures cohérentes de faible amplitude et de grande échelle (ex. géopotentiel polaire, sillages induits par la géométrie).
Modélisation géophysique multi-échelle (SWE) : FaNO a obtenu l'erreur relative moyenne (MRE) la plus faible à travers les échelles temporelles et spatiales. Crucialement, lors de l'extrapolation de résolution croisée (entraînement sur grilles grossières, test sur grilles fines), FaNO a maintenu des erreurs stables inférieures à $2,5 \times 10^{-3}$ , alors que le SFNO à branche unique se dégradait significativement (erreurs approchant ou dépassant $10^{-2}$ ).
Prévision météorologique réelle (WeatherBench) : Sur le jeu de données ERA5, FaNO a atteint le coefficient de corrélation d'anomalie (ACC) le plus élevé pour les prévisions à moyen et long terme (3 et 5 jours) en utilisant seulement 2,7M de paramètres. Il a préservé les structures de flux planétaires cohérentes aux horizons de 120 heures là où d'autres méthodes accumulaient des distorsions structurelles.
Dynamique des fluides et contraintes géométriques :
- Navier-Stokes : FaNO a réduit les erreurs de déploiement en maintenant une organisation de vortex cohérente lors des transferts de viscosité et de résolution, utilisant 45,8 % de paramètres en moins que FNO.
- CylinderFlow (Maillage non structuré) : Dans les déploiements autorégressifs à long horizon, FaNO a réduit l'erreur quadratique moyenne (MSE) par étape d'environ 28,8 % par rapport à NORM, empêchant l'accumulation de distorsions dans le sillage en aval.
Au-delà de la physique dépendante du temps : FaNO a surpassé les lignes de base sur les équations de Darcy et de Helmholtz indépendantes du temps, ainsi que sur des tâches géométriques comme la classification MNIST sphérique et la segmentation de surface, démontrant que le principe de factorisation aide à séparer la structure globale stable des variations locales d'entrée.

5. Signification et affirmations

L'article affirme que la modélisation physique scalable bénéficie du passage au-delà des formulations à biais inductif unique. En décomposant les réponses des opérateurs en composantes dynamiques et persistantes complémentaires, FaNO fournit un biais inductif plus adapté pour les systèmes physiques hétérogènes.

Les implications clés soulignées par les auteurs incluent :

Amélioration de la robustesse : Le mécanisme factorisé améliore la généralisation à travers les échelles, les domaines et les régimes physiques, particulièrement lors des déploiements autorégressifs à long horizon et de l'extrapolation de résolution croisée.
Interprétabilité : La spécialisation spontanée des branches offre un modèle plus interprétable des systèmes physiques, alignant l'architecture avec l'organisation hétérogène de la physique sous-jacente.
Efficacité : Ces améliorations sont obtenues grâce à des modifications architecturales contrôlées plutôt que par l'augmentation de la capacité du modèle, résultant souvent en moins de paramètres que les modèles comparables à branche unique.

Les auteurs concluent que ce travail représente une étape vers des fondations plus interprétables, robustes et généralisables pour le calcul scientifique, suggérant que le futur apprentissage automatique informé par la physique devrait considérer des représentations factorisées qui reflètent les mécanismes distincts régissant les systèmes physiques.