A Multimodal Vision Transformer-based Modeling Framework for Prediction of Fluid Flows in Energy Systems

Cet article présente un cadre de modélisation basé sur une hiérarchie de Vision Transformer (SwinV2-UNet) capable de prédire avec précision l'évolution des écoulements fluides complexes dans les systèmes énergétiques et de reconstruire des champs manquants à partir de données multimodales issues de simulations CFD multi-fidélités.

L'essentiel

Imaginez que vous essayez de prédire exactement comment un nuage de gaz va se déplacer dans un moteur, comme un jet d'argon injecté dans de l'azote. C'est un peu comme essayer de deviner comment une goutte d'encre va se disperser dans un verre d'eau, mais à une vitesse folle et avec des lois de la physique très complexes.

Traditionnellement, pour faire ces prédictions, les ingénieurs utilisent des super-ordinateurs pour simuler chaque molécule. C'est comme essayer de dessiner chaque brin d'herbe d'un champ entier à la main : c'est précis, mais cela prend des années et coûte une fortune en énergie.

Voici ce que cette équipe de chercheurs a inventé pour résoudre ce problème :

1. Le "Super-Cerveau" qui voit tout (Le Transformer)

Les chercheurs ont créé un modèle d'intelligence artificielle basé sur une architecture appelée Vision Transformer. Pour faire simple, imaginez que ce modèle est un artiste très talentueux qui a vu des millions de films de gaz en mouvement.

Au lieu de calculer chaque molécule, ce "cerveau" apprend à reconnaître les patterns (les motifs). Il a été entraîné sur une bibliothèque de simulations très variées :

• Des simulations "grossières" (comme un dessin au crayon) et "fines" (comme une photo 4K).
• Avec différentes règles de physique (comme si le gaz était un gaz parfait ou un gaz réel).
• Avec différents types de turbulence.

C'est un peu comme si vous appreniez à conduire en regardant des vidéos de conduite sous la pluie, dans le brouillard, sur la neige et sur route sèche. Une fois formé, vous savez conduire dans n'importe quelle situation, même celle que vous n'avez jamais vue exactement.

2. Les deux super-pouvoirs du modèle

Ce modèle a deux missions principales, comme un détective et un voyant :

A. Le "Voyant" (Prédiction dans le temps)

Imaginez que vous regardez une vidéo de l'injection de gaz à l'instant T. Le modèle peut prédire ce qui va se passer à l'instant T+1, puis T+2, et ainsi de suite, sans avoir besoin de recalculer toute la physique à chaque fois.

• L'analogie : C'est comme regarder les premières secondes d'un match de football et pouvoir prédire où ira le ballon dans les 10 prochaines secondes, juste en ayant vu des milliers de matchs avant.
• Le résultat : Le modèle est excellent pour prédire le mouvement global (où va le nuage), mais il a parfois du mal avec les détails très fins (comme les petits tourbillons invisibles), un peu comme un peintre qui capture parfaitement la forme d'un arbre mais laisse les feuilles un peu floues.

B. Le "Détective" (Transformation de données)

Parfois, on ne voit qu'une partie du puzzle. Par exemple, on a une photo de la densité du gaz (une image en noir et blanc) mais on veut connaître la vitesse du vent (les flèches qui montrent le mouvement). Ou alors, on a une vue de côté, mais on veut voir une vue de dessus.

• L'analogie : C'est comme si vous aviez une photo en noir et blanc d'un objet et que le modèle pouvait deviner sa couleur et sa forme en 3D. Ou comme si vous regardiez un film en noir et blanc et que l'IA vous racontait la bande-son manquante.
• Le résultat : Le modèle réussit très bien à deviner les mouvements qui sont dans le plan de l'image, mais il a plus de mal avec ce qui se passe "derrière" l'image (ce qui sort du plan), un peu comme essayer de deviner ce qu'il y a derrière un mur en regardant juste le sol.

3. Pourquoi c'est révolutionnaire ?

Avant, il fallait un modèle différent pour chaque type de moteur ou chaque type de gaz. C'était comme avoir un dictionnaire différent pour chaque ville.
Ici, les chercheurs ont créé un modèle universel. Grâce à l'entraînement sur des données variées (multi-fidélité), ce modèle peut s'adapter à n'importe quelle situation, peu importe la résolution de l'image ou le type de physique utilisé.

En résumé :
Cette équipe a créé un "chef cuisinier" numérique qui a goûté à des milliers de recettes de fluides différents. Maintenant, il peut :

1. Deviner la suite d'une recette en cours de cuisson (prédiction temporelle).
2. Inventer les ingrédients manquants si on lui donne juste une partie de la recette (transformation de données).

Cela permet de concevoir des moteurs plus efficaces et plus propres beaucoup plus vite, en remplaçant des simulations qui prenaient des jours par des prédictions qui prennent quelques secondes, tout en restant très précis sur les grandes lignes. C'est un pas de géant vers des moteurs du futur plus intelligents et plus propres.

Résumé technique

1. Problématique et Contexte

La simulation numérique des écoulements fluides complexes dans les systèmes énergétiques (notamment les injections de gaz à haute pression dans les moteurs à combustion) repose traditionnellement sur la dynamique des fluides computationnelle (CFD). Cependant, ces simulations sont extrêmement coûteuses en temps de calcul en raison des non-linéarités fortes et des interactions multiphysiques multi-échelles.

L'objectif de ce travail est de développer une approche de modélisation de substitution (surrogate modeling) basée sur l'apprentissage automatique. Le défi spécifique réside dans la capacité à généraliser non seulement à travers différentes conditions physiques, mais aussi à travers des modalités de données hétérogènes (différentes résolutions de maillage, différents modèles de turbulence, différentes équations d'état) et des vues géométriques variées (coupes longitudinales, projections, coupes transverses).

2. Méthodologie

A. Données et Configuration Physique

Les modèles sont entraînés sur un ensemble de données curaté de simulations CFD générées avec le solveur CONVERGE. La configuration physique simulée est un jet d'argon injecté à 35 bar dans un environnement d'azote stagnant à 5 bar (analogue non-combustible à l'injection de carburant gazeux).
Le jeu de données comprend 7 cas distincts variant selon :

• Résolution de maillage : Grossier (Coarse) vs Fin (Fine).
• Modèle de turbulence : RANS (Reynolds-Averaged Navier-Stokes) et LES (Large-eddy simulation).
• Équation d'état : Gaz idéal (IG) et Gaz réel (RG).
• Nombre de Schmidt (Sc) : Variation pour étudier la diffusion différentielle.
• Modalités de sortie : Trois types de champs 2D dérivés des données 3D :
  1. Tranche longitudinale (coupe horizontale $x-z$).
  2. Projection longitudinale (intégrée le long de l'axe $y$, analogue à une radiographie).
  3. Tranche transversale (coupes axiales à $z=2$ mm et $z=10$ mm).

B. Architecture du Modèle : SwinV2-UNet

L'approche repose sur un Vision Transformer hiérarchique de type SwinV2-UNet (encodeur-décodeur en forme de U).

• Encodage des patches : Les champs d'entrée sont divisés en patches non chevauchants.
• Mécanisme d'attention : Utilisation de l'attention par fenêtres décalées (Shifted Window Attention) pour capturer les dépendances spatiales à long terme tout en maintenant une complexité linéaire par rapport à la taille de l'image (contrairement à l'attention globale quadratique des ViT classiques).
• Structure Hiérarchique :
  • Encodeur : Réduit la résolution spatiale tout en augmentant la dimension des canaux via des couches de fusion de patches (patch merging) et des blocs ConvNeXt pour l'extraction de caractéristiques locales.
  • Décodeur : Restaure la résolution spatiale via des couches d'expansion de patches, en utilisant des connexions résiduelles (skip connections) avec l'encodeur pour préserver les détails fins.
• Conditionnement par Tokens Auxiliaires : Pour permettre au modèle de généraliser sur des données hétérogènes, des embeddings auxiliaires sont injectés dans les tokens de patches :
  • Token de source de données (DST) : Encodage one-hot de la résolution, de la modalité (vue), du modèle de turbulence et de la fidélité de la simulation.
  • Token temporel : Encode l'intervalle de temps $\Delta t$ (pour les prédictions temporelles).

C. Tâches d'Apprentissage

Le framework est évalué sur deux tâches principales partageant la même architecture de base :

1. Prédiction Spatio-temporelle (Rollouts) : Prédiction de l'état futur $t+\Delta t$ à partir de l'état $t$ de manière autorégressive (prédiction du résidu $\Delta u$). Trois stratégies d'entraînement sont testées : single-step, multi-step rollout, et pushforward (où le gradient ne remonte que sur l'étape finale).
2. Transformation de Caractéristiques (Feature Transformation) : Inférence d'un champ non observé à partir d'un champ observé au même instant $t$ (ex: reconstruire un champ de vitesse à partir d'un champ de densité, ou transformer une projection en une coupe transversale).

3. Résultats Clés

A. Prédiction Spatio-temporelle

• Le modèle prédit avec succès l'évolution temporelle des écoulements sur plusieurs pas de temps.
• Précision : Les structures à grande échelle et les interfaces nettes sont bien capturées.
• Limites : Les détails à petite échelle (turbulence fine) subissent un lissage (smoothing), ce qui est typique des modèles de substitution.
• Comparaison des stratégies : L'entraînement par multi-step rollout capture mieux les détails intrinsèques de l'écoulement que l'entraînement single-step, bien qu'il accumule plus d'erreur sur les horizons longs. La stratégie pushforward offre un bon compromis pour la cohérence temporelle.

B. Transformation de Caractéristiques

• Densité vers Vitesse (Cas 1) : Le modèle infère correctement les composantes de vitesse dans le plan ($x, z$) à partir de la densité. La composante hors-plan ($y$) est moins précise, ce qui est attendu car l'information est ambiguë dans une projection 2D.
• Reconstruction Transverse (Cas 2) : Le modèle réussit à reconstruire des coupes transverses à partir de projections longitudinales, bien que le lissage soit plus prononcé en raison de la perte d'information inhérente au problème inverse.
• Fusion Multimodale (Cas 3 & 4) : Le modèle fusionne efficacement les informations de densité et de vitesse projetées pour reconstruire des champs locaux, et inversement.
• Transfert Spatial (Cas 5) : Le modèle transfère les structures d'écoulement d'un plan axial ($z=2$ mm) à un autre ($z=10$ mm), capturant correctement l'expansion du jet et l'amélioration du mélange.

4. Contributions Principales

1. Framework Multimodal Unifié : Développement d'une architecture Transformer capable de traiter simultanément des données de différentes fidélités (RANS/LES, IG/RG) et de différentes modalités géométriques (coupes, projections) grâce à un conditionnement par tokens.
2. Généralisation Transversale : Démonstration que le modèle peut généraliser à des configurations de simulation non vues lors de l'entraînement (ex: prédiction sur un cas "Fine-LES-Ideal Gas" alors qu'il a été entraîné sur un mélange de cas).
3. Adaptation aux Systèmes Énergétiques : Application réussie de modèles de fondation (foundation models) aux écoulements compressibles réalistes, au-delà des systèmes idéalisés souvent étudiés dans la littérature scientifique.
4. Efficacité : Capacité à générer des prédictions rapides (substitut) par rapport aux simulations CFD coûteuses, tout en maintenant une cohérence physique globale.

5. Signification et Perspectives

Ce travail constitue une preuve de concept majeure pour l'application des Vision Transformers aux problèmes de dynamique des fluides complexes dans les systèmes énergétiques. Il démontre que l'on peut construire des modèles de substitution robustes capables de "raisonner" à travers différentes résolutions et modalités de données.

Implications futures :

• Le framework ouvre la voie à des modèles de substitution rapides pour la conception et l'optimisation de moteurs et de systèmes de propulsion.
• Les travaux futurs prévoient l'utilisation de techniques de parallélisation avancées (SWiPe) pour mettre à l'échelle l'architecture.
• L'intégration de méthodes probabilistes (Flow Matching, OmniCast) et de représentations basées sur des graphes ou des nuages de points (pour gérer des géométries complexes non structurées) est envisagée pour améliorer la précision et la flexibilité du modèle.

En résumé, cette étude établit les bases de modèles de fondation scientifiques adaptés aux défis spécifiques de l'ingénierie des fluides, combinant la puissance des transformers avec la diversité des données de simulation physique.