The Closure Challenge: a benchmark task for machine learning in turbulence modelling

Ce papier présente le « Closure Challenge », une initiative de benchmark open-source conçue pour combler le manque de métriques et de jeux de données standardisés dans le domaine de la modélisation de la turbulence par apprentissage automatique, en évaluant la capacité de généralisation des modèles sur des cas tests variés.

L'essentiel

Imaginez que vous essayez de prédire comment l'air va s'écouler autour d'une voiture ou d'un avion. C'est un défi immense, un peu comme essayer de prédire exactement comment une foule de milliers de personnes va bouger dans une gare bondée. En physique, on appelle cela la turbulence.

Pour faire ces prédictions, les ingénieurs utilisent des équations complexes (les équations de Navier-Stokes). Mais ces équations sont si difficiles à résoudre directement pour des objets réels qu'ils doivent utiliser des "raccourcis" ou des approximations, qu'on appelle des modèles de turbulence.

Voici ce que ce papier propose, expliqué simplement :

1. Le Problème : Une course sans ligne d'arrivée

Depuis dix ans, les chercheurs essaient d'utiliser l'Intelligence Artificielle (IA) pour améliorer ces raccourcis. C'est comme si des centaines de chefs cuisiniers essayaient de créer la meilleure sauce pour la turbulence.

Le problème ? Il n'y a pas de concours officiel.

• Chaque chef utilise ses propres ingrédients (données d'entraînement).
• Chacun a sa propre recette pour juger si sa sauce est bonne.
• Résultat : Personne ne peut vraiment comparer qui est le meilleur. C'est comme comparer une pizza de New York à un sushi de Tokyo sans critère commun.

2. La Solution : "The Closure Challenge" (Le Défi de la Fermeture)

Les auteurs de ce papier ont décidé de construire une piste d'athlétisme standardisée. Ils ont créé un "Défi" qui sert de référence pour tout le monde.

C'est comme s'ils disaient : "Arrêtez de cuisiner dans votre cuisine privée. Venez tous sur notre terrain de jeu. Voici les mêmes ingrédients de base, voici les mêmes règles, et voici le même jury. Voyons qui fait le meilleur plat."

3. Comment ça marche ? (Les Règles du Jeu)

• Le Terrain de Jeu (Les Données) : Ils ont mis à disposition des données ultra-précises (comme des photos haute définition du mouvement de l'air) pour entraîner les IA.
• L'Examen Final (Les Cas de Test) : Pour voir si une IA est vraiment intelligente, on ne la teste pas sur ce qu'elle a appris. On lui donne des nouvelles situations qu'elle n'a jamais vues.
  • Exemple : Si l'IA a appris à prédire le vent autour d'une colline ronde, on la teste sur une colline plus haute, plus large, ou avec un vent plus fort.
  • Si elle réussit, c'est qu'elle a vraiment compris la physique, et pas juste mémorisé des réponses.
• La Note : On mesure l'erreur. Plus la prédiction de l'IA est proche de la réalité, meilleure est la note. C'est comme un test de conduite : plus vous restez dans votre voie, mieux vous conduisez.

4. Pourquoi c'est important ?

Avant ce défi, les chercheurs perdaient un temps fou à essayer de comparer leurs méthodes entre eux. Maintenant, grâce à ce "leaderboard" (classement) en ligne :

• On sait exactement quelles méthodes fonctionnent le mieux.
• On encourage l'innovation : tout le monde veut grimper dans le classement.
• On évite les promesses vides : on ne peut plus dire "mon modèle est génial" sans le prouver sur ce terrain de jeu commun.

En résumé

Ce papier lance un grand tournoi mondial pour l'IA appliquée à l'aérodynamique. Au lieu de chacun dans son coin, les chercheurs vont maintenant se mesurer sur un terrain équitable pour voir qui parvient à prédire le comportement du vent et de l'eau avec le plus de précision. L'objectif final ? Avoir des avions plus sûrs, des voitures plus économes et une meilleure compréhension de notre climat, grâce à des IA qui ont vraiment "appris" la physique.

Résumé technique

Titre : The Closure Challenge : un défi de référence pour l'apprentissage automatique en modélisation de la turbulence

1. Problématique

Le domaine de la modélisation de la turbulence par les équations de Navier-Stokes moyennées (RANS) assistée par l'apprentissage automatique (ML) a connu un intérêt croissant au cours de la dernière décennie. Cependant, l'avancement du champ est entravé par un manque critique : l'absence d'un jeu de données de référence (benchmark) open-source avec des critères d'évaluation clairs.

• Bien que des données d'entraînement existent, la comparaison entre différentes méthodologies est difficile car chaque groupe de recherche utilise ses propres codes, jeux de données d'entraînement et infrastructures locales.
• Cette fragmentation empêche une évaluation objective et standardisée de la capacité de généralisation des modèles, un enjeu central pour la fiabilité des simulations en ingénierie.

2. Méthodologie et Architecture du Défi

Les auteurs proposent « The Closure Challenge », une initiative continue visant à établir un standard d'évaluation pour le ML dans les modèles de fermeture RANS.

• Objectif principal : Prédire le champ d'écoulement sur une série de cas tests spécifiques définis sur des maillages CFD donnés.
• Règles de participation :
  • Données d'entraînement : Il est laissé à la discrétion des participants de choisir leurs propres données d'entraînement et de validation (bien que des données standardisées soient fournies pour faciliter l'entrée).
  • Contrainte stricte : Il est interdit d'utiliser les cas tests pour l'entraînement ou la validation. Cela force les modèles à démontrer une capacité de généralisation (à des nombres de Reynolds ou des géométries différents).
• Cas de test (Données de référence) : Les cas tests sont conçus pour évaluer la généralisation en nombre de Reynolds et en géométrie. Ils incluent :
  • Collines périodiques (Periodic hills) : Avec variations de paramètres géométriques ($\alpha$, $L$, $h$) et de nombres de Reynolds ($Re=5600$ et $10595$).
  • Conduit carré (Square duct) : Différents rapports d'aspect (AR) et nombres de Reynolds ($Re_\tau = 360, 180$).
  • Bossage monté sur paroi de la NASA (NASA wall-mounted hump).
• Données fournies : Le défi fournit des données de haute fidélité (DNS ou LES) incluant les vitesses moyennes et leurs gradients, ces derniers étant souvent requis par les cadres de travail ML actuels. Des prédictions RANS standards (modèle $k-\omega$ SST) sont également fournies comme référence de base.

3. Contributions Clés

• Standardisation : Création d'un ensemble de données de test et d'un code d'évaluation open-source (disponible sur GitHub et PyPI) pour uniformiser l'évaluation des modèles.
• Métrique de performance : Définition d'un score normalisé basé sur l'erreur fractionnelle de la vitesse moyenne sur l'ensemble des cas tests.
  $$\text{Score} = \frac{1}{N_{\text{cases}}} \sum_{c} \frac{1}{N_c |\mathbf{U}|_c} \sum_{i=1}^{N_c} | \tilde{\mathbf{U}}_i - \mathbf{U}_{\text{true},i} |$$
  Un score plus bas indique une meilleure concordance avec les données de référence (DNS/LES).
• Plateforme vivante : Contrairement à un concours ponctuel lié à une conférence, c'est un défi en cours (« ongoing challenge ») avec un classement (leaderboard) mis à jour périodiquement pour refléter l'état de l'art.

4. Résultats Actuels (État au mars 2026)

Le défi a été lancé avec des soumissions initiales de trois groupes de recherche, présentées lors d'un atelier ERCOFTAC :

1. Reissmann, Fang, et Sandberg : Score de 0,0595 (Meilleur résultat).
2. Wu et Zhang : Score de 0,0624.
3. Montoya, Oulghelou, et Cinnella : Score de 0,0779 (Note : ce résultat provient d'un modèle pré-entraîné sans ajustement fin sur les données du défi).

Ces résultats montrent que des erreurs moyennes de l'ordre de 6 % par rapport à la magnitude de la vitesse sont actuellement atteignables, mais soulignent qu'il reste une marge de progression significative.

5. Signification et Perspectives

• Accélération de la recherche : En éliminant la charge de travail liée à la création de benchmarks et à la comparaison manuelle, le défi vise à accélérer l'innovation dans la modélisation de la turbulence par ML.
• Standard de l'industrie : L'objectif est que ce benchmark devienne une exigence standard pour évaluer toute nouvelle méthodologie ML en RANS, similaire à ce qui existe pour la prédiction de structures de protéines ou la météorologie.
• Évolution future : Bien que le défi soit actuellement opérationnel pour les écoulements 2D, les données 3D (comme le corps d'Ahmed ou la jonction aile-fuselage) sont disponibles et un classement dédié aux écoulements 3D est prévu pour le futur.

En résumé, « The Closure Challenge » comble un vide critique dans la communauté scientifique en fournissant un terrain d'évaluation rigoureux, transparent et reproductible pour les modèles de turbulence basés sur l'apprentissage automatique.