Uncertainty Quantification in PINNs for Turbulent Flows: Bayesian Inference and Repulsive Ensembles

Cet article propose et évalue une série d'extensions probabilistes des réseaux de neurones informés par la physique (PINNs), notamment via l'inférence bayésienne et les ensembles répulsifs, pour quantifier de manière fiable les incertitudes épistémiques dans la modélisation de flux turbulents à partir de données éparses.

L'essentiel

Imaginez que vous essayez de reconstruire une image floue d'un ouragan en passant, ou de deviner le courant d'un fleuve turbulent en n'ayant que quelques gouttes d'eau mesurées ici et là. C'est exactement ce que font les ingénieurs lorsqu'ils tentent de prédire comment l'air ou l'eau se déplace autour d'objets (comme une voiture ou un avion) en utilisant des équations mathématiques complexes appelées équations de Navier-Stokes.

Le problème, c'est que ces équations sont souvent "mal posées" : il existe plusieurs façons différentes de combiner les données pour qu'elles semblent justes, mais seule une est vraiment la bonne. C'est comme essayer de deviner la recette d'un gâteau en goûtant juste une miette : vous pourriez avoir raison, ou vous pourriez être complètement à côté de la plaque.

Voici comment les auteurs de cet article tentent de résoudre ce casse-tête en utilisant l'intelligence artificielle.

1. Le Problème : L'IA qui est trop sûre d'elle

Les réseaux de neurones (une forme d'IA) sont excellents pour apprendre des modèles. Cependant, la plupart des versions actuelles fonctionnent comme un singe savant très confiant : une fois qu'il a trouvé une solution, il vous la donne avec un sourire, sans jamais dire : "Euh, en fait, je ne suis pas très sûr de moi ici, il manque des données."

Dans le monde de la turbulence, cette confiance aveugle est dangereuse. Si l'IA se trompe sur la force du vent autour d'une aile d'avion et ne vous le dit pas, cela peut être catastrophique. Il nous faut une IA qui dise : "Je pense que c'est ça, mais voici la marge d'erreur." C'est ce qu'on appelle la quantification de l'incertitude.

2. Les Trois Solutions Testées

Les chercheurs ont comparé trois méthodes pour donner à l'IA une "conscience" de ses propres doutes.

A. L'Approche Bayésienne (Le Détective Prudent)

Imaginez un détective qui ne se contente pas d'une seule hypothèse. Au lieu de dire "C'est le coupable !", il imagine des milliers de scénarios possibles, pondère chacun d'eux selon les preuves, et vous donne une probabilité.

• Comment ça marche : Cette méthode (appelée BPINN) traite les poids du réseau de neurones comme des probabilités. Elle utilise une technique mathématique avancée (HMC) pour explorer toutes les possibilités.
• Le résultat : C'est la méthode la plus fiable. Comme un détective très méticuleux, elle vous donne une réponse précise et une estimation honnête de son incertitude. Si elle ne sait pas, elle le dit clairement. C'est le "Gold Standard", mais c'est aussi très lent et coûteux en calcul (comme faire 10 000 enquêtes au lieu d'une).

B. Le Dropout Monte Carlo (Le Groupe de Discussion)

Imaginez que vous demandez à un seul expert de résoudre un problème, mais que vous lui bandez les yeux aléatoirement à chaque fois qu'il répond. Vous lui posez la même question 100 fois avec des yeux différents, et vous regardez comment ses réponses varient.

• Comment ça marche : On active une fonctionnalité appelée "Dropout" (qui désactive aléatoirement des parties du cerveau de l'IA) pendant la prédiction.
• Le résultat : C'est rapide et pas cher. Mais c'est un peu comme un groupe de discussion où tout le monde pense à peu près la même chose. L'IA a tendance à être trop prudente (elle surestime ses erreurs) ou à ne pas voir les pièges cachés.

C. Les Ensembles Répulsifs (Le Chœur Divisé)

C'est l'innovation principale de l'article. Imaginez que vous engagez 10 experts pour résoudre le problème.

• Le problème classique : Si vous les laissez travailler seuls, ils vont tous trouver la même solution facile et s'arrêter là (ils "collaborent" trop et perdent leur diversité). C'est comme un chœur où tout le monde chante la même note : pas de richesse.
• La solution "Répulsive" : Les chercheurs ajoutent une règle bizarre : "Si vous commencez à penser comme votre voisin, je vous pousse !" Ils forcent les experts à rester différents les uns des autres en les repoussant dans l'espace de leurs prédictions.
• Le résultat : C'est un compromis génial. C'est beaucoup plus rapide que le détective Bayésien, mais grâce à la "poussée" qui force la diversité, l'IA donne une bonne estimation de l'incertitude pour les variables principales (comme la vitesse). Cependant, pour les détails très complexes (comme les forces invisibles de la turbulence), elle reste un peu moins précise que le détective Bayésien.

3. Les Expériences : Le Cylindre et le Fluide

Pour tester tout cela, les chercheurs ont simulé de l'eau qui coule autour d'un cylindre (comme un pilier de pont).

• Scénario 1 (Données parfaites) : Ils ont utilisé des données de supercalculateurs très précises.
• Scénario 2 (Données réelles) : Ils ont utilisé des données de caméras réelles qui sont souvent bruyantes et incomplètes.

Ce qu'ils ont découvert :

1. Le Détective Bayésien a gagné sur tous les tableaux. Il a reconstruit le flux, la pression et les forces cachées avec une précision incroyable et une estimation de l'erreur parfaite.
2. L'Ensemble Répulsif a été le champion de la vitesse. Il a donné de très bons résultats pour la vitesse de l'eau, mais il a eu un peu plus de mal à estimer l'incertitude sur les "forces cachées" (les termes de fermeture) que le détective Bayésien.
3. Sans la "poussée" (Ensemble classique) : Si on enlève la règle qui force la diversité, tous les experts s'effondrent sur la même solution fausse. C'est comme si tout le chœur chantait faux en même temps : on a l'impression d'avoir une réponse, mais elle est totalement fausse.

En Résumé

Cet article nous dit que pour prédire la météo ou la turbulence avec une IA :

• Si vous voulez la vérité absolue et que le temps/argent n'est pas un problème, utilisez la méthode Bayésienne.
• Si vous avez besoin de résultats rapides pour un projet d'ingénierie, utilisez les Ensembles Répulsifs (en fonction de l'espace), car ils offrent un excellent équilibre entre rapidité et fiabilité.
• Leçon clé : Pour que l'IA soit honnête sur ses doutes, il faut la forcer à explorer différentes idées et à ne pas se contenter de la première solution facile. La "diversité" est la clé de la confiance.

Résumé technique

1. Problématique et Contexte

Les écoulements turbulents sont souvent modélisés à l'aide des équations de Navier-Stokes moyennées de Reynolds (RANS). Bien que les modèles RANS soient largement utilisés dans l'industrie pour leur efficacité computationnelle, ils souffrent d'un problème de fermeture fondamental : le tenseur des contraintes de Reynolds doit être approximé, introduisant des erreurs de forme de modèle difficiles à quantifier a priori.

L'utilisation des Réseaux de Neurones Informés par la Physique (PINNs) pour résoudre des problèmes inverses (reconstruction de champs d'écoulement à partir de données éparses) a montré des résultats prometteurs. Cependant, la plupart des PINNs existants sont déterministes. Ils ne fournissent aucune quantification fiable de l'incertitude épistémique (liée au manque de connaissances ou de données), ce qui est critique pour des problèmes mal posés comme la modélisation RANS basée sur les données. Sans ces estimations, il est impossible de distinguer les zones où les prédictions sont bien contraintes par les données de celles où elles sont pilotées par le biais inductif du réseau.

2. Méthodologie

Les auteurs proposent et évaluent systématiquement trois approches probabilistes pour l'incertitude dans le cadre des PINNs appliqués aux équations RANS (vitesse, pression et termes de fermeture) :

A. PINNs Bayésiens (BPINNs)

• Principe : Placer des distributions a priori sur les poids du réseau et inférer la distribution a posteriori conditionnée aux données et aux contraintes physiques.
• Inférence : Utilisation de l'échantillonnage Hamiltonian Monte Carlo (HMC) via l'algorithme adaptatif NUTS (No-U-Turn Sampler).
• Innovation clé :
  • Vraisemblance tempérée (Tempered Likelihood) : Pour éviter la sur-confiance des réseaux de neurones profonds (effet "cold posterior"), les auteurs introduisent des exposants de tempérage ($\beta$) distincts pour les données de vitesse, les contraintes de Reynolds et les résidus des équations aux dérivées partielles (PDE). Cela permet de pondérer différemment la fiabilité des contraintes (les données observées étant plus fiables que les résidus PDE approximatifs).
  • Recalibration a posteriori : Une étape finale ajuste l'échelle globale des incertitudes pour atteindre une couverture empirique nominale de 95 %.
• Procédure : Pré-entraînement en deux étapes (optimisation MAP puis échantillonnage NUTS).

B. PINNs avec Dropout Monte Carlo (MC Dropout)

• Principe : Interpréter le dropout à l'inférence comme une approximation variationnelle de la distribution a posteriori.
• Avantage : Coût computationnel très faible (un seul entraînement, plusieurs passes avant).
• Limite : La famille variationnelle induite par le dropout est souvent trop restrictive, conduisant à une sous-estimation de l'incertitude épistémique, surtout dans les régimes d'extrapolation ou de données rares.

C. Ensembles Profonds Répulsifs (Repulsive Deep Ensembles - RDE)

• Principe : Entraîner un ensemble de réseaux indépendants tout en forçant la diversité fonctionnelle pour éviter l'effondrement de l'ensemble (convergence vers la même solution).
• Mécanisme : Ajout d'un terme de perte répulsif basé sur un noyau (kernel) qui pénalise la similarité entre les membres de l'ensemble.
• Comparaison des espaces :
  • Espace des paramètres : Répulsion sur les poids du réseau.
  • Espace des fonctions : Répulsion directe sur les sorties du réseau (champs d'écoulement).
• Résultat clé : La répulsion dans l'espace des fonctions est nettement supérieure car elle garantit une diversité des solutions physiques prédites, contrairement à la répulsion dans l'espace des paramètres qui ne garantit pas une diversité fonctionnelle.

3. Contributions Clés

1. Cadre RDE pour les PINNs : Introduction d'un cadre d'ensembles répulsifs adapté aux systèmes d'EDP, permettant une quantification d'incertitude évolutive pour l'inférence de contraintes de Reynolds et de champs moyens.
2. Analyse comparative des mécanismes de répulsion : Démonstration que la répulsion dans l'espace des fonctions est cruciale pour la diversité et la calibration, tandis que celle dans l'espace des paramètres est insuffisante pour les problèmes mal posés.
3. Amélioration des BPINNs : Développement d'une formulation BPINN améliorée avec vraisemblance tempérée multi-composante et recalibration, résolvant les problèmes de sur-confiance et de scalabilité des méthodes bayésiennes classiques.
4. Évaluation sur des cas réalistes : Comparaison exhaustive sur un oscillateur de Van der Pol et des écoulements turbulents autour d'un cylindre à deux nombres de Reynolds ($Re=3900$ avec données DNS, $Re=10000$ avec données expérimentales PIV).

4. Résultats Expérimentaux

Les méthodes ont été testées sur une hiérarchie de cas, en particulier l'écoulement turbulent autour d'un cylindre où les données sont éparses et bruitées, et où la pression n'est pas observée directement.

• Oscillateur de Van der Pol :

  • Les BPINNs ont fourni les estimations d'incertitude les plus fiables et bien calibrées.
  • Les RDE (espace des fonctions) ont offert une approximation efficace avec une bonne calibration.
  • Les RDE (espace des paramètres) et le MC Dropout ont montré une calibration médiocre (sous-estimation ou surestimation de l'incertitude).
  • Les ensembles classiques (sans répulsion) ont échoué, les membres s'effondrant sur une solution unique (incertitude nulle).

• Écoulement autour d'un cylindre ($Re=3900$ et $Re=10000$) :

  • Précision : Toutes les méthodes (BPINN et RDE-fonction) reconstruisent avec précision les champs de vitesse moyens.
  • Calibration de l'incertitude :
    • BPINN : Fournit des estimations d'incertitude cohérentes et bien calibrées (couverture ~95% après recalibration) pour toutes les variables, y compris la pression (inférée uniquement via les équations) et les termes de fermeture (Reynolds).
    • RDE (espace des fonctions) : Offre une précision prédictive compétitive et une bonne calibration pour les variables primaires (vitesse). Cependant, la calibration se dégrade pour les termes de fermeture complexes (contraintes de Reynolds), qui restent sous-estimés.
  • Coût computationnel : Les BPINNs sont très coûteux en temps de calcul (échantillonnage MCMC), tandis que les RDE sont beaucoup plus rapides (entraînement parallèle standard).

5. Signification et Conclusion

Ce travail établit un guide pratique pour la quantification d'incertitude dans la modélisation de la turbulence basée sur les données :

• Pour la fiabilité absolue : Les BPINNs sont la méthode de référence. Ils offrent la quantification d'incertitude la plus robuste et bien calibrée, essentielle pour les applications critiques où la confiance dans les prédictions (surtout pour les termes de fermeture et les variables non observées) est primordiale.
• Pour l'efficacité computationnelle : Les Ensembles Répulsifs dans l'espace des fonctions (RDE) constituent une alternative viable et beaucoup moins coûteuse. Ils offrent une bonne précision et une calibration raisonnable pour les variables principales, bien qu'ils peinent encore à capturer fidèlement l'incertitude des termes de fermeture complexes.
• Recommandations : Le MC Dropout et les ensembles répulsifs dans l'espace des paramètres ne sont pas recommandés pour les problèmes inverses RANS mal posés en raison de leur mauvaise calibration.

En résumé, l'étude met en lumière les compromis entre précision, coût computationnel et calibration de l'incertitude, soulignant que la diversité fonctionnelle (via la répulsion) est un ingrédient indispensable pour que les ensembles profonds fournissent des estimations d'incertitude significatives dans le contexte des PINNs.