Enhancing neural network extrapolation in thermo-fluid systems using steady-state solutions

Résumé Technique : Amélioration de l'extrapolation des réseaux de neurones dans les systèmes thermo-fluides à l'aide de solutions en régime permanent

Énoncé du Problème
Les équations aux dérivées partielles (EDP) dépendantes du temps qui régissent les systèmes thermo-fluides, tels que ceux présents dans les transformateurs de puissance et les turbines à gaz, nécessitent souvent des simulations de longue durée coûteuses en calcul. Les méthodes numériques classiques (différences finies, volumes finis ou éléments finis) reposent sur un pas de temps séquentiel contraint par la stabilité et la précision, ce qui rend la résolution de la dynamique à long terme prohibitive lorsque l'échelle de temps de relaxation du système dépasse largement le pas de temps admissible. Bien que les réseaux de neurones informés par la physique (PINNs) offrent une alternative sans maillage, les architectures standards échouent fréquemment à généraliser au-delà de leur intervalle de temps d'entraînement. Elles manquent du biais inductif nécessaire pour représenter la décroissance asymptotique, ce qui entraîne une dégradation rapide de la précision lors de l'extrapolation temporelle. Cette limitation est critique pour les applications d'ingénierie où il est nécessaire, mais coûteux, de capturer toute l'évolution depuis les conditions initiales jusqu'à un équilibre stationnaire.

Méthodologie
Les auteurs proposent une représentation de réseau de neurones « informée par l'état stationnaire » conçue pour les systèmes d'EDP dissipatifs qui relaxent vers un équilibre stationnaire. L'innovation centrale est un ansatz de solution qui décompose la solution prédite $u(x, t)$ en deux composantes :
$$u(x, t) = u_s(x) + f(t)g(x, t)$$
où :

• $u_s(x)$ est la composante en régime permanent, représentant l'équilibre asymptotique.
• $f(t)$ est un profil de décroissance temporel (par exemple, exponentiel, algébrique ou oscillatoire amorti) satisfaisant $\lim_{t\to\infty} f(t) = 0$.
• $g(x, t)$ est un terme de correction transitoire, borné dans l'espace et le temps.

Cette décomposition intègre la convergence vers l'état stationnaire directement dans l'architecture du réseau plutôt que de l'imposer via un terme de pénalité dans la fonction de perte. La composante en régime permanent $u_s(x)$ peut être fournie par des solveurs classiques, des données expérimentales ou un sous-réseau dédié. Le profil de décroissance $f(t)$ peut être fixe ou appris comme un paramètre entraînable (par exemple, le taux de décroissance $\lambda$).

L'implémentation utilise un cadre de réseau de neurones informé par la physique (PINN) entraîné avec l'optimiseur SOAP (Shampoo with Adam in the Preconditioner's Eigenbasis). SOAP est choisi pour traiter la nature mal conditionnée et multi-objectif des paysages de perte des PINNs en améliorant le conditionnement du gradient et en réduisant les conflits directionnels entre les termes de perte. L'entraînement suit une stratégie en deux phases :

1. Phase 1 (Régime Permanent) : Entraîner les sous-réseaux pour approximer $u_s(x)$ à l'aide de données ou de résidus physiques en régime permanent.
2. Phase 2 (Transitoire) : Geler les poids du régime permanent et entraîner les sous-réseaux restants pour apprendre la correction transitoire $g(x, t)$ en utilisant des pertes informées par la physique dépendant du temps.

Contributions Clés

• Biais Inductif Architectural : Le papier introduit une architecture modulaire qui impose la convergence asymptotique de manière structurelle, permettant au réseau d'apprendre la dynamique transitoire tout en garantissant un comportement correct à long terme.
• Stratégie d'Optimisation : L'application de l'optimiseur SOAP aux PINNs pour les problèmes thermo-fluides, démontrant une convergence améliorée par rapport aux méthodes standards de premier ordre comme Adam.
• Analyse du Profil Temporel : Une évaluation systématique de différents profils de décroissance temporelle (constant, exponentiel, algébrique, oscillatoire amorti) pour déterminer leur impact sur la précision de l'extrapolation à travers diverses régimes physiques.

Résultats
La méthode a été évaluée sur une séquence de problèmes de complexité croissante :

1. Équation de la chaleur 1D : La méthode proposée a nettement surpassé les PINNs standards en extrapolation. Un profil de décroissance exponentielle ($f(t) = e^{-\lambda t}$) a produit l'erreur la plus faible, s'alignant sur la structure des modes propres de l'équation de la chaleur. Les PINNs standards et la référence à profil constant ont montré des erreurs augmentant de manière monotone pendant l'extrapolation.
2. Cavité entraînée par paroi 2D (Navier-Stokes) : L'approche a réussi à extrapoler les champs de vitesse au-delà de l'horizon d'entraînement. Les profils exponentiels et oscillatoires amortis ont été les plus performants, les erreurs restant bornées et physiquement cohérentes même à des temps trois fois supérieurs à la durée d'entraînement.
3. Convection naturelle 2D (Boussinesq) : Dans un régime dominé par l'advection, le profil oscillatoire amorti ($f(t) = e^{-\lambda t}(a + \cos(\omega t))$) a surpassé l'exponentiel pur. Le paramètre d'amplitude supplémentaire $a$ a permis au modèle de découpler l'amplitude transitoire initiale du taux de décroissance, accommodant les fluctuations initiales rapides avant la stabilisation.
4. Transfert de chaleur conjugué 3D : La méthode a été appliquée à un système 3D complexe avec des interfaces fluide-solide. Deux scénarios d'entraînement ont été testés :
   • PINN Pur : L'entraînement de toutes les composantes avec des pertes informées par la physique a entraîné une convergence vers un état stationnaire erroné en raison des inexactitudes de la composante de régime permanent apprise.
   • Approche Hybride : L'entraînement des sous-réseaux de régime permanent ($FNN_1, FNN_3$) à l'aide de données de haute fidélité par éléments finis (FEM), tout en entraînant les composantes transitoires avec des pertes PINN, a considérablement réduit l'erreur d'extrapolation. Cela a confirmé que la précision de la solution finale est limitée par la précision de la composante de régime permanent fournie.

Signification et Revendications
Le papier affirme que la contribution principale n'est pas une nouvelle fonction de perte ou un terme de pénalité, mais une représentation informée par le régime permanent qui intègre le comportement asymptotique directement dans l'architecture du réseau de neurones. Les auteurs affirment que cette approche améliore substantiellement l'extrapolation temporelle par rapport aux architectures qui n'imposent pas explicitement la condition asymptotique.

Ce travail souligne que, bien que les PINNs standards peinent avec la dynamique à long terme, l'exploitation de la propriété structurelle connue des systèmes dissipatifs (convergence vers l'équilibre) permet de créer des substituts robustes. Les auteurs notent que la méthode est particulièrement efficace lorsque la solution en régime permanent est connue ou peut être calculée à moindre coût, servant d'ancre pour prédire l'évolution transitoire. L'étude conclut que la sélection d'un profil temporel approprié est critique et dépendante du problème, les profils exponentiels et oscillatoires amortis offrant généralement les performances les plus robustes pour les applications thermo-fluides.