C-PINN: A neural network framework based on the Cordès condition for solving linear and fully nonlinear equations in non-divergence form and its applications

1. Énoncé du problème

L'article aborde les défis numériques associés à la résolution d'Équations aux Dérivées Partielles (EDP) sous forme non divergente, spécifiquement :

• Équations linéaires non divergentes : Équations de la forme $Lu = A(x):D^2u + b(x)\cdot\nabla u - c(x)u = f(x)$.
• Équations entièrement non linéaires : Incluant les équations de Hamilton-Jacobi-Bellman (HJB) (issues du contrôle stochastique) et les équations de Monge-Ampère (MA) (centrales pour le transport optimal et la géométrie).

Défis clés :

• Instabilité de l'optimisation : Les Réseaux de Neurones Informés par la Physique (PINN) standards peinent avec ces équations car le paysage de la fonction de perte est hautement non convexe. La minimisation directe des dérivées d'ordre supérieur (Hessiennes) conduit à des pathologies de gradient, une mauvaise convergence et une faible précision.
• Fléau de la dimensionnalité : Les méthodes traditionnelles basées sur des maillages (Éléments Finis/Différences Finies) deviennent computationnellement intraitables en haute dimension, tandis que les PINN standards échouent souvent à converger dans ces configurations pour les opérateurs non divergents.
• Absence de structure variationnelle : Contrairement aux équations sous forme divergente, les équations non divergentes ne possèdent pas naturellement une structure variationnelle adaptée aux approches standard de minimisation d'énergie en apprentissage profond.

2. Méthodologie : Le cadre C-PINN

Les auteurs proposent C-PINN, un cadre novateur qui intègre la condition de Cordès de la théorie des EDP elliptiques dans le processus d'entraînement du réseau de neurones pour préconditionner le problème d'optimisation.

A. Fondement théorique : La condition de Cordès

La condition de Cordès est une contrainte structurelle sur la matrice de coefficients $A(x)$ qui garantit que l'opérateur se comporte de manière similaire au Laplacien, assurant ainsi l'existence, l'unicité et la régularité de la solution.

• Condition : Elle restreint l'anisotropie des valeurs propres de $A(x)$, garantissant que le rapport du carré de la trace au carré de la norme de Frobenius est borné :
  $$\frac{(\text{tr}(A))^2}{\|A\|_F^2} \geq d - 1 + \epsilon$$
  où $d$ est la dimension spatiale et $\epsilon \in (0, 1]$.
• Préconditionnement : En définissant une fonction d'échelle spatialement variable $\alpha(x) = \frac{\text{tr}(A)}{\|A\|_F^2}$, l'équation originale est transformée. Théoriquement, cela transforme l'opérateur en une contraction stricte dans l'espace de Sobolev $H^2(\Omega)$.

B. Reformulation de la fonction de perte

Au lieu de minimiser le résidu brut de l'EDP $|Lu - f|^2$, C-PINN minimise un résidu pondéré par Cordès :
$$L_{\text{Cordès}}(\theta) = \frac{1}{N} \sum \left| \frac{\text{tr}(A)}{\text{tr}(A^2) + \delta} (L u_\theta - f) \right|^2$$

• Effet : Cette pondération lisse le paysage de la fonction de perte, élimine les courbures locales extrêmes et prévient les explosions de gradient, transformant efficacement un problème non convexe en un problème bien conditionné.

C. Extension aux équations non linéaires (Cadre à double boucle)

Pour traiter les équations entièrement non linéaires (HJB et MA), les auteurs introduisent un cadre Newton à double boucle :

1. Boucle externe (Linéarisation) :
   • HJB : Utilise l'itération de Newton semi-lisse. L'opérateur non différentiable $\sup/\inf$ est géré en identifiant la branche de contrôle active $\alpha^*$, en gelant les coefficients et en linéarisant l'équation.
   • MA : Utilise la linéarisation Newton-Picard. L'opérateur déterminant est linéarisé en utilisant la dérivée de Fréchet (matrice des cofacteurs), convertissant l'équation non linéaire en une séquence d'équations linéaires non divergentes.
2. Boucle interne (Résolveur C-PINN) :
   • L'équation linéaire de substitution résultante est résolue en utilisant le cadre C-PINN avec le préconditionneur de Cordès appliqué à la matrice de coefficients gelée.

3. Contributions clés

1. Nouvelle formulation de perte : Introduction d'un mécanisme de préconditionnement mathématiquement rigoureux basé sur la condition de Cordès qui stabilise l'entraînement des PINN pour les EDP sous forme non divergente.
2. Cadre unifié pour les EDP non linéaires : Extension réussie de la méthode aux équations HJB et MA entièrement non linéaires via une stratégie de linéarisation Newton à double boucle, unifiant le traitement de ces classes d'équations distinctes.
3. Évolutivité en haute dimension : Démonstration de la capacité à résoudre des équations jusqu'à 20 dimensions, contournant efficacement le fléau de la dimensionnalité qui affecte les méthodes basées sur des maillages.
4. Applications au transport optimal : Application du cadre pour résoudre des équations de Monge-Ampère pour des problèmes de transport optimal, incluant des géométries complexes (surfaces corticales, modèles 3D).

4. Résultats numériques

L'article valide C-PINN grâce à des expériences extensives le comparant aux PINN standards et à d'autres références :

• Équations linéaires non divergentes :
  • Précision : C-PINN a obtenu des erreurs $L_2$ et $L_\infty$ significativement plus faibles que les PINN standards sur des cas de coefficients lisses, faiblement singuliers et discontinus.
  • Stabilité : La dynamique d'optimisation a montré un paysage de perte plus lisse et des normes de gradient stables, tandis que les PINN standards présentaient des oscillations chaotiques.
• Problèmes en haute dimension :
  • Résolution réussie d'équations elliptiques en 3D, 5D et 20D.
  • Dans le cas 20D, C-PINN a maintenu une convergence stable, tandis que les performances des PINN standards se sont dégradées de manière significative.
• Équations non linéaires (HJB et MA) :
  • C-PINN a résolu les équations HJB avec une haute précision, surpassant les PINN tant sur les métriques d'erreur que sur la vitesse de convergence.
  • Pour l'équation de Monge-Ampère, la méthode a capturé avec précision la solution convexe et les cartes de transport associées.
• Transport optimal :
  • Application au transport carré-vers-carré et à des mappages de surfaces 3D complexes (cortex humain, tête de lion).
  • La méthode a correctement corrigé les distorsions d'aire dans les paramétrisations conformes en redistribuant la masse selon la densité cible.

5. Signification et impact

• Pont entre théorie et pratique : Ce travail relie avec succès l'analyse fonctionnelle classique (condition de Cordès, application contractante) à l'apprentissage profond moderne, fournissant une garantie théorique pour la stabilité des solveurs par réseaux de neurones pour une classe d'EDP précédemment considérée comme difficile.
• Robustesse : La méthode est robuste face aux coefficients discontinus, aux singularités faibles et aux géométries complexes.
• Généralité : En réduisant les problèmes entièrement non linéaires à une séquence de problèmes linéaires préconditionnés, le cadre offre une approche généralisable pour un large éventail d'EDP complexes en contrôle stochastique, en géométrie et en physique.
• Utilité pratique : La capacité à résoudre des problèmes de transport optimal en haute dimension ouvre de nouvelles voies pour des applications en modélisation générative, adaptation de domaine et allocation de ressources, là où les méthodes traditionnelles échouent.

En conclusion, C-PINN représente une avancée significative dans le domaine de l'apprentissage automatique scientifique, offrant une solution fondée mathématiquement aux problèmes d'instabilité inhérents à la résolution d'EDP non divergentes et entièrement non linéaires avec des réseaux de neurones.