Learning functional components of PDEs from data using neural networks

1. Problématique et Contexte

Les équations aux dérivées partielles (EDP) sont omniprésentes pour modéliser des phénomènes spatio-temporels en biologie, physique, ingénierie et finance. Cependant, une limitation majeure de leur application pratique réside dans le fait que de nombreux paramètres gouvernant ces systèmes ne sont pas des scalaires constants, mais des fonctions spatiales (ou spatio-temporelles) inconnues ou difficiles à mesurer directement.

• Exemples de fonctions inconnues : noyaux d'interaction non locaux, potentiels externes, coefficients de diffusion hétérogènes, ou champs de croissance.
• Le défi : Les méthodes classiques d'inférence permettent de retrouver des paramètres scalaires, mais l'estimation de fonctions complètes à partir de données observées (problème inverse) reste un défi complexe.
• Objectif de l'article : Développer un cadre permettant de récupérer ces fonctions inconnues directement à partir de données de solutions (états stationnaires) en utilisant des réseaux de neurones, tout en conservant l'interprétabilité physique du modèle.

2. Méthodologie

Les auteurs proposent une approche basée sur le cadre des Universal Partial Differential Equations (UPDE), une extension des Universal Differential Equations (UDE) aux EDP.

A. Intégration des Réseaux de Neurones

Au lieu de supposer une forme fonctionnelle paramétrique pour les termes inconnus (comme $W(x)$ ou $V(x)$), l'article remplace ces termes par des approximations de réseaux de neurones ($NN_W$ et $NN_V$).
L'EDP étudiée est une équation d'agrégation-diffusion non locale sur un tore unidimensionnel :
$$\partial_t u = \sigma \partial_{xx} u + \kappa \partial_x(u \partial_x[W * u]) + \partial_x(u \partial_x V)$$
Dans l'approche UPDE, $W$ et $V$ sont remplacés par des réseaux de neurones à entraîner. Le problème d'inférence se réduit alors à l'optimisation des paramètres scalaires du réseau de neurones ($\theta$) et des paramètres scalaires du modèle ($\kappa$).

B. Fonction de Perte (Loss Function)

L'innovation méthodologique clé réside dans l'utilisation d'états stationnaires (équilibres) plutôt que de trajectoires temporelles complètes.

• Approche par point fixe : Les états stationnaires de l'EDP correspondent aux points fixes d'une application non linéaire $T$.
• Fonction de perte : Au lieu de minimiser l'erreur sur la dérivée temporelle (qui nécessite des données bruyantes et des dérivées numériques instables), les auteurs minimisent le résidu du point fixe :
  $$R(u) = \| T(u) - u \|$$
  Cette approche est robuste au bruit car elle évite la différentiation directe des données observées et intègre naturellement les conditions aux limites.

C. Workflow d'Inférence

1. Génération de données de référence (états stationnaires) à partir d'une EDP "vérité terrain".
2. Simulation de conditions réalistes : échantillonnage sparse (peu de points) et ajout de bruit de mesure.
3. Entraînement du réseau de neurones pour minimiser la fonction de perte sur les données observées.
4. Validation : comparaison des fonctions récupérées avec la vérité terrain et vérification de la capacité du modèle appris à régénérer les solutions.

3. Contributions Clés

1. Extension des UDE aux EDP fonctionnelles : Démonstration que les réseaux de neurones peuvent apprendre non seulement la dynamique, mais aussi la forme fonctionnelle des paramètres spatiaux dans des EDP complexes.
2. Analyse de l'identifiabilité structurelle et pratique : Étude systématique des conditions sous lesquelles la récupération des fonctions est possible ou impossible, en distinguant :
   • L'identifiabilité structurelle (théorique, liée à la structure de l'équation).
   • L'identifiabilité pratique (liée à la qualité des données : bruit, densité, nombre de solutions).
3. Rôle de la richesse spectrale des solutions : Mise en évidence du fait que différentes solutions stationnaires contiennent des quantités d'informations variables. Certaines solutions (par exemple, celles proches d'un point de bifurcation ou avec un spectre riche) sont plus informatives pour l'inférence que d'autres.
4. Validation sur des données réalistes : Démonstration que la méthode fonctionne même avec des données bruitées et échantillonnées de manière sparse, bien que la performance se dégrade avec l'augmentation du bruit.

4. Résultats Principaux

Les résultats sont présentés à travers une série d'expériences numériques sur l'équation d'agrégation-diffusion :

• Récupération d'un seul noyau ($W$) : Avec des données exactes, le noyau d'interaction $W$ peut être parfaitement récupéré, même à partir d'une seule solution stationnaire (à condition que cette solution ait un spectre riche).
• Impact du bruit et de l'échantillonnage :
  • Pour un bruit faible à modéré, la récupération de $W$ reste précise.
  • Pour un bruit élevé, la récupération échoue, mais le modèle appris peut parfois encore prédire correctement le profil de solution (phénomène de "compensation d'erreur").
• Récupération simultanée de plusieurs fonctions :
  • Il est impossible de récupérer simultanément le noyau $W$ et le potentiel externe $V$ à partir d'une seule solution stationnaire (problème d'identifiabilité structurelle : une infinité de paires $(W, V)$ peuvent produire la même solution).
  • La récupération simultanée devient possible dès lors que deux solutions (ou plus) sont disponibles, surtout si elles proviennent de branches de bifurcation différentes ou si la distance en paramètre ($\kappa$) est grande.
• Robustesse de la méthode : L'utilisation de la fonction de perte basée sur le point fixe ($T(u)-u$) s'avère supérieure à l'utilisation directe de la forme forte de l'EDP, car elle est moins sensible au bruit et aux problèmes de régularité.

5. Signification et Perspectives

Cet article apporte une contribution significative à l'interface entre l'apprentissage automatique et la modélisation mathématique :

• Passage de la théorie à la pratique : Il montre comment utiliser des workflows d'ajustement de paramètres standards pour apprendre des fonctions complexes, rendant les modèles mécanistes applicables à des systèmes réels où les lois d'interaction sont inconnues.
• Conception expérimentale : Les résultats soulignent l'importance de la conception expérimentale. Pour identifier correctement des modèles complexes, il ne suffit pas d'avoir beaucoup de données ; il faut des données diverses (multiples états stationnaires, différents régimes de paramètres) pour briser les symétries et assurer l'identifiabilité.
• Généralité : Bien que l'étude se concentre sur les équations d'agrégation-diffusion, le cadre UPDE est général et peut être appliqué à d'autres EDP en physique, biologie (formation de motifs, écologie) et ingénierie.
• Interprétabilité : Contrairement aux "boîtes noires" purement data-driven, les modèles UPDE entraînés restent des EDP classiques une fois les fonctions apprises, permettant une analyse théorique et des prédictions futures avec les outils mathématiques existants.

En conclusion, cette étude démontre que l'apprentissage de composants fonctionnels d'EDP est non seulement théoriquement faisable, mais aussi réalisable en pratique, à condition de maîtriser la qualité des données et la diversité des états observés pour garantir l'identifiabilité du modèle.