Résumé Technique : Cut-DeepONet pour la Prise en Charge des Discontinuités dans les Opérateurs Neuronaux

Énoncé du Problème

Les opérateurs neuronaux, tels que DeepONet et l'opérateur neuronal de Fourier (FNO), ont démontré de solides performances dans l'apprentissage des opérateurs de solution pour les équations aux dérivées partielles (EDP). Cependant, ils font face à une limitation fondamentale : leur architecture inhérente opère au sein d'espaces de fonctions lisses (par exemple, les espaces de Sobolev), entraînant un biais de lissage intrinsèque. Par conséquent, ces modèles peinent à représenter avec précision des solutions contenant des discontinuités (par exemple, des ondes de choc) ou des transitions abruptes.

Les approches existantes tentent d'atténuer ce problème en augmentant la capacité du modèle ou en utilisant des données haute résolution pour approximer les discontinuités au sein d'espaces de fonctions continues. Cependant, cela entraîne souvent des oscillations de type Gibbs, nécessite des ressources computationnelles excessives et échoue à capturer la véritable nature des solutions discontinues. De plus, dans les EDP non linéaires, l'emplacement et le nombre de discontinuités sont souvent inconnus a priori et émergent dynamiquement du processus de résolution, rendant les stratégies de décomposition de domaine fixes (comme XPINN) insuffisantes pour l'apprentissage général d'opérateurs.

Méthodologie : Cut-DeepONet

Les auteurs proposent Cut-DeepONet, un cadre d'entraînement en deux étapes qui modélise explicitement les discontinuités en reformulant le problème plutôt qu'en augmentant la complexité du modèle. L'idée centrale s'inspire des stratégies de « relèvement » utilisées dans les champs neuronaux, étendues ici à l'apprentissage d'opérateurs avec des discontinuités dépendantes de l'entrée.

1. Concept Central : Relèvement et Partitionnement du Domaine

Au lieu de forcer un réseau de neurones à approximer directement une fonction discontinue, Cut-DeepONet relève le problème dans un espace de dimension supérieure.

• Stratégie de Relèvement : Le domaine est partitionné en sous-régions lisses séparées par des discontinuités. Un ensemble de discontinuités $\Gamma(u)$ est mappé vers une coordonnée supplémentaire $H(\Gamma(u))$.
• Espace Augmenté : La sortie est représentée dans un espace augmenté $\tilde{y} = (y, H(\Gamma(u)))$. Dans cet espace relevé, les composantes de la solution au sein de chaque sous-domaine deviennent continues (lisses), tandis que les discontinuités sont reléguées aux frontières entre les régions.
• Étiquetage : Contrairement aux méthodes de relèvement précédentes qui utilisent des nombres d'enroulement, cette approche attribue des étiquettes distinctes à chaque région connectée $\Omega_j$ pour gérer les transitions abruptes où les régions peuvent présenter des comportements entièrement différents.

2. Cadre d'Entraînement en Deux Étapes

Le cadre se compose de deux étapes distinctes :

Étape 1 : Prédiction des Discontinuités (Réseau de Découpage)

• Objectif : Prédire l'emplacement des discontinuités $\Gamma(u)$ pour des entrées non vues.
• Mécanisme : Un réseau dédié, le Réseau de Découpage ($cnet_\theta$), est entraîné sur un ensemble de données d'entrées appariées à leurs emplacements de discontinuités correspondants.
• Préparation des Données : Les emplacements des discontinuités sont extraits de solutions de vérité terrain haute résolution (ou dérivés analytiquement lorsque possible) en identifiant les pics dans le champ de dérivée ou en utilisant les conditions de Rankine-Hugoniot.

Étape 2 : Apprentissage d'Opérateur dans l'Espace Relevé

• Objectif : Apprendre les composantes de solution lisses au sein de chaque sous-domaine.
• Mécanisme : Un opérateur neuronal ($\hat{G}_\phi$) est entraîné sur un « Jeu de Données Relevé ». L'entrée est la fonction originale $u$, et la cible est la solution dans l'espace augmenté $\tilde{G}(u)(\tilde{y})$.
• Avantage : Puisque la fonction cible est continue dans l'espace relevé, l'opérateur neuronal peut apprendre les pièces lisses efficacement sans avoir besoin de résoudre directement les gradients raides ou les discontinuités.

Phase de Prédiction
Lors de l'inférence, le Réseau de Découpage entraîné prédit les emplacements des discontinuités pour une nouvelle entrée $u$. Ces emplacements définissent la coordonnée augmentée $H(cnet_\theta(u))$. L'opérateur neuronal génère ensuite les composantes de solution lisses dans l'espace relevé, qui sont mappées de retour vers le domaine original pour reconstruire la solution finale avec de véritables discontinuités aux frontières prédites.

Contributions Clés

1. Apprentissage d'Opérateur dans un Espace Lisse : L'article étend la méthode de relèvement des champs neuronaux à l'apprentissage d'opérateurs, introduisant un mécanisme pour généraliser à des entrées non vues avec des structures de discontinuité variables.
2. Génération de Vraies Discontinuités : Contrairement aux méthodes existantes qui approximent les discontinuités via des représentations continues haute résolution, Cut-DeepONet est le premier à générer explicitement des solutions discontinues dynamiques dans l'apprentissage d'opérateurs.
3. Complexité Réduite : En découplant l'apprentissage des emplacements de discontinuité de l'apprentissage des composantes de solution lisses, la méthode réduit la complexité de la tâche d'apprentissage d'opérateur. Elle nécessite moins de paramètres entraînables et peut atteindre une haute précision même lorsqu'elle est entraînée sur des jeux de données basse résolution.
4. Performance sur des Tâches Discontinues : La méthode démontre une précision supérieure et une convergence plus rapide sur des problèmes impliquant des chocs et des transitions abruptes par rapport aux références de l'état de l'art.

Résultats Expérimentaux

Les auteurs ont évalué Cut-DeepONet sur trois problèmes de référence :

1. Équation d'Advection Linéaire : Un problème avec deux discontinuités mobiles.
2. Équation d'Euler de Burgers : Un problème impliquant la formation d'un choc à partir d'une seule discontinuité initiale.
3. Modèle Économe : Un modèle Hodgkin–Huxley réduit pour les cardiomyocytes présentant des transitions abruptes dans l'ouverture des canaux ioniques.

Constats :

• Précision : Cut-DeepONet a systématiquement surpassé DeepONet, FlexDeepONet, HyperDeepONet et FNO tant en perte globale $L_1$ qu'en perte localisée de discontinuité ($L_{Dis}$) sur les équations d'Advection Linéaire et de Burgers.
• Entraînement Basse Résolution : La méthode a maintenu de solides performances même lorsqu'elle était entraînée sur des données de résolution significativement inférieure, tandis que les références souffraient d'effets de lissage ou d'oscillations.
• Efficacité Paramétrique : Cut-DeepONet a obtenu ces résultats avec moins de paramètres entraînables que les modèles concurrents.
• Transitions Abruptes : Dans le modèle Économe, Cut-DeepONet a obtenu la plus faible erreur globale $L_1$. Cependant, l'erreur de discontinuité localisée était légèrement supérieure à celle de FNO dans ce cas spécifique, ce que les auteurs attribuent au sous-échantillonnage des petites régions de transition lors de l'entraînement par échantillonnage aléatoire.

Importance et Revendications

L'article revendique que le principal goulot d'étranglement dans l'apprentissage d'opérateurs discontinus n'est pas un manque de capacité du modèle, mais le décalage entre le biais inductif lisse des réseaux de neurones et la nature discontinue des fonctions cibles.

• Changement de Représentation : L'importance réside dans le changement de la représentation du problème d'apprentissage (relèvement vers un espace de dimension supérieure) plutôt que dans l'augmentation de la complexité du modèle.
• Découplage : En séparant la tâche de « où » se trouve la discontinuité (Réseau de Découpage) de « ce qu'est » la solution (Opérateur Neuronal), le cadre aligne la tâche d'apprentissage avec les forces des réseaux de neurones (approximation de fonctions lisses).
• Généralisation : L'approche permet la génération de vraies discontinuités dans les solutions pour des entrées non vues, une capacité précédemment limitée par le biais de lissage des opérateurs neuronaux standards.

Les auteurs reconnaissent des limites, notant que le Réseau de Découpage dépend de la précision des données d'entraînement pour les emplacements des discontinuités et que des stratégies d'échantillonnage adaptatif pourraient encore améliorer les performances dans les régions à transitions abruptes occupant de petites portions du domaine. Ils suggèrent également que des travaux futurs pourraient étendre cette stratégie de relèvement aux architectures FNO.