Résumé Technique : Bases Spectrales Réelles vs Complexes pour les Opérateurs Neuraux

Énoncé du Problème

Les Opérateurs Neuraux de Fourier (FNO) se sont imposés comme une architecture de premier plan pour l'apprentissage des opérateurs de solutions d'équations aux dérivées partielles (EDP) en paramétrant des convolutions globales dans le domaine de Fourier complexe. Cependant, pour la vaste majorité des systèmes physiques régis par des solutions d'EDP à valeurs réelles, la Transformée de Fourier Rapide (FFT) standard introduit une redondance représentationnelle. Plus précisément, le spectre complexe d'un signal réel présente une symétrie conjuguée, ce qui signifie que la moitié du spectre est déterminée par l'autre moitié. Malgré cela, les implémentations standards de FNO apprennent des matrices de poids complexes qui doivent implicitement découvrir et imposer cette contrainte, augmentant potentiellement l'espace de recherche effectif et la surcharge de calcul sans ajouter de capacité de représentation.

L'article examine si la base spectrale de Fourier est la représentation spectrale optimale pour toutes les classes d'EDP ou si une base purement réelle pourrait être supérieure pour certaines symétries d'opérateurs.

Méthodologie

L'Opérateur Neural de Hartley (HNO)

Les auteurs introduisent l'Opérateur Neural de Hartley (HNO), conçu comme le miroir réel exact du FNO.

• Transformée : Le HNO remplace la FFT par la Transformée de Hartley Discrète (DHT). La DHT opère entièrement dans le domaine réel en utilisant le noyau $cas(\theta) = \cos(\theta) + \sin(\theta)$.
• Architecture : Contrairement à la FFT, qui exploite la symétrie conjuguée pour ne stocker que la moitié de l'espace des fréquences positives, la DHT d'un signal réel ne possède aucune symétrie de ce type ; chaque coefficient est indépendant. Par conséquent, le HNO conserve le spectre complet (par exemple, les quatre quadrants en 2D) mais apprend un multiplicateur réel unique par mode spectral conservé.
• Conception Iso-paramétrique : Pour garantir une comparaison équitable, le HNO est construit de manière iso-paramétrique au FNO à largeur égale. Alors que le FNO apprend un poids complexe (deux paramètres réels) par mode sur un spectre réduit de moitié, le HNO apprend un poids réel unique par mode sur le spectre complet. Le nombre total de paramètres entraînables réels reste identique entre les deux architectures.
• Implémentation : Les auteurs implémentent le HNO en utilisant torch.fft de PyTorch en calculant la DHT via la relation $H\{f\}(k) = \text{Re}\{F\{f\}(k)\} - \text{Im}\{F\{f\}(k)\}$. Cela permet de tirer parti des noyaux FFT déjà accélérés par GPU tout en évitant le développement de noyaux personnalisés pour les premières expériences.

Protocole Expérimental

L'étude mène une évaluation systématique à travers cinq classes d'EDP :

1. Elliptiques : Poisson, Biharmonique.
2. Paraboliques : Équation de la chaleur.
3. Hyperboliques : Équation d'onde.
4. Advectives : Advection-diffusion.
5. Non linéaires : Équation de Burgers, Navier-Stokes 2D (forme vorticité).

Contrôles :

• Conditions Initiales : Trois familles sont testées : Champs Aléatoires Gaussiens (GRF), Expansions de Fonctions Propres, et Superpositions de Bosses Gaussiennes.
• Conditions aux Limites : Des conditions périodiques et des conditions de Dirichlet homogènes sont toutes deux évaluées.
• Entraînement : Les deux opérateurs sont entraînés avec des optimiseurs identiques (Adam), des programmes de taux d'apprentissage, de décroissance des poids et de troncature de gradient identiques, ainsi que des largeurs de réseau identiques. Les vérités de terrain pour les EDP dépendantes du temps sont générées via des méthodes de différences finies pour éviter un biais implicite vers les représentations basées sur Fourier.

Contributions Clés

1. Un Miroir Réel Propre du FNO : L'article formule le HNO comme un contrepartie strictement réelle du FNO, éliminant l'arithmétique complexe et les contraintes de symétrie conjuguée tout en maintenant des nombres de paramètres identiques. Cela isole la base spectrale comme la seule variable de la comparaison.
2. Principe d'Alignement Base-Opérateur : Les auteurs développent un cadre théorique liant la base spectrale optimale à la symétrie de la fonction de Green de l'opérateur de solution.
   • Opérateurs Elliptiques Auto-adjoints : Ceux-ci possèdent des fonctions de Green réelles et symétriques. La convolution de Hartley se simplifie en une multiplication élément par élément pour les noyaux symétriques, permettant au HNO de représenter ces opérateurs exactement avec un seul multiplicateur réel par mode. À l'inverse, le FNO doit apprendre à annuler ses composantes imaginaires.
   • Opérateurs Dépendants du Temps : Ces opérateurs portent souvent une phase (oscillation dans les équations d'onde, transport dans l'advection). Un multiplicateur diagonal réel ne peut structurellement pas représenter des opérateurs possédant des symboles complexes (phase). Ainsi, le FNO est théoriquement favorisé pour ces cas.
3. Ordre de la Phase de l'Opérateur : L'article établit que l'écart de performance entre le HNO et le FNO n'est pas binaire mais monotone, évoluant avec le "contenu de phase" du propagateur de l'opérateur.
4. Benchmarks Complets : L'étude fournit les premiers benchmarks des opérateurs basés sur Hartley sur les équations de Burgers et Navier-Stokes 2D, ainsi qu'une analyse de coût montrant que les surcharges de performance actuelles sont dues au backend de la DHT émulée plutôt qu'à la transformée elle-même.

Résultats

Les résultats empiriques confirment les prédictions théoriques, montrant une division claire basée sur la symétrie de l'opérateur :

• EDP Elliptiques (HNO Favorisé) : Sur les équations de Poisson et de Biharmonique, le HNO atteint une erreur $L_2$ relative plus faible que le FNO. L'avantage est plus marqué pour l'équation de Biharmonique, l'opérateur auto-adjoint le plus fort testé. Les limites périodiques, qui préservent la diagonalisation exacte de Hartley, montrent des gains plus importants que les limites de Dirichlet.
• EDP Dépendantes du Temps (FNO Favorisé) : Le FNO surpasse le HNO sur toutes les équations dépendantes du temps. La marge de victoire est corrélée au contenu de phase de l'opérateur :
  • Équation de la Chaleur : En tant que propagateur sans phase ($e^{-\nu|k|^2 t}$), elle se situe à la limite où le HNO dépasse parfois légèrement le FNO sur des entrées lisses, mais le FNO reste généralement compétitif.
  • Équation d'Onde : Oscillatoire mais non amortie, montant un avantage intermédiaire pour le FNO.
  • Dominance de l'Advection (Advection, Burgers, Navier-Stokes) : Ces opérateurs présentent les plus grands avantages pour le FNO en raison de leurs symboles porteurs de phase très marqués (ex: $e^{-ic \cdot k t}$).
• Conditions Initiales : Le choix de la famille de conditions initiales module l'amplitude de l'écart d'erreur mais ne change pas le signe du vainqueur. La préférence de la base est déterminée par la symétrie de l'opérateur, et non par la distribution des données.

Signification et Revendications

L'article plaide contre la recherche d'une base spectrale "universelle" pour les opérateurs neuraux. Au lieu de cela, il propose une règle prédictive : faire correspondre la base spectrale à la symétrie de l'opérateur de solution.

• Base Réelle (HNO) : Optimale pour les opérateurs auto-adjoints et sans phase (résolutions elliptiques, diffusion). Le multiplicateur diagonal réel diagonalise exactement la fonction de Green symétrique, réduisant le paysage d'optimisation et éliminant la nécessité d'apprendre des contraintes (ex: $\text{Im}\{W\} = 0$).
• Base Complexe (FNO) : Nécessaire pour les opérateurs portant une phase (oscillation, transport). L'arithmétique complexe est structurellement requise pour représenter les composantes imaginaires du symbole du propagateur.

Les auteurs concluent que la sélection de la base spectrale est un choix de conception actif dicté par la physique du problème. Bien que le HNO offre une alternative efficace en termes de paramètres et théoriquement fondée pour les problèmes elliptiques, le FNO reste supérieur pour les systèmes dépendants du temps et dominés par le transport. Ce travail suggère que les futurs designs d'opérateurs neuraux devraient adapter leurs représentations spectrales en fonction de la symétrie détectée de l'opérateur cible.