From Spectral Methods to Sample Complexity Bounds for Fourier Neural Operators

Énoncé du Problème
Les opérateurs de réseaux de neurones de Fourier (FNO) ont démontré un succès empirique dans l'apprentissage d'opérateurs de solutions pour les équations aux dérivées partielles (EDP), plus précisément en cartographiant les états initiaux vers des états futurs dans les équations d'évolution dissipatives. Cependant, une compréhension théorique rigoureuse des conditions structurelles sous lesquelles les FNO peuvent approximer et apprendre efficacement ces opérateurs reste incomplète. Bien que l'apprentissage d'opérateurs généraux soit confronté aux barrières de la « malédiction de la dimensionnalité » — où l'apprentissage d'opérateurs $k$-fois différentiables au sens de Fréchet ou lipschitziens nécessite un nombre exponentiel d'échantillons dans le pire des cas — cet article cherche à identifier les propriétés structurelles spécifiques des EDP dissipatives qui permettent aux FNO d'atteindre une complexité d'échantillonnage polynomiale.

Méthodologie
Les auteurs établissent une connexion entre la théorie classique de l'approximation spectrale et l'apprentissage d'opérateurs moderne. Leur approche procède en quatre étapes logiques :

1. Discrétisation Spectrale : Ils introduisent des classes de schémas spectraux semi-implicites qui discrétisent les équations d'évolution dissipatives dans l'espace et le temps. Ces schémas traitent les termes de dissipation linéaires de manière implicite et les termes de réaction/transport non linéaires de manière explicite, souvent avec stabilisation.
2. Définition de la Classe d'Opérateurs : Ils définissent des classes spécifiques d'opérateurs de solution ($S_{poly}$ pour les non-linéarités polynomiales et $S_{smooth}$ pour les non-linéarités lisses générales) caractérisées par leur capacité à être approximées par l'itération d'étapes spectrales stables et précises. Ces classes sont définies par des paramètres régissant la force de dissipation, la lissité de la non-linéarité et la régularité de l'espace d'entrée.
3. Construction du FNO : Ils construisent des FNO qui émulent une étape unique de ces méthodes spectrales. En composant ces étapes uniques de FNO, ils créent des architectures capables d'approximer la solution complète à l'instant $T$. La construction tire parti du fait que les FNO peuvent représenter efficacement les opérateurs linéaires diagonalisables dans la base de Fourier et approximer les non-linéarités via des réseaux de neurones ponctuels.
4. Garanties d'Apprentissage : Ils combinent les bornes d'approximation constructives avec des estimations d'entropie métrique pour dériver des garanties d'apprentissage pour la minimisation du risque empirique (ERM) sur les classes de FNO définies.

Contributions Clés

• Classes d'Opérateurs Basées sur des Méthodes Spectrales : L'article introduit une large classe d'opérateurs de solution à l'instant $T$ définis par des approximations spectrales de Fourier semi-implicites stables. Cette classe capture la structure numérique partagée par de nombreuses équations dissipatives tout en restant assez générale pour inclure des EDP non linéaires standards.
• Bornes d'Approximation Uniforme : Pour les équations avec des non-linéarités polynomiales, les auteurs prouvent que chaque opérateur de la classe définie peut être approximé uniformément par un FNO. La taille du réseau requise (profondeur, largeur et magnitude des poids) est quantifiée en fonction de la précision souhaitée et des paramètres définissant la classe de l'opérateur (Théorème 3.4).
• Complexité d'Échantillonnage Polynomiale : En combinant les bornes d'approximation avec des estimations d'entropie métrique, l'article établit que les FNO entraînés via l'ERM peuvent apprendre des opérateurs dans ces classes avec une complexité d'échantillonnage polynomiale. Pour les non-linéarités polynomiales, les taux d'apprentissage dépendent principalement de la lissité de Sobolev de l'espace d'entrée et de la dimension du domaine physique (Théorème 3.6).
• Extension aux Non-Linéarités Lisses Générales : Le cadre est étendu aux équations avec des non-linéarités lisses non polynomiales (Théorèmes 4.3, 4.4). Dans ce cadre, la complexité d'échantillonnage polynomiale est préservée, bien que les taux dépendent également de la lissité de la non-linéarité et de la force de la dissipation.
• Applications Concrètes : La théorie est appliquée pour vérifier que les applications de temps-$T$ des équations de Navier–Stokes, Allen–Cahn et Cahn–Hilliard s'inscrivent dans le cadre abstrait, fournissant des garanties d'apprentissage concrètes pour ces EDP spécifiques. De plus, la théorie est appliquée à l'équation de Cahn–Hilliard avec un potentiel logarithmique, un cas impliquant des singularités qui nécessite un traitement minutieux.

Résultats

• Approximation : L'article fournit des bornes quantitatives montrant que les FNO peuvent approximer les opérateurs de solution des EDP dissipatives à n'importe quelle précision $\epsilon$ avec des tailles de réseau qui croissent polynomialement en $\epsilon^{-1}$ (pour les non-linéarités polynomiales) ou avec des dépendances légèrement plus complexes pour les non-linéarités lisses générales.
• Taux d'Apprentissage : Pour les non-linéarités polynomiales, l'erreur de généralisation décroît à un taux de $O(M^{-1/(6 + 2d/a)})$, où $M$ est le nombre d'échantillons, $d$ est la dimension physique et $a$ est la lissité de Sobolev de l'espace d'entrée. Cela contraste avec les résultats négatifs pour les opérateurs génériques, qui nécessitent une complexité d'échantillonnage exponentielle.
• EDP Spécifiques :
  • Navier–Stokes : Les taux d'apprentissage dépendent de $a=2$ et $d=2$, produisant un taux de $M^{-1/8}$.
  • Allen–Cahn : Avec $a=4$ et $d=2$, le taux est de $M^{-1/7}$.
  • Cahn–Hilliard : Produit de la même manière $M^{-1/7}$ pour $a=4, d=2$.
  • Cahn–Hilliard Logarithmique : Le taux dépend de la lissité de la non-linéarité $\alpha$, produisant $M^{-1/(7 + 24/(5\alpha))}$.

Signification
L'article affirme que l'« approximabilité spectrale stable » est une condition structurelle large qui permet aux FNO d'apprendre efficacement les opérateurs d'évolution non linéaires. En formalisant le postulat selon lequel les FNO peuvent apprendre efficacement des opérateurs dès lors que ces derniers admettent des discrétisations spectrales stables et précises, ce travail comble le fossé entre l'analyse numérique classique et la théorie moderne de l'apprentissage profond. Les résultats expliquent quand et pourquoi les FNO réussissent à apprendre les opérateurs d'EDP, allant au-delà de succès empiriques spécifiques pour fournir des garanties uniformes sur des familles d'équations plutôt que sur une seule EDP fixe. Les auteurs notent que ces garanties sont particulièrement pertinentes pour les modèles de prévision de substitution pilotés par les données utilisés dans l'assimilation de données, suggérant que les travaux futurs pourraient étendre ces bornes à des normes de Sobolev d'ordre supérieur pour mieux coupler avec les garanties de précision de l'assimilation de données.