From Spectral Methods to Sample Complexity Bounds for Fourier Neural Operators

Planteamiento del Problema
Los Operadores de Redes de Fourier (FNOs, por sus siglas en inglés) han demostrado un éxito empírico en el aprendizaje de operadores de solución para ecuaciones diferenciales parciales (PDEs), específicamente mapeando estados iniciales a estados futuros en ecuaciones de evolución disipativas. Sin embargo, la comprensión teórica rigurosa de las condiciones estructurales bajo las cuales los FNOs pueden aproximar y aprender estos operadores permanece incompleta. Mientras que el aprendizaje de operadores generales enfrenta barreras de la "maldición de la dimensionalidad" —donde el aprendizaje de operadores $k$-veces Fréchet diferenciables o Lipschitz requiere exponencialmente muchos muestreos en el peor de los casos— este artículo busca identificar propiedades estructurales específicas de las PDEs disipativas que permitan a los FNOs lograr una complejidad de muestreo polinomial.

Metodología
Los autores establecen una conexión entre la teoría clásica de aproximación espectral y el aprendizaje de operadores moderno. Su enfoque procede en cuatro pasos lógicos:

1. Discretización Espectral: Introducen clases de esquemas espectrales de Fourier semi-implícitos que discretizan ecuaciones de evolución disipativas en el espacio y el tiempo. Estos esquemas tratan los términos de disipación lineal de forma implícita y los términos de reacción/transporte no lineales de forma explícita, a menudo con estabilización.
2. Definición de la Clase de Operadores: Definen clases específicas de operadores de solución ($S_{poly}$ para no linealidades polinomiales y $S_{smooth}$ para no linealidades suaves generales) caracterizadas por su capacidad de ser aproximadas mediante la iteración de pasos espectrales estables y precisos. Estas clases se definen mediante parámetros que gobiernan la fuerza de la disipación, la suavidad de la no linealidad y la regularidad del espacio de entrada.
3. Construcción de FNO: Construyen FNOs que emulan pasos únicos de estos métodos espectrales. Al componer estos FNOs de paso único, crean arquitecturas capaces de aproximar el mapa de solución completo en el tiempo-$T$. La construcción aprovecha el hecho de que los FNOs pueden representar eficientemente operadores lineales diagonalizables en la base de Fourier y aproximar no linealidades mediante redes neuronales puntuales.
4. Garantías de Aprendizaje: Combinan los límites de aproximación constructiva con estimaciones de entropía métrica para derivar garantías de aprendizaje para la minimización del riesgo empírico (ERM) sobre las clases de FNOs definidas.

Contribuciones Clave

• Clases de Operadores Basadas en Métodos Espectrales: El artículo introduce una amplia clase de operadores de solución de tiempo-$T$ definidos a través de aproximaciones espectrales de Fourier semi-implícitas estables. Esta clase captura la estructura numérica compartida por muchas ecuaciones disipativas permaneciendo lo suficientemente general como para incluir PDEs no lineales estándar.
• Límites de Aproximación Uniforme: Para ecuaciones con no linealidades polinomiales, los autores demuestran que cada operador en la clase definida puede ser aproximado uniformemente por un FNO. El tamaño de red requerido (profundidad, anchura y magnitud de los pesos) se cuantifica en términos de la precisión deseada y los parámetros que definen la clase del operador (Teorema 3.4).
• Complejidad de Muestreo Polinomial: Al combinar los límites de aproximación con estimaciones de entropía métrica, el artículo establece que los FNOs entrenados mediante ERM pueden aprender operadores en estas clases con una complejidad de muestreo polinomial. Para no linealidades polinomiales, las tasas de aprendizaje dependen principalmente de la suavidad de Sobolev del espacio de entrada y la dimensión del dominio físico (Teorema 3.6).
• Extensión a No Linealidades Suaves Generales: El marco se extiende a ecuaciones con no linealidades suaves no polinomiales (Teorema 4.3, 4.4). En este escenario, la complejidad de muestreo polinomial se preserva, aunque las tasas dependen adicionalmente de la suavidad de la no linealidad y la fuerza de la disipación.
• Aplicaciones Concretas: La teoría se aplica para verificar que los mapas de solución en el tiempo-$T$ de las ecuaciones de Navier–Stokes, Allen–Cahn y Cahn–Hilliard encajan dentro del marco abstracto, proporcionando garantías de aprendizaje concretas para estas PDEs específicas. Además, la teoría se aplica a la ecuación de Cahn–Hilliard con un potencial logarítmico, un caso que involucra singularidades que requieren un manejo cuidadoso.

Resultos

• Aproximación: El artículo proporciona límites cuantitativos que muestran que los FNOs pueden aproximar los operadores de solución de las PDEs disipativas a cualquier precisión $\epsilon$ con tamaños de red que escalan polinomialmente en $\epsilon^{-1}$ (para no linealidades polinomiales) o con dependencias ligeramente más complejas para no linealidades suaves generales.
• Tasas de Aprendizaje: Para no linealidades polinomiales, el error de generalización decae a una tasa de $O(M^{-1/(6 + 2d/a)})$, donde $M$ es el número de muestras, $d$ es la dimensión física y $a$ es la suavidad de Sobolev del espacio de entrada. Esto contrasta con los resultados negativos para operadores genéricos, que requieren una complejidad de muestreo exponencial.
• PDEs Específicas:
  • Navier–Stokes: Las tasas de aprendizaje dependen de $a=2$ y $d=2$, resultando en una tasa de $M^{-1/8}$.
  • Allen–Cahn: Con $a=4$ y $d=2$, la tasa es $M^{-1/7}$.
  • Cahn–Hilliard: De manera similar arroja $M^{-1/7}$ para $a=4, d=2$.
  • Cahn–Hilliard Logarítmica: La tasa depende de la suavidad de la no linealidad $\alpha$, resultando en $M^{-1/(7 + 24/(5\alpha))}$.

Significancia
El artículo afirma que la "aproximabilidad espectral estable" es una condición estructural amplia que permite a los FNOs aprender operadores de evolución no lineales de manera eficiente. Al formalizar la premisa de que los FNOs pueden aprender eficientemente operadores siempre que dichos operadores admitan discretizaciones espectrales estables y precisas, este trabajo cierra la brecha entre el análisis numérico clásico y la teoría moderna del aprendizaje profundo. Los resultados explican cuándo y por qué los FNOs tienen éxito en el aprendizaje de operadores de solución de PDEs, yendo más allá de éxitos empíricos específicos para proporcionar garantías uniformes sobre familias de ecuaciones en lugar de una sola PDE fija. Los autores señalan que estas garantías son particularmente relevantes para los modelos de pronóstico sustitutos basados en datos utilizados en la asimilación de datos, sugiriendo que el trabajo futuro podría extender estos límites a normas de Sobolev de orden superior para acoplarse mejor con las garantías de precisión de la asimilación de datos.