Resumen Técnico: Los Operadores Neuronales Factorizados Descomponen las Respuestas Dinámicas y Persistentes

1. Planteamiento del Problema

Los sistemas físicos, que van desde flujos geofísicos hasta la turbulencia en ingeniería, a menudo exhiben mecanismos heterogéneos donde coexisten dinámicas de evolución rápida con estructuras persistentes inducidas por la geometría, las condiciones de contorno y medios heterogéneos. Los operadores neuronales existentes, particularmente los enfoques basados en espectros (por ejemplo, FNO, SFNO), suelen depender de un único sesgo inductivo dominante (a menudo la equivariancia). Esta formulación acopla respuestas físicas distintas en una representación compartida, obligando al modelo a dar cuenta simultáneamente de dinámicas sensibles a las transformaciones y de estructuras estables ante las transformaciones.

Los autores argumentan que este acoplamiento limita la interpretabilidad, amplifica los errores autorregresivos durante los despliegues (rollouts) de largo horizonte y debilita la generalización entre resoluciones. El desafío central es si los operadores físicos deben aprenderse como una respuesta única o si deben factorizarse en componentes específicos de cada mecanismo para reflejar mejor la organización heterogénea de los sistemas físicos.

2. Metodología: Marco Unificado de la Función de Green y FaNO

2.1 Marco Unificado de la Función de Green

Los autores proponen una reinterpretación de la clásica función de Green no meramente como un núcleo analítico a recuperar, sino como un principio de diseño para sistemas de operadores nativos de la geometría. Formulan un marco unificado donde la solución de un sistema físico se representa como una respuesta integral. Dentro de este marco, distinguen dos tipos de núcleos basados en su dependencia:

• Núcleos dependientes de la posición relativa ($G(T^{-1}u)$): Estos conducen naturalmente a respuestas equivariantes (dinámicas), capturando dinámicas sensibles a las transformaciones.
• Núcleos dependientes de la posición absoluta ($G(u)$): Estos representan respuestas invariantes (persistentes), capturando estructuras estables ante las transformaciones, tales como aquellas inducidas por fronteras fijas o geometría global.

2.2 Operadores Neuronales Factorizados (FaNO)

Basándose en este marco, los autores introducen FaNO, una arquitectura espectral que descompone el operador en dos ramas especializadas:

1. Rama Dinámica (Equivariante): Modelada mediante un núcleo aprendible $G^E_\theta$ dependiente de las posiciones relativas (o transformaciones de grupo $T$). Esta rama captura dinámicas transitorias, variables y dependientes del estado. Utiliza transformadas espectrales estándar (Fourier para rejillas euclidianas, Armónicos Esféricos para esferas, base propia de Laplace–Beltrami para variedades).

   • Formulación: $g^E(u) = \mathcal{F}^{-1}[G^E_\theta \cdot \mathcal{F}[f]]$

2. Rama Persistente (Invariante): Modelada mediante un núcleo aprendible $G^I_\theta$ dependiente de las posiciones absolutas. Esta rama extrae estructuras coherentes y dependientes del sistema que permanecen estables a través de las escalas. Está impulsada por información integral consciente de la geometría ($C_f$) de la función de entrada.

   • Formulación: $g^I(u) = \mathcal{F}^{-1}[C_f \cdot G^I_\theta]$

3. Fusión: Las salidas de ambas ramas se concatenan y se pasan a través de una capa lineal ($w_1$) para la interacción de canales:

   • $g(u) = \mathcal{F}^{-1}[\text{Concat}(\mathcal{F}[f] \cdot G^E_\theta, C_f \cdot G^I_\theta)] \cdot w_1$

Este diseño permite al modelo preservar la invariancia de la rejilla y la eficiencia de los operadores espectrales, permitiendo al mismo tiempo una especialización explícita. La arquitectura es aplicable en rejillas euclidianas, dominios esféricos y variedades no estructuradas.

3. Contribuciones Clave

• Cambio Conceptual: Propone ir más allá de las formulaciones de sesgo inductivo único hacia representaciones de operadores factorizados que separan explícitamente las respuestas físicas dinámicas y persistentes.
• Marco Unificado: Introduce un Marco Unificado de la Función de Green que generaliza el diseño de operadores a través de diferentes dominios geométricos (euclídeos, esféricos, variedades) al distinguir entre estructuras de núcleos equivariantes e invariantes.
• Especialización Espontánea: Demuestra que las dos ramas de FaNO se especializan espontáneamente en roles físicos distintos sin supervisión explícita: la rama dinámica rastrea cambios transitorios, mientras que la rama invariante ancla la organización espacial estable.
• Generalizabilidad: Muestra que esta factorización mejora el rendimiento no solo en la dinámica de fluidos, sino también en sistemas físicos independientes del tiempo (Darcy, Helmholtz) y tareas de aprendizaje geométrico (clasificación, segmentación).

4. Resultados Experimentales

Los autores evaluaron FaNO contra líneas base de una sola rama (SFNO, FNO, NORM) y modelos de vanguardia en diversos entornos:

• Especialización de Mecanismos: En el pronóstico autorregresivo para las Ecuaciones de Aguas Someras (SWE), Navier-Stokes (NS) y Flujo de Cilindro (Cylinder Flow), la rama dinámica capturó variaciones de alta amplitud y dependientes de la muestra, mientras que la rama persistente codificó estructuras coherentes de baja amplitud y gran escala (ej. geopotencial polar, estelas inducidas por la geometría).
• Modelado Geofísico Multiescala (SWE): FaNO logró el menor Error Relativo Medio (MRE) a través de escalas temporales y espaciales. Crucialmente, bajo extrapolación de resolución cruzada (entrenamiento en rejillas gruesas, prueba en rejillas finas), FaNO mantuvo errores estables por debajo de $2.5 \times 10^{-3}$, mientras que el SFNO de una sola rama se degradó significativamente (errores que se acercan o superan $10^{-2}$).
• Pronóstico Meteorológico en el Mundo Real (WeatherBench): En el conjunto de datos ERA5, FaNO alcanzó el mayor Coeficiente de Correlación de Anomalía (ACC) para pronósticos de rango medio y largo (3 y 5 días) utilizando solo 2.7M de parámetros. Preservó estructuras de flujo a escala planetaria coherentes en horizontes de 120 horas, donde otros métodos acumularon distorsiones estructurales.
• Dinámica de Fluidos y Restricciones Geométricas:
  • Navier-Stokes: FaNO redujo los errores de despliegue manteniendo una organización de vórtices coherente durante las transferencias de viscosidad y resolución, utilizando un 45.8% menos de parámetros que FNO.
  • CylinderFlow (Malla No Estructurada): En despliegues autorregresivos de largo horizonte, FaNO redujo el MSE por paso en aproximadamente un 28.8% en comparación con NORM, evitando la acumulación de distorsiones en la estela aguas abajo.
• Más allá de la Física Dependiente del Tiempo: FaNO superó a las líneas base en las ecuaciones de Darcy y Helmholtz (independientes del tiempo), así como en tareas geométricas como la clasificación de MNIST esférico y la segmentación de superficies, demostrando que el principio de factorización ayuda a separar la estructura global estable de las variaciones locales de la entrada.

5. Significación y Reivindicaciones

El artículo afirma que el modelado físico escalable se beneficia de ir más allá de las formulaciones de sesgo inductivo único. Al descomponer las respuestas de los operadores en componentes dinámicos y persistentes complementarios, FaNO proporciona un sesgo inductivo más adecuado para sistemas físicos heterogéneos.

Las implicaciones clave destacadas por los autores incluyen:

• Mejor Robustez: El mecanismo factorizado mejora la generalización a través de escalas, dominios y regímenes físicos, particularmente en despliegues autorregresivos de largo horizonte y extrapolación de resolución cruzada.
• Interpretabilidad: La especialización espontánea de las ramas ofrece un modelo más interpretable de los sistemas físicos, alineando la arquitectura con la organización heterogénea de la física subyacente.
• Eficiencia: Estas mejoras se logran mediante modificaciones arquitectónicas controladas en lugar de un aumento en la capacidad del modelo, resultando a menudo en menos parámetros que los modelos comparables de una sola rama.

Los autores concluyen que este trabajo representa un paso hacia fundamentos más interpretables, robustos y generalizables para la computación científica, sugiriendo que el aprendizaje automático informado por la física debería considerar representaciones factorizadas que reflejen los distintos mecanismos que gobiernan los sistemas físicos.