Do Neural Operators Forget Geometry? The Forgetting Hypothesis in Deep Operator Learning

Resumen Técnico: La Hipótesis del Olvido en el Aprendizaje de Operadores Profundos

Enunciado del Problema
Los operadores neuronales han surgido como un paradigma poderoso para aprender operadores solución de Ecuaciones Diferenciales Parciales (EDP), ofreciendo capacidades de evaluación sin entrenamiento previo (zero-shot). Sin embargo, su capacidad para generalizar a geometrías irregulares sigue siendo un desafío significativo. Mientras que los enfoques existentes se centran en estrategias sofisticadas de codificación de entrada (por ejemplo, transformaciones de coordenadas, métodos basados en grafos o tokenización de la geometría), el comportamiento de estos modelos a medida que la información se propaga a través de capas profundas es poco comprendido. Los autores identifican una brecha crítica: no está claro si las arquitecturas estándar de operadores neuronales retienen inherentemente la información geométrica o si la pierden progresivamente a medida que aumenta la profundidad.

Metodología
El artículo formaliza la Hipótesis del Olvido Geométrico, postulando que la estructura markoviana de las capas estándar de operadores neuronales, combinada con la dependencia de mecanismos de mezcla global (como las Transformadas Rápidas de Fourier en FNO o la autoatención en Transformers), conduce a una pérdida progresiva de información geométrica.

1. Marco Teórico: Los autores modelan el operador neuronal como una cadena de Markov donde el estado oculto $V_{l+1}$ depende únicamente del estado anterior $V_l$ y no explícitamente de la geometría del dominio $G$. Al aplicar la Desigualdad de Procesamiento de Datos, demuestran que la información mutua $I(G; V_l)$ es no creciente con la profundidad. En consecuencia, sin la reintroducción explícita de restricciones geométricas, las representaciones profundas se aproximan a la independencia estadística de la geometría del dominio.
2. Sondas de Diagnóstico: Para cuantificar este olvido, los autores introducen dos proxies medibles:
   • Fidelidad Geométrica por Capa: Un decodificador auxiliar reconstruye la máscara del dominio a partir de características latentes en cada capa. Un aumento del Error Cuadrático Medio (MSE) en la reconstrucción indica pérdida de información geométrica macroscópica.
   • Distribución de Potencia Espectral: Esto analiza el contenido de frecuencia de las características latentes para detectar la pérdida de información de frontera (componentes de alta frecuencia correspondientes a fronteras nítidas).
3. Inyección de Memoria Geométrica: Para contrarrestar el olvido, los autores proponen un mecanismo ligero que rompe la cadena de Markov inyectando explícitamente la geometría $G$ en capas intermedias mediante una regla de actualización $V_{l+1} = M_l(O_l(V_l), G)$. Evalúan tres estrategias de integración: Modulación Afín (FiLM), Inyección Aditiva y Concatenación.
4. Caso de Control: El estudio utiliza el Operador Neuronal de Laplace (LNO) como control. A diferencia de los métodos basados en Fourier, LNO utiliza una formulación de polos-residuos que codifica matemáticamente las condiciones de frontera, proporcionando teóricamente una "memoria intrínseca" de la geometría.

Resultados Clave
Se realizaron experimentos en diversos puntos de referencia de dinámica de fluidos (FlowBench, AirfRANS, Darcy) que involucran dominios irregulares y tareas de generalización sin entrenamiento previo.

• Validación del Olvido: Tanto los operadores espectrales (FNO) como los basados en atención (Transolver) demostraron una decadencia sistemática de la información geométrica.
  • FNO: Sufrió la pérdida de información de frontera de alta frecuencia, lo que llevó a fronteras suavizadas en las predicciones.
  • Transolver: Exhibió un "colapso geométrico macroscópico", fallando en reconstruir la forma general del dominio en capas más profundas.
• Eficacia de la Inyección de Memoria: La introducción de la inyección de memoria geométrica redujo consistentemente los errores relativos $L_2$ en todos los conjuntos de datos. Por ejemplo, en el conjunto de datos LDC-NSHT, el error de FNO disminuyó de $4.11 \times 10^{-1}$ a $2.39 \times 10^{-1}$, y el de Transolver de $2.73 \times 10^{-1}$ a $2.30 \times 10^{-1}$.
• Memoria Intrínseca vs. Externa: El caso de control LNO mostró ganancias mínimas de rendimiento con la inyección de memoria externa, confirmando que su formulación matemática preserva inherentemente la información geométrica. Esto valida que el olvido observado en FNO y Transolver es una deficiencia estructural, no una limitación general de capacidad.
• El Atajo Geométrico: Se descubrió una inestabilidad crítica en los operadores basados en Transformers (Transolver). Cuando la geometría se inyecta solo en la capa final, el optimizador explota esta información explícita para eludir por completo el núcleo de física. El análisis de gradientes reveló que la capa final se satura con señales de gradiente mientras que las capas aguas arriba colapsan, lo que lleva al colapso de características y a aumentos catastróficos del error. Este fenómeno no se observó en FNO, que permanecieron robustos ante la profundidad de inyección.

Significado y Afirmaciones
El artículo afirma proporcionar la primera explicación fundamentada de por qué es necesaria la condición geométrica continua en el aprendizaje de operadores profundos. Los autores argumentan que la retención de geometría es un requisito estructural y no una mera elección de diseño.

• Limitación Estructural: El estudio revela que las arquitecturas estándar están predispuestas a "diluir" la información geométrica debido a sus operaciones de mezcla global.
• Necesidad Arquitectónica: Los hallazgos sugieren que confiar únicamente en la codificación de entrada es insuficiente; las restricciones geométricas deben mantenerse activamente a lo largo de la profundidad de la red para prevenir la disipación de información.
• Perspectiva de Estabilidad: El descubrimiento del "Atajo Geométrico" en modelos basados en atención destaca una divergencia fundamental en cómo las arquitecturas espectrales y basadas en atención manejan el flujo de información, haciendo necesaria la integración temprana de la geometría para la estabilidad en operadores basados en Transformers.

Los autores concluyen que la investigación futura debe cambiar el enfoque desde codificadores de entrada complejos y estrategias de inyección heurísticas hacia mecanismos arquitectónicos fundamentados que preserven activamente la memoria geométrica a lo largo de toda la red.