Resumen Técnico: Sesgo de Frecuencia y Generalización OOD en Operadores Neuronales bajo una Ecuación de Onda de Coeficiente Variable

1. Enunciado del Problema

Los operadores neuronales están diseñados para aprender mapeos entre funciones de entrada y las soluciones de ecuaciones diferenciales parciales (EDP), sirviendo como sustitutos para simulaciones numéricas repetidas. Si bien arquitecturas como el Operador Neural de Fourier (FNO) y la Red de Operador Profundo (DeepONet) han demostrado un fuerte rendimiento dentro de la distribución (ID) en diversas tareas de EDP, su comportamiento bajo desplazamientos de distribución estructurados sigue siendo insuficientemente comprendido.

Este trabajo investiga una brecha específica: si un fuerte rendimiento ID garantiza una extrapolación estable cuando el contenido de frecuencia de la entrada o la estructura del medio (suavidad del coeficiente) difieren de la distribución de entrenamiento. Esto es crítico para aplicaciones científicas del mundo real donde los modelos deben operar en sistemas físicos que difieren sistemáticamente de los datos de entrenamiento. El estudio se centra en una tarea de aprendizaje de operador de estado terminal gobernada por una ecuación de onda de coeficiente variable unidimensional, un modelo fundamental para la propagación de ondas en medios heterogéneos.

2. Metodología

2.1. Formulación del Problema

El estudio define un operador de mapeo $G: (u_0(x), c(x)) \mapsto u(x, T)$, donde:

• $u_0(x)$: Campo de desplazamiento inicial.
• $c(x)$: Coeficiente de velocidad de onda que varía espacialmente (gobierna la velocidad de propagación local).
• $u(x, T)$: Solución de la onda en un tiempo terminal fijo $T$.
  La ecuación utilizada es la ecuación de onda de coeficiente variable conservativa: $u_{tt} = \partial_x(c(x)^2 u_x)$, con condiciones de frontera de Dirichlet homogéneas y velocidad inicial cero.

2.2. Arquitecturas Comparadas

El trabajo realiza una comparación empírica controlada entre dos arquitecturas representativas con sesgos inductivos distintos:

• Operador Neural de Fourier (FNO): Utiliza convolución espectral en el espacio de Fourier. Eleva las entradas a un espacio latente y las actualiza mediante capas de Fourier que aprenden transformaciones entre un conjunto fijo y truncado de modos de baja frecuencia. Esto impone un sesgo hacia estructuras suaves y asume que las características dominantes de la solución residen en frecuencias bajas.
• Red de Operador Profundo (DeepONet): Emplea una descomposición rama-tronco. La red de rama codifica las funciones de entrada en coeficientes, mientras que la red de tronco codifica las coordenadas espaciales en funciones base. La salida es un producto interno de estos, aprendiendo efectivamente una expansión dependiente de la coordenada sin truncamiento espectral fijo explícito.

2.3. Diseño Experimental

Para aislar los efectos arquitectónicos, los autores construyeron configuraciones fuera de la distribución (OOD) estructuradas, manteniendo constantes otros factores (escala del modelo, preentrenamiento):

1. Desplazamientos de Frecuencia: Campos de desplazamiento inicial ($u_0$) que contienen componentes de frecuencia más alta que los vistos durante el entrenamiento.
2. Desplazamientos de Suavidad: Campos de coeficientes ($c(x)$) con niveles variables de variabilidad espacial (suave, medio, rugoso), alterando la heterogeneidad del medio.

Los datos se generaron utilizando un solucionador conservativo de diferencias finitas. Las métricas de evaluación incluyeron el error relativo $L_2$, una cantidad diagnóstica similar a la energía y análisis de error espectral para examinar la distribución del error a través de los modos de Fourier.

3. Contribuciones Clave

1. Formulación de la Tarea: Definición de una tarea de aprendizaje de operador de estado terminal basada en una ecuación de onda de coeficiente variable conservativa con configuraciones de evaluación ID controlada y OOD estructurada.
2. Comparación Controlada: Proporció una comparación directa y justa entre FNO y DeepONet bajo un marco experimental unificado para evaluar los efectos arquitectónicos en la generalización.
3. Insight Mecanístico: Combinó el análisis de error espectral con pruebas OOD estructuradas para revelar cómo diferentes representaciones de operadores interactúan con la estructura de frecuencia, ofreciendo insights empíricos sobre los mecanismos de generalización en configuraciones de EDP basadas en física.

4. Resultados y Análisis

4.1. Rendimiento bajo Desplazamientos de Suavidad

Ambos modelos mantuvieron un rendimiento estable cuando cambió la suavidad del campo de coeficientes $c(x)$. El FNO logró un error general menor en estos escenarios.

4.2. Rendimiento bajo Desplazamientos de Frecuencia

Se observó una divergencia aguda en el comportamiento cuando las entradas contenían componentes de alta frecuencia no vistos:

• FNO: Exhibió un aumento agudo en el error. La degradación no se limitó a las frecuencias más altas, sino que se manifestó como errores elevados en un rango de modos de Fourier de media a alta frecuencia. El análisis espectral reveló que las entradas de alta frecuencia no vistas disruptaron las relaciones espectrales aprendidas, causando que los errores se propagaran a través de múltiples bandas de frecuencia. Aumentar el número de modos de Fourier retenidos (capacidad espectral) no mitigó esto; de hecho, el error OOD aumentó con más modos, lo que sugiere que el problema es la representación arquitectónica y no la capacidad.
• DeepONet: Mostró una degradación más leve a pesar de tener un error general mayor en configuraciones ID. El aumento del error fue gradual y distribuido espacialmente. El análisis espectral indicó una distribución de error más uniforme sin los picos concentrados observados en el FNO. El modelo preservó mejor la estructura oscilatoria general (ubicaciones de picos/valles), evitando los desplazamientos de fase severos y las distorsiones locales observadas en el FNO.

4.3. Correlación Espacial-Espectral

El estudio encontró una relación consistente entre los errores espaciales y espectrales. Para el FNO, las distorsiones espaciales localizadas bajo condiciones de frecuencia OOD correspondieron a desviaciones espectrales de múltiples modos. Para DeepONet, los errores se distribuyeron más uniformemente, careciendo de la acumulación estructurada a través de bandas de frecuencia específicas.

5. Significado y Afirmaciones

El trabajo argumenta que el sesgo de representación arquitectónica juega un papel central en la determinación de la generalización bajo desplazamientos de distribución.

• Limitación de las Métricas ID: Un fuerte rendimiento dentro de la distribución no conduce necesariamente a una extrapolación estable cuando cambian las estructuras de frecuencia de entrada.
• Sesgo Arquitectónico: La degradación aguda del FNO bajo desplazamientos de frecuencia se atribuye a su dependencia del truncamiento espectral fijo y las relaciones espectrales aprendidas que no logran extrapolarse más allá del régimen de entrenamiento. Por el contrario, la expansión de base dependiente de la coordenada de DeepONet permite una transición más suave al encontrar frecuencias no vistas, aunque puede no capturar detalles finos con tanta precisión como el FNO dentro de la distribución de entrenamiento.
• Implicación para la Fiabilidad: Estos hallazgos subrayan la necesidad de evaluación OOD estructurada y análisis espectral para desarrollar operadores neuronales más fiables para simulaciones basadas en física. Los autores sugieren que las arquitecturas futuras podrían necesitar adaptarse explícitamente a las propiedades espectrales de las funciones de entrada (por ejemplo, representaciones conscientes de la frecuencia) para mejorar la robustez.

El trabajo concluye que comprender los modos de fallo de los sustitutos aprendidos de EDP es esencial para su despliegue seguro y fiable en aplicaciones científicas e ingenieriles donde las condiciones físicas pueden diferir sistemáticamente de los datos de entrenamiento.