Resumen Técnico: Procesos de Operadores Neuronales para el Aprendizaje de Operadores Probabilísticos bajo Observaciones Parciales

1. Planteamiento del Problema

Los Operadores Neuronales (NOs), como el Operador Neuronal de Fourier (FNO), se han consolidado como paradigmas eficaces para aprender mapeos entre espacios de funciones, particularmente para resolver ecuaciones diferenciales parciales (PDE). Sin embargo, los NOs estándar suelen desarrollarse y evaluarse bajo la suposición de campos de entrada-salida densos y completamente emparejados. Esto contrasta con muchos escenarios científicos realistas, como la asimilación de datos, donde la respuesta física objetivo se conoce solo a través de observaciones dispersas, irregulares o parciales, incluso si las propiedades del dominio subyacente se conocen de forma densa.

Además, la cuantificación de la incertidumbre (UQ) en el aprendizaje de operadores sigue estando poco desarrollada, especialmente bajo observaciones dispersas. Los enfoques existentes suelen depender de conjuntos (ensembles) externos al modelo, calibración post-hoc, o permanecen ligados a formulaciones de entrada-salida densas. Mientras tanto, los Procesos Neuronales (NPs) ofrecen una perspectiva complementaria al aprender distribuciones sobre funciones a partir de conjuntos de contexto dispersos mediante la inferencia de variables latentes amortizadas, pero están diseñados principalmente para la regresión de funciones punto a punto y no han sido ampliamente adaptados a mapeos de función-a-función estructurados que requieren un decodificado denso a escala de PDE.

El desafío central abordado en este trabajo es unificar la inferencia condicionada por conjuntos de los NPs con el decodificado de operador estructurado de los NOs para predecir campos de salida completos a partir de un contexto limitado y disperso, proporcionando además una cuantificación de la incertidumbre coherente.

2. Metodología: Procesos de Operadores Neuronales (NOPs)

Los autores introducen los Procesos de Operadores Neuronales (NOPs), un marco que se condiciona a un conjunto de contexto disperso de observaciones conjuntas de entrada-salida para inferir el mapeo de un campo de entrada dado a su solución objetivo densa. El marco soporta variantes tanto deterministas como probabilísticas dentro de una arquitectura compartida de codificador-decodificador.

2.1 Visión General de la Arquitectura

El flujo de trabajo NOP consta de tres etapas principales:

1. Codificación de Contexto: El conjunto de contexto disperso $C = \{(x_i^{(c)}, a_i^{(c)}, u_i^{(c)})\}$ se codifica en una representación condicionada por el contexto $R_C(x)$ evaluada en las ubicaciones de consulta.
2. Construcción del Campo Oculto Inicial: La representación del contexto se combina con la información de entrada del lado de la consulta (el campo de entrada $a(x)$ en una rejilla densa) para formar un campo oculto inicial $v_0(x)$.
3. Decodificación del Operador: Un decodificador de Operador Neuronal (específicamente un decodificador de tipo FNO) procesa $v_0(x)$ para producir la predicción final $\hat{u}(x)$.

2.2 Estrategias de Condicionamiento

El artículo investiga dos mecanismos de condicionamiento complementarios para cerrar la brecha entre la visión basada en conjuntos de los NPs y la visión de dominio continuo de los NOs:

• Condicionamiento SetConv: Una vía de agrupación global (pooling) que eleva el conjunto de contexto disperso e irregular a un campo continuo utilizando convoluciones de conjunto kernelizadas (SetConv). Esto codifica por separado la densidad del soporte del contexto y los valores de campo locales observados.
• Condicionamiento de Atención Alineada con la Consulta: Una vía de atención que modela qué puntos de contexto son más relevantes para cada ubicación de consulta, preservando la estructura geométrica local. Esto permite que el modelo atienda directamente al conjunto de contexto en lugar de depender únicamente de la proximidad del kernel.
• Representación Fusionada: Estas vías pueden combinarse en una representación fusionada antes del decodificado.

2.3 Extensión Probabilística

Para permitir la cuantificación de la incertidumbre, la arquitectura determinista se extiende con una variable latente global $z$ que captura la incertidumbre a nivel de tarea.

• Inferencia Latente: Se utiliza un resumen global de la representación inducida por el contexto para inferir un prior condicionado por el contexto $p_\theta(z | C)$. Durante el entrenamiento, se aprende una posterior aproximada $q_\phi(z | C, U_Q)$ utilizando las salidas objetivo.
• Condicionamiento Latente: La variable latente $z$ se inyecta en la etapa de entrada (concatenación por difusión con $v_0(x)$) en lugar de modular las capas del decodificador, lo cual resultó producir una inferencia condicionada por el prior más estable.
• Distribución Predictiva: La distribución predictiva final se obtiene mediante la marginalización de la verosimilitud factorizada condicionalmente sobre la variable latente, descomponiendo la incertidumbre en un componente global de nivel de tarea (desde $z$) y un componente local de predicción (desde la verosimilitud de salida).

3. Contribuciones Clave

1. Formulación: Los autores formulan el aprendizaje de operadores bajo observaciones parciales como una predicción condicionada por el contexto en el espacio de funciones y proponen los NOPs como el marco correspondiente.
2. Arquitectura: Introducen arquitecturas NOP deterministas y probabilísticas que comparten un flujo de codificador-decodificador, presentando mecanismos distintos para la agregación de contexto (SetConv vs. Atención) y la incertidumbre latente.
3. Distinción Empírica: El trabajo identifica una distinción empírica entre el condicionamiento global y el local, demostrando que la atención que preserva la geometría es particularmente valiosa en entornos sensibles a la geometría, mientras que la vía preferida depende del objetivo de inferencia y del régimen de la PDE.
4. Validación: A través de experimentos sistemáticos y ablaciones, los autores muestran que los NOPs igualan o superan a los operadores neuronales de rejilla densa observando solo una pequeña fracción del campo de respuesta (menos del 25% en 1D y menos del 7% en 2D), proporcionan estimaciones de incertidumbre significativas y se mantienen competitivos computacionalmente durante la inferencia.

4. Resultados Experimentales

El marco fue evaluado en cuatro familias de referencia: regresión de Procesos Gaussianos (GP) (como diagnóstico), ecuación de Burgers 1D (suave, periódica), flujo de Darcy 2D (no periódico, sensible a la geometría) y Navier–Stokes 2D (periódico pero dinámicamente complejo).

4.1 Desempeño Determinista

• Viabilidad de la Dispersión: La predicción de operadores condicionados dispersos es viable, con las variantes de NOP logrando errores comparables o ligeramente inferiores a las referencias de FNO de rejilla densa estándar.
• Dependencia del Régimen:
  • Burgers (Periódica): La vía de atención mejora el desempeño incluso en configuraciones estándar, alineándose bien con el decodificador espectral.
  • Darcy (No periódica): Preservar la geometría local entre contexto y consulta mediante la atención es esencial. La variante que usa solo SetConv se degrada bajo muestreo uniforme, pero mejora con observaciones agrupadas, mientras que la variante basada en atención (DANOP) suaviza las variaciones de desempeño entre estrategias de muestreo, mostrando mayor robustez ante cambios en la geometría de observación.
  • Navier–Stokes: La atención proporciona mayor robustez ante cambios en la estrategia de muestreo de contexto y el presupuesto, aunque SetConv sigue siendo competitivo bajo evaluación uniforme estándar.

4.2 Desempeño Probabilístico

• Cuantificación de la Incertidumbre: El marco proporciona estimaciones de incertidumbre significativas que se amplían en regiones débilmente restringidas.
• Condicionamiento Latente: Las extensiones probabilísticas preservan la capacidad predictiva. La brecha entre el promedio del prior y el promedio de la posterior es modesta, lo que indica que el prior aprendido está bien alineado con la posterior.
• Parametrización de la Varianza:
  • Burgers: Los cabezales heterocedásticos (HE) funcionan mejor, con brechas entre posterior y prior insignificantes.
  • Darcy: Los cabezales homocedásticos (HO) suelen funcionar mejor, actuando como un regularizador que evita que el modelo absorba la dificultad mediante la inflación de la varianza.
  • Navier–Stokes: Los cabezales HE son superiores; los cabezales HO son demasiado restrictivos para este régimen dinámico heterogéneo, lo que conduce a un desempeño degradado.
• Robustez: La arquitectura con condicionamiento fusionado (PANOP) generalmente supera a la variante de solo SetConv (PNOP), particularmente en evaluaciones de cero latencia, lo que sugiere que el condicionamiento consciente de la geometría apoya mejor la inferencia estocástica latente.

4.3 Ablaciones y Limitaciones

• Transferencia de Resolución Cruzada: Aunque la regresión de Burgers 1D exhibe una transferencia exitosa a rejillas más finas (zero-shot), los entornos 2D no periódicos (Darcy, Navier–Stokes) muestran una degradación significativa. Esto sugiere que la representación condicional aprendida no se transfiere limpiamente entre discretizaciones en regímenes complejos, una limitación que podría ser compartida por la interacción entre las representaciones dispersas y los decodificadores espectrales.
• Costo de Entrenamiento vs. Inferencia: Las extensiones probabilísticas aumentan el tiempo de entrenamiento y la memoria (debido a los grafos de inferencia latente) pero mantienen una latencia de inferencia modesta (milisegundos por lote).
• Modos de Fallo: Un modo de fallo central es la pérdida de la estructura espacial cuando el contexto local se comprime excesivamente en resúmenes globales. Esto es benigno en configuraciones periódicas suaves pero perjudicial en regímenes sensibles a la geometría como Darcy.

5. Significación y Reivindicaciones

El artículo sostiene que los NOPs proporcionan un marco práctico, explícito y extensible para combinar la inferencia condicional dispersa, el decodificado de operador estructurado y la cuantificación de la incertidumbre. La significación del trabajo reside en:

• Unificación: Unir el aprendizaje de operadores y el meta-aprendizaje probabilístico en el espacio de funciones.
• Principios de Diseño: Aclarar que preservar explícitamente la geometría local es un requisito de diseño clave para entornos sensibles a la geometría, y que una inferencia probabilística fiable requiere un condicionamiento latente que complemente en lugar de sobrescribir los sesgos inductivos espaciales del tronco determinista.
• Practicidad: Demostrar que la predicción de campos completos con incertidumbre coherente es factible utilizando solo una pequeña fracción de las observaciones, ofreciendo ahorros potenciales en sensores o almacenamiento para aplicaciones donde las mediciones densas son costosas.

Los autores mantienen la modestia respecto al alcance, señalando que los benchmarks no cubren dinámicas fuertemente caóticas, sistemas altamente multiescala o geometrías irregulares, y que el uso de un backbone FNO fijo puede limitar el desempeño en regímenes no periódicos. Identifican como trabajo futuro el desarrollo de representaciones latentes espacialmente estructuradas y familias de decodificadores mejor adaptadas a geometrías irregulares.