Operator Learning for Reconstructing Flow Fields from Sparse Measurements: a Language Model Approach

Resumen Técnico: Aprendizaje de Operadores para la Reconstrucción de Campos de Flujo a partir de Mediciones Escasas: un Enfoque de Modelo de Lenguaje

Enunciado del Problema
Reconstruir campos de flujo continuos a partir de mediciones escasas, irregulares y ruidosas es un desafío fundamental en la mecánica de fluidos y la computación científica. Los solucionadores numéricos tradicionales y los enfoques estándar de aprendizaje automático a menudo tienen dificultades cuando las observaciones no están alineadas en mallas estructuradas o cuando los datos están altamente incompletos (por ejemplo, menos del 10% del dominio observado). Los métodos existentes, como la interpolación, el Kriging o los operadores neuronales como DeepONet y FNO, a menudo dependen de discretizaciones estructuradas o de suposiciones específicas sobre la distribución de los datos que limitan su aplicabilidad a escenarios no estructurados del mundo real.

Metodología: RFormer
Los autores proponen RFormer (Reconstruction Former), un nuevo marco de aprendizaje de operadores que adapta la arquitectura de modelos de lenguaje solo de decodificador (transformers) para realizar una reconstrucción de campo sin malla. La innovación central radica en reformular el problema físico de reconstrucción como una tarea de aprendizaje de secuencia a secuencia, análogo al aprendizaje en contexto en el procesamiento del lenguaje natural.

• Formulación: El problema se plantea como un mapeo de contexto a consulta. Los puntos de datos observados (pares posición-valor) se tratan como tokens de contexto, mientras que las ubicaciones no observadas se tratan como tokens de consulta (solo posición, con valores enmascarados). El objetivo del modelo es predecir los "tokens de respuesta" (los valores faltantes) basándose en el contexto.
• Arquitectura: RFormer utiliza un transformer solo de decodificador.
  • Construcción de Tokens: Los tokens de entrada son vectores continuos que concatenan coordenadas espaciales ($x$) y valores de campo ($v$). Los tokens de consulta utilizan $[x, 0]$ para indicar el estado desconocido. No se utilizan codificaciones posicionales; el modelo aprende las relaciones espaciales directamente a partir de los canales de coordenadas.
  • Mecanismo de Atención: Se diseña una máscara de atención personalizada para reflejar la lógica de reconstrucción: los tokens de consulta pueden atender a todos los tokens de observación (para agregar información conocida), pero se les impide atender a otros tokens de consulta (evitando la filtración de información entre desconocidos). Los tokens de observación se atienden a sí mismos y a observaciones anteriores.
  • Entrenamiento: El modelo se entrena para minimizar el Error Cuadrático Medio Relativo (Relative RMSE) únicamente en las posiciones de consulta.
• Escalabilidad: El marco es invariante a la discretización. Los campos grandes se manejan mediante inferencia por fragmentos, donde los puntos de consulta se procesan en lotes, lo que permite que el método escale a conjuntos de datos con cientos de miles de puntos (por ejemplo, 300,000 puntos en simulaciones de flujo sanguíneo) sin aumentar los parámetros del modelo.

Contribuciones Clave

1. Paradigma de Modelo de Lenguaje para la Física: El artículo introduce una nueva perspectiva para el aprendizaje de operadores científicos, aprovechando las capacidades de secuencia a secuencia de los modelos de lenguaje para manejar datos no estructurados y escasos sin mallas fijas.
2. Reconstrucción Sin Malla: El método opera directamente sobre nubes de puntos arbitrarias, eliminando la necesidad de pasos de preprocesamiento como la teselación de Voronoi o la rasterización de mallas requeridos por los enfoques basados en CNN.
3. Aprendizaje en Contexto para Operadores: Al tratar las mediciones escasas como contexto, el modelo se generaliza a ubicaciones de consulta arbitrarias sin actualizaciones de parámetros específicas de la tarea, alineándose con la familia de Procesos Neuronales Condicionales (CNP) pero implementado mediante un transformer estructurado solo de decodificador.

Resultados Experimentales
Los autores evalúan RFormer en cuatro conjuntos de datos diversos, comparándolo con líneas base que incluyen interpolación lineal, Kriging, POD Gappy, CNN de Voronoi y variantes de procesos neuronales (CNP, ANP, TNP).

1. Calle de Vórtices 2D (Sintético): RFormer logró el menor Error Cuadrático Medio Relativo total (0.0080), superando significativamente a la CNN de Voronoi (0.0184) y a los procesos neuronales (0.16–0.30). Demostró robustez incluso con densidades de observación tan bajas como el 1% y ruido de medición moderado.
2. Clima de Estados Unidos Contiguos (Mundo Real): Utilizando datos diarios de temperatura de 2,020 estaciones (con solo 59 observadas), RFormer logró un Error Cuadrático Medio Relativo de 0.1757 y un $R^2$ por estación de 0.9465, superando a todas las líneas base, incluido el POD Gappy y el TNP.
3. Flujo Sanguíneo 3D (Simulación DPD): En un entorno 3D desafiante con ~300,000 puntos por instantánea, RFormer logró el menor Error Cuadrático Medio Relativo total (0.6604), superando ligeramente al TNP (0.6616) y al CNP (0.6630). El modelo se entrenó con datos instantáneos ruidosos pero se probó en campos promediados en el tiempo, demostrando su capacidad para aprender estructuras coherentes.
4. Flujo Turbino 3D (Experimental): Para datos de flujo turbulento 3D no estructurados, RFormer logró un Error Cuadrático Medio Relativo total de 0.2540, reduciendo aproximadamente a la mitad el error del siguiente mejor método (TNP con 0.4882). Crucialmente, el análisis espectral mostró que RFormer preservó el espectro de energía cinética y la descomposición de alto número de onda con mayor precisión que otros métodos, indicando una captura superior de estructuras turbulentas multiescala.

Significado y Afirmaciones
El artículo afirma que RFormer demuestra el potencial de las arquitecturas de modelos de lenguaje como herramientas robustas y escalables para la reconstrucción de datos científicos. Al manejar con éxito datos altamente incompletos (menos del 10% observado) en escenarios sintéticos, del mundo real y 3D no estructurados, el trabajo sugiere una dirección prometedora hacia el desarrollo de modelos fundamentales para aplicaciones científicas e ingenieriles. Los autores postulan que este enfoque ofrece un marco generalizable que puede ajustarse finamente para tareas específicas o utilizarse directamente mediante aprendizaje en contexto, acelerando potencialmente los flujos de trabajo de simulación y diseño en mecánica de fluidos. El trabajo no afirma resolver todos los desafíos de la modelización de la turbulencia, sino que destaca una vía específica y efectiva para la reconstrucción escasa utilizando aprendizaje de operadores basado en transformers.