Generative Model Proposal based Particle Filtering for Data Assimilation

Resumen Técnico: Filtros de Partículas con Propuesta de Flujo (FPPF)

Planteamiento del Problema
La asimilación de datos (DA) consiste en inferir la trayectoria del estado latente de un sistema dinámico a partir de observaciones secuenciales imperfectas. En el entorno de filtrado, el objetivo es calcular la distribución posterior $p(x_t | o_{1:t})$ dada toda la información de las observaciones hasta el tiempo $t$. Si bien las soluciones clásicas como el Filtro de Kalman (KF) y el EnKF son efectivas para sistemas lineales-gaussianos, fallan en regímenes no lineales, no gaussianos o de alta dimensión. Los Filtros de Partículas (PF) ofrecen una alternativa general al representar la posterior con un conjunto ponderado, pero sufren de "degeneración de pesos" en altas dimensiones: el número de partículas necesarias para evitar el colapso de los pesos crece exponencialmente con la dimensión efectiva del estado.

Los enfoques generativos recientes intentan aprender transiciones de estado condicionales directamente, pero a menudo los despliegan de forma autorregresiva sin actualizaciones bayesianas fundamentadas. Esto conduce a la acumulación de errores en horizontes largos debido a que la posterior de filtrado nunca se forma correctamente combinando la prior y la verosimilitud mediante la regla de Bayes. Por el contrario, los PF estándar utilizan una propuesta de "bootstrap" que ignora las observaciones entrantes durante el paso de predicción, lo que provoca que las partículas caigan en regiones de baja verosimilitud y resulte en un rápido colapso de los pesos.

Metodología
Los autores proponen los Filtros de Partículas con Propuesta de Flujo (FPPF), un método que integra un modelo generativo condicional aprendido dentro del marco de Re-muestreo de Importancia Secuencial (SIR) para aproximar la propuesta óptima que minimiza la varianza $q^*(x_t | x_{t-1}, o_t) = p(x_t | x_{t-1}, o_t)$.

1. Propuesta de Ajuste de Flujo Condicional (Conditional Flow Matching):
   En lugar de utilizar la prior de transición $p(x_t | x_{t-1})$ como la propuesta, FPPF aprende una distribución condicional $q_\phi(x_t | x_{t-1}, o_t)$ utilizando Ajuste de Flujo Condicional (FM). Este marco parametriza la propuesta mediante un campo de velocidad dependiente del tiempo $v_\phi$ que transporta muestras desde una distribución base simple (por ejemplo, ruido gaussiano) hacia la distribución de la propuesta objetivo a través de una Ecuación Diferencial Ordinaria (ODE).

   • Entrenamiento: El campo de velocidad se entrena fuera de línea (offline) sobre tuplas simuladas $(x_{t-1}, o_t, x_t)$ minimizando el error cuadrático medio entre la velocidad predicha y la velocidad objetivo (interpolación lineal entre el ruido y el estado real).
   • Condicionamiento: La red está condicionada tanto al estado previo $x_{t-1}$ como a la observación actual $o_t$. Para evitar una dependencia excesiva de observaciones ruidosas, el entrenamiento emplea dropout de observación y enmascaramiento de coordenadas en el estado previo.

2. Pesos de Importancia Tratables:
   Una ventaja crítica del Ajuste de Flujo es que permite la evaluación exacta de la verosimilitud mediante la fórmula de cambio de variables instantáneo. Esto permite el cálculo de los pesos de importancia requeridos para la actualización SIR:
   $$\tilde{w}_t^{(i)} \propto w_{t-1}^{(i)} \frac{p(o_t | x_t^{(i)}) p(x_t^{(i)} | x_{t-1}^{(i)})}{q_\phi(x_t^{(i)} | x_{t-1}^{(i)}, o_t)}$$
   Dado que el denominador $q_\phi$ es tratable, el filtro realiza una actualización bayesiana fundamentada, corrigiendo cualquier imperfección en la propuesta. La traza del Jacobiano necesaria para la evaluación de la densidad se estima eficientemente utilizando el estimador de traza de Hutchinson.

3. Localización para Altas Dimensiones (L-FPPF):
   Para abordar la maldición de la dimensionalidad en sistemas espacialmente extendidos, los autores introducen L-FPPF. Esta variante reemplaza la red de velocidad global por una red basada en parches que opera en vecindarios locales.

   • El campo de velocidad se factoriza de tal manera que la velocidad de un sitio depende únicamente de su vecindario local.
   • Esta arquitectura asegura que la log-densidad de la propuesta se factorice a través de los sitios, permitiendo que los pesos de importancia se calculen localmente.
   • El método emplea un re-muestreo por bloques, restringiendo la dimensión efectiva del problema de re-muestreo al radio de localización en lugar de la dimensión global del estado.

Contribuciones Clave

1. Marco FPPF: La introducción de un método de filtrado que aprende una propuesta generativa condicional informada por la observación que aproxima la propuesta óptima, integrada en un marco SIR estándar.
2. Densidad Tratable mediante Ajuste de Flujo: La demostración de que el ajuste de flujo condicional permite el muestreo eficiente y la evaluación exacta de la densidad, permitiendo el cálculo fundamentado de los pesos de importancia sin recurrir a mecanismos de guía aproximados.
3. Variante Localizada (L-FPPF): La extensión de las propuestas aprendidas a entornos de alta dimensión mediante una red de velocidad basada en parches que factoriza la log-densidad de la propuesta, permitiendo el re-muestreo localizado y la escalabilidad a grandes dimensiones de estado.
4. Validación Empírica: Evaluación exhaustiva en sistemas dinámicos caóticos (Lorenz-63, Lorenz-96, Kuramoto-Sivashinsky) demostrando un rendimiento superior sobre filtros clásicos, otros métodos de propuestas aprendidas y líneas base generativas autorregresivas.

Resultados Experimentales
Los autores evalúan FPPF y L-FPPF frente a líneas base que incluyen BPF, APF, EnKF y métodos generativos autorregresivos (FlowDAS, NASMC, InfNN) a través de tres regímenes:

• Escalabilidad con la Dimensión del Estado: En el sistema Lorenz-96, FPPF logra consistentemente un Error Cuadrático Medio (RMSE) y un Puntaje de Probabilidad Clasificado Continuamente (CRPS) más bajos que las líneas base a medida que aumenta la dimensión. Mientras que los PF globales (BPF, APF) sufren de colapso de pesos, FFFP mantiene un Tamaño de Muestra Efectivo (ESS) más alto. L-FPPF escala con éxito a dimensiones de 1,000 con un tamaño de ensamble fijo, mientras que los métodos globales fallan.
• Regímenes No Gaussianos: En experimentos con operadores de observación no gaussianos (por ejemplo, $h(x) = \min(x^4, 10)$) y priors multimodales (Lorenz-63 con observaciones dispersas), el EnKF falla catastróficamente debido a las suposiciones gaussianas. FPPF supera a todas las líneas base, incluyendo otros métodos aprendidos, al capturar con precisión la estructura multimodal.
• Estabilidad de Largo Horizonte: En la ecuación de Kuramoto-Sivashinsky con observaciones temporalmente dispersas, los métodos generativos autorregresivos (FlowDAS) acumulan errores significativos a lo largo de trayectorias largas. FPPF permanece estable, manteniendo tasas de error bajas debido a su paso de actualización bayesiana fundamentado.
• Convergencia: En un entorno lineal-gaussiano, la propuesta de flujo aprendida converge a la propuesta óptima de forma cerrada, y el ESS resultante se acerca al máximo teórico.

Significancia y Reivindicaciones
El artículo afirma que FPPF resuelve la tensión entre la flexibilidad de los modelos generativos y el rigor estadístico del filtrado bayesiano. Al aprender una propuesta que dirige las partículas hacia regiones de alta verosimilitud antes de la ponderación, FPPF reduce la varianza de los pesos y retrasa la degeneración. Crucialmente, a diferencia de los despliegues puramente generativos, FPPF retiene la corrección SIR completa, asegurando que el filtro apunte a la verdadera posterior incluso cuando la propuesta es imperfecta.

Los autores enfatizan que L-FPPF extiende estos beneficios a sistemas de alta dimensión donde los PF estándar son intratables, logrando una generalización zero-shot a mayores dimensiones de estado mediante el aprovechamiento de las correlaciones espaciales locales. El trabajo sugiere que combinar propuestas aprendidas e informadas por la observación con la evaluación exacta de la densidad ofrece un camino robusto para la asimilación de datos en dominios científicos complejos, no lineales y de alta dimensión.