Amortized Filtering and Smoothing with Conditional Normalizing Flows

Resumen Técnico: AFSF

1. Planteamiento del Problema

El filtrado y suavizado bayesiano en sistemas dinámicos no lineales de alta dimensión son problemas fundamentales en áreas como la ciencia de datos, la ingeniería y la economía. El objetivo es estimar estados ocultos de un sistema a partir de observaciones ruidosas.

• Limitaciones de los métodos tradicionales:
  • Aproximaciones Gaussianas (ej. Filtro de Kalman): Fallan cuando las distribuciones posteriores son altamente no lineales o no gaussianas.
  • Métodos de Monte Carlo Secuencial (SMC / Filtros de Partículas): Aunque pueden manejar no linealidades, sufren de degeneración de partículas a medida que aumenta la dimensión del estado o el horizonte temporal. Además, requieren un número de partículas que escala exponencialmente con la dimensión, lo que los hace computacionalmente costosos.
• Limitaciones de los modelos generativos recientes:
  • Los modelos generativos profundos pueden representar distribuciones complejas, pero a menudo tratan el filtrado y el suavizado como tareas separadas.
  • Suelen depender de una optimización por instancia (costosa en tiempo de ejecución), lo que limita su aplicabilidad en entornos en línea (online) y a gran escala.

2. Metodología Propuesta: AFSF

Los autores proponen AFSF (Amortized Filtering and Smoothing with Conditional Normalizing Flows), un marco unificado y amortizado que utiliza flujos normalizadores condicionales y redes neuronales recurrentes.

Componentes Clave:

1. Estadística Resumida Compartida (Recurrent Summary Network):

   • Se utiliza una red neuronal recurrente (LSTM) para codificar el historial de observaciones $y_{1:t}$ en una estadística resumen de dimensión fija ($s_t$).
   • Esta dimensión es independiente de la longitud de la serie temporal, permitiendo manejar secuencias arbitrariamente largas sin aumentar la complejidad de la representación.

2. Dos Flujos Normalizadores Condicionales:

   • Flujo Forward (Hacia adelante): Aproxima la distribución de filtrado $p(u_t | y_{1:t})$ condicionada a la estadística resumen $s_t$. Permite la inferencia en tiempo real.
   • Flujo Backward (Hacia atrás): Aproxima el núcleo de transición inversa $p(u_{t-1} | u_t, y_{1:t-1})$, también condicionado a $s_t$.
   • Acoplamiento: Ambos flujos comparten la misma red de resumen ($s_t$) y los mismos parámetros de codificación. Esto induce una regularización implícita a través de las trayectorias del estado latente, asegurando consistencia entre el filtrado y el suavizado.

3. Procedimiento de Inferencia:

   • Filtrado: Se calcula $s_t$ y se muestrea de la distribución del flujo forward.
   • Suavizado: Se utiliza el flujo forward para obtener la distribución en el tiempo terminal y luego se aplica una recursión hacia atrás utilizando el flujo backward para reconstruir la distribución de suavizado sobre toda la trayectoria $p(u_{1:t} | y_{1:t})$.

4. Variante de Filtro de Partículas Basada en Flujos:

   • Se desarrolla un método híbrido donde los flujos aprendidos se utilizan para modelar la distribución de propuesta y la densidad condicional de las observaciones.
   • Esto permite correcciones secuenciales y ofrece diagnósticos basados en el Tamaño de Muestra Efectivo (ESS) cuando los factores del modelo son explícitos.

3. Contribuciones Principales

1. Marco Unificado Amortizado: AFSF aprende conjuntamente la distribución de filtrado y el núcleo de transición inversa, permitiendo inferencia rápida en tiempo de prueba sin optimización por instancia.
2. Extrapolación Temporal: Al aprender la estructura de evolución temporal subyacente, el modelo puede extrapolar más allá del horizonte de entrenamiento, no solo ajustándose a las trayectorias observadas.
3. Regularización Implícita: El uso de estadísticas resumidas compartidas acopla las distribuciones condicionales, mejorando significativamente la precisión del suavizado a nivel de trayectoria en comparación con entrenar los flujos por separado.
4. Diagnóstico de Degeneración: La variante de filtro de partículas permite monitorear la eficiencia del filtro mediante métricas ESS/RESS.

4. Resultados Experimentales

Los autores evaluaron AFSF en cuatro problemas de referencia de alta dimensión y no linealidad:

• Sistema de Advección-Difusión (1D):
  • Se demostró alta precisión en la aproximación de distribuciones posteriores (baja divergencia KL) y robustez al aumentar la dimensión del estado.
  • El modelo mostró capacidad de extrapolación más allá del horizonte de entrenamiento, manteniendo la precisión en pasos de tiempo futuros.
• Modelo de Volatilidad Estocástica (Dos Factores):
  • En un modelo financiero altamente no lineal, AFSF superó significativamente al método FBF (Flow-based Filtering) y a los filtros de partículas tradicionales.
  • Se validó con datos reales del índice S&P 500, donde el método logró rastrear la volatilidad latente durante periodos de alta turbulencia (ej. inicio de la pandemia y guerra Rusia-Ucrania).
• Ecuación de Burgers (PDEs No Lineales):
  • En un sistema gobernado por EDPs, AFSF mantuvo un rendimiento superior o comparable al estado del arte (FBF) bajo diversos niveles de ruido de observación, demostrando eficiencia en problemas de física computacional.
• Sistemas de Lorenz (Escala Única y Doble):
  • Escala Única: AFSF superó consistentemente a FBF en diferentes dimensiones.
  • Escala Doble: En un sistema donde la densidad de transición efectiva es intratable (al marginalizar las dinámicas rápidas), AFSF demostró una flexibilidad superior, mientras que FBF falló debido a sus suposiciones estructurales.
  • Se confirmó que el uso de una estadística resumen compartida es crítico; sin ella, los errores se acumulan rápidamente durante el suavizado inverso.

Métricas de Evaluación:
El rendimiento se midió utilizando RMSE (Error Cuadrático Medio), MMD (Discrepancia de Medida Máxima) y CRPS (Puntuación de Probabilidad Jerárquica Continua), mostrando consistentemente errores bajos y estabilidad a largo plazo.

5. Significado e Impacto

El trabajo de AFSF representa un avance significativo en la asimilación de datos y la inferencia secuencial:

• Eficiencia Computacional: Elimina la necesidad de optimización costosa en tiempo de ejecución, permitiendo aplicaciones en tiempo real y a gran escala.
• Escalabilidad: Maneja eficazmente sistemas de alta dimensión donde los métodos de partículas tradicionales fallan debido a la maldición de la dimensionalidad.
• Versatilidad: Funciona tanto en sistemas con modelos explícitos como en aquellos donde solo se tiene acceso a un simulador (inferencia basada en simulación).
• Robustez: La capacidad de extrapolar más allá de los datos de entrenamiento y mantener la precisión en horizontes temporales largos lo hace ideal para aplicaciones de pronóstico y control en sistemas complejos.

En conclusión, AFSF proporciona un marco coherente y eficiente para resolver problemas de filtrado y suavizado en sistemas dinámicos complejos, superando las limitaciones de las aproximaciones gaussianas y los métodos de Monte Carlo tradicionales mediante el uso de aprendizaje profundo amortizado y flujos normalizadores.