Nested ensemble Kalman filter for static parameter inference in nonlinear state-space models

A continuación presento un resumen técnico detallado del artículo "Nested ensemble Kalman filter for static parameter inference in nonlinear state-space models" (Filtro de Kalman de conjunto anidado para inferencia de parámetros estáticos en modelos de espacio de estados no lineales), escrito por Andrew Golightly et al.

1. Planteamiento del Problema

El trabajo aborda el desafío de la inferencia bayesiana secuencial para parámetros estáticos desconocidos ($\theta$) y estados latentes ($X_t$) en modelos de espacio de estados (SSM) no lineales.

• Contexto: Los filtros de partículas (PF) son el estándar para la inferencia en estados, pero sufren de "degeneración de pesos" en espacios de alta dimensión.
• Limitación actual: El algoritmo SMC2 (Sequential Monte Carlo 2) resuelve la inferencia de parámetros estáticos anidando un filtro de partículas sobre los estados dentro de un filtro de partículas sobre los parámetros. Sin embargo, en sistemas con estados de alta dimensión, el filtro de partículas interno requiere un número exponencial de partículas para mantener la precisión, lo que lo hace computacionalmente prohibitivo.
• Alternativa existente: El Filtro de Kalman de Conjunto (EnKF) es eficiente en alta dimensión al evitar el re-muestreo mediante actualizaciones basadas en desplazamientos (shifting) bajo una aproximación gaussiana. No obstante, los métodos existentes que combinan EnKF con inferencia de parámetros (como la augmentación de estado o el EnKF anidado simple) a menudo asumen relaciones lineales-gaussianas entre parámetros y observaciones, lo cual es irrealista en muchos casos prácticos, o carecen de un marco riguroso para la mutación de parámetros.

2. Metodología Propuesta: NEnKF

Los autores proponen el Filtro de Kalman de Conjunto Anidado (NEnKF), un algoritmo híbrido que combina la estructura de re-muestreo-mutación del SMC2 con la eficiencia computacional del EnKF.

Mecanismo Central

En lugar de usar un filtro de partículas para estimar la verosimilitud de los datos observados en el paso de re-pesado de los parámetros, el NEnKF utiliza el EnKF:

1. Pesado de Partículas de Parámetros: Cada partícula de parámetro $\theta^i$ se re-pesa utilizando una estimación de la verosimilitud de los datos observados calculada mediante un EnKF que corre condicionalmente a ese $\theta^i$.
2. Mutación (Resample-Move): Cuando la diversidad de las partículas de parámetros decae (medida por el Tamaño de Muestra Efectivo, ESS), se activa un paso de "Resample-Move". Se propone un nuevo parámetro $\theta^*$ y se acepta/rechaza mediante un kernel Metropolis-Hastings pseudo-marginal, donde la verosimilitud necesaria se calcula nuevamente usando el EnKF.

Extensiones Clave

El artículo introduce varias mejoras para aumentar la eficiencia y la aplicabilidad:

• Kernel de Aceptación Retardada (Delayed Acceptance - DA): Para mitigar el costo computacional del paso de mutación (que requiere ejecutar el EnKF completo), se propone un esquema de dos etapas.
  • Etapa 1: Se evalúa una propuesta de parámetro utilizando un surrogado de verosimilitud basado en un promedio ponderado por distancia inversa de los $k$-vecinos más cercanos de las partículas de parámetros ya evaluadas.
  • Etapa 2: Solo si la propuesta pasa el umbral de la etapa 1, se ejecuta el EnKF completo para calcular la verosimilitud exacta. Esto reduce drásticamente el número de ejecuciones costosas del EnKF.
• Modelos de Observación No Lineales: Reconociendo que el EnKF asume linealidad y normalidad, los autores proponen dos estrategias para manejar no linealidades:
  1. NEnKF Directo: Usar una aproximación lineal-gaussiana local (vía expansión de Taylor o enriquecimiento del estado) dentro del EnKF. Esto es rápido pero puede introducir sesgo.
  2. SMC2 Rao-Blackwellizado (RB-SMC2): Utilizar el EnKF solo como mecanismo de propuesta (para generar partículas de estado) dentro de un filtro de partículas interno. Las partículas se re-pesan utilizando la verosimilitud exacta del modelo no lineal. Esto corrige el sesgo del EnKF manteniendo una mayor eficiencia que un SMC2 estándar, especialmente cuando el estado se modela a una frecuencia más fina que las observaciones.

3. Contribuciones Principales

1. Marco Híbrido Riguroso: Integración del EnKF dentro del marco SMC2 para inferencia de parámetros estáticos, superando la necesidad de asumir linealidad-gaussianidad estricta entre parámetros y estados.
2. Eficiencia Computacional: Demostración de que el NEnKF escala linealmente con la dimensión del estado (en lugar de exponencialmente como el SMC2 estándar), haciéndolo viable para sistemas de alta dimensión.
3. Optimización del Paso de Mutación: Implementación de un kernel de aceptación retardada con surrogados de $k$-vecinos más cercanos, reduciendo el costo computacional sin sacrificar la convergencia asintótica.
4. Manejo de No Linealidades: Propuesta del esquema RB-SMC2, que ofrece un compromiso controlado entre precisión inferencial y costo computacional en modelos con observaciones no lineales.

4. Resultados Experimentales

Los autores evaluaron el método en cuatro aplicaciones de complejidad creciente:

• Proceso Ornstein-Uhlenbeck (Lineal): Comparación contra SMC2, EnKF aumentado (AEnKF) y EnKF de partículas (PEnKF).
  • Resultado: El NEnKF y PEnKF mostraron alta precisión y bajo sesgo. El AEnKF falló significativamente debido a la suposición de linealidad entre parámetros y observaciones. El NEnKF fue computacionalmente eficiente.
• Modelo Lotka-Volterra (No Lineal, Observación No Lineal):
  • Resultado: El NEnKF fue 4 veces más rápido que el SMC2 estándar y 2 veces más rápido que RB-SMC2. Aunque el NEnKF mostró un ligero sesgo debido a la aproximación de la varianza de observación, RB-SMC2 corrigió este sesgo con un costo intermedio.
• Modelo Epidemiológico (Dos nodos, Datos Reales): Aplicación a la propagación de la polilla procesionaria del roble.
  • Resultado: El NEnKF y RB-SMC2 produjeron inferencias consistentes. Se estimó que un SMC2 estándar requeriría ~5,000 partículas de estado, mientras que el NEnKF lo logró con solo 85 miembros del conjunto, demostrando una ventaja de eficiencia masiva.
• Modelo Lorenz-96 (Alta Dimensión, $d=5$ y $d=10$):
  • Resultado: Para $d=10$, el SMC2 requirió 4,700 partículas de estado y tardó ~2,700 minutos, mientras que el NEnKF requirió solo ~250 miembros del conjunto y tardó ~147 minutos. El NEnKF fue **19 veces más eficiente** computacionalmente manteniendo una precisión comparable a la "verdad fundamental" (gold standard).

5. Significado y Conclusión

El NEnKF representa un avance significativo en la inferencia bayesiana para sistemas dinámicos complejos. Su principal valor reside en su capacidad para manejar modelos con un número alto de componentes de estado dinámicos pero un número bajo de parámetros estáticos a estimar (un escenario común en geociencias, epidemiología y ecología).

• Ventaja Clave: Elimina la barrera de la "maldición de la dimensionalidad" asociada a los filtros de partículas anidados, permitiendo inferencia en tiempo real o casi real en sistemas de alta dimensión.
• Flexibilidad: Al ofrecer opciones como el RB-SMC2, permite a los investigadores elegir el equilibrio adecuado entre velocidad y precisión según la naturaleza de la no linealidad de sus modelos.
• Impacto: El método es "plug-and-play" (requiere solo simulación hacia adelante y evaluación de densidad de observación), lo que facilita su adopción en aplicaciones prácticas donde los modelos son complejos y no lineales.

En resumen, el artículo demuestra que sustituir el filtro de partículas interno por un EnKF dentro de un esquema SMC2, complementado con técnicas de aceptación retardada, ofrece una solución robusta, escalable y precisa para la inferencia de parámetros en modelos de espacio de estados no lineales de alta dimensión.