Learning Adaptive Parameter Policies for Nonlinear Bayesian Filtering

Título: Aprendizaje de Políticas de Parámetros Adaptativos para Filtrado Bayesiano No Lineal

1. Planteamiento del Problema

Los algoritmos de estimación de estado bayesiana para sistemas no lineales (como el Filtro de Kalman Extendido - EKF, el Filtro de Kalman Unscented - UKF, o los Filtros de Partículas) introducen inevitablemente errores de aproximación. Estos errores dependen de parámetros específicos del algoritmo, tales como:

• El número de partículas.
• Parámetros de escalado (ej. en UKF).
• El número de iteraciones en cálculos iterativos (ej. en el Filtro de Integración Estocástica - SIF).

El problema central: Tradicionalmente, estos parámetros se mantienen fijos o se ajustan mediante heurísticas basadas en el estado actual. Sin embargo, la precisión de la aproximación varía con el tiempo dependiendo del grado local de no linealidad y la incertidumbre. Los errores introducidos en un paso de tiempo se propagan a las actualizaciones futuras, afectando la precisión, la consistencia y la robustez de las estimaciones a largo plazo. Los enfoques actuales suelen ser miopes (optimizan solo el error inmediato) y no consideran las consecuencias a largo plazo de una decisión de parámetro en la distribución de probabilidad posterior futura.

2. Metodología

El artículo propone reformular la selección de parámetros en el filtrado bayesiano no lineal como un problema de toma de decisiones secuencial y resolverlo mediante Aprendizaje por Refuerzo (RL).

• Formulación como Proceso de Decisión de Markov (MDP):

  • Estado de Información ($\bar{s}_k$): En lugar del estado real (desconocido), se utiliza la representación interna del filtro (medias, covarianzas, puntos sigma o partículas) junto con la medición actual.
  • Acciones ($\theta_k$): Los parámetros del filtro (ej. $\kappa$ en UKF, número de iteraciones en SIF) se tratan como acciones.
  • Política ($\pi$): Una función que mapea el estado de información y la medición a una distribución de probabilidad sobre los parámetros.
  • Función de Costo ($\bar{L}$): Se define en función de la calidad de la estimación, la consistencia (ej. Innovación Normalizada al Cuadrado - NIS) y, opcionalmente, el costo computacional.

• Enfoque No Miópico:
  A diferencia de los métodos clásicos que minimizan el error instantáneo, este enfoque utiliza una función de valor de Bellman que considera el horizonte futuro:
  $$V(\bar{s}_k, z_k) = \min_{\theta_k} \left[ \bar{L}(\bar{s}_k, z_k, \theta_k) + \gamma E [V(\Phi_{filter}(\bar{s}_k, z_k, \theta_k), z_{k+1})] \right]$$
  Donde $\gamma$ es el factor de descuento. Esto permite sacrificar un poco de precisión inmediata si eso mejora la consistencia y la estabilidad a largo plazo.

• Algoritmo de Aprendizaje:
  Se emplea un algoritmo Actor-Critic basado en diferencias temporales (TD(0)):

  • Actor (Política): Una red neuronal que selecciona los parámetros estocásticamente.
  • Critic (Función de Valor): Una red neuronal que estima el valor esperado de largo plazo.
  • Se utiliza una red objetivo (target network) para estabilizar el entrenamiento.
  • El entrenamiento es offline (simulaciones de Monte Carlo) y la aplicación es online.

3. Contribuciones Clave

1. Reformulación Teórica: Presenta la adaptación de parámetros como un MDP parcialmente observable (POMDP), vinculando explícitamente la teoría de control óptimo con la estimación bayesiana.
2. Políticas No Miópicas: Demuestra que considerar el horizonte temporal en la selección de parámetros mejora la consistencia del estimador, algo que los métodos heurísticos o miopes no logran.
3. Marco General: El método es aplicable a cualquier filtro bayesiano no lineal (UKF, SIF, Filtros de Partículas) para adaptar diversos tipos de parámetros.
4. Validación Empírica: Se demuestra la eficacia en filtros específicos (UKF y SIF) bajo diferentes modelos de sistemas.

4. Resultados Experimentales

Los autores probaron el método en dos escenarios de prueba:

• Modelo de Crecimiento No Estacionario Univariable (UNGM): Un modelo altamente no lineal con posterior multimodal.
• Modelo de Giro Coordinado (CTM): Un modelo de seguimiento de objetivos con mediciones de acimut.

Comparativa: Se comparó la política adaptativa aprendida contra:

• Parámetros fijos (heurísticos estándar).
• Parámetros fijos óptimos (conocidos a posteriori).
• Adaptación miópica (optimización de un solo paso).
• Selección óptima basada en verosimilitud.

Hallazgos principales:

• Consistencia: La política adaptativa logró los mejores valores de ANEES (Error Cuadrático Normalizado Promedio), indicando que la covarianza estimada coincide mejor con el error real.
• Precisión: En términos de RMSE (Error Cuadrático Medio Raíz), la adaptación superó a los enfoques miopes y fijos, logrando resultados comparables o mejores que los parámetros fijos óptimos (que no se conocen en tiempo real).
• Robustez: El enfoque no miópico mostró una mayor estabilidad a largo plazo, evitando el colapso prematuro de distribuciones multimodales.
• Costo Computacional: En el caso del SIF, al incluir el costo computacional en la función de costo, la política aprendida encontró un equilibrio óptimo entre precisión y número de iteraciones, superando a la optimización miópica que a menudo elige valores subóptimos a largo plazo.

5. Significado e Impacto

Este trabajo representa un paso fundamental hacia la integración del aprendizaje automático en la estimación de estados clásica.

• Cambio de Paradigma: Pasa de ver el filtrado como un problema puramente de inferencia a verlo como un problema de toma de decisiones secuencial.
• Robustez Operativa: Proporciona un marco sistemático para desplegar estimadores no lineales en entornos donde las condiciones (no linealidad, ruido) cambian dinámicamente, eliminando la necesidad de un ajuste manual o heurístico de parámetros.
• Eficiencia: Demuestra que el aprendizaje por refuerzo puede aprender políticas que equilibran automáticamente la precisión, la consistencia estadística y el costo computacional, algo difícil de lograr con métodos tradicionales.

En conclusión, el artículo valida que tratar la adaptación de parámetros como un problema de decisión a largo plazo mediante RL mejora significativamente la fiabilidad y el rendimiento de los filtros bayesianos no lineales en escenarios complejos.