Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC

Resumen Técnico: Inferencia Bayesiana y Aprendizaje en Modelos de Espacio de Estados de Procesos Gaussianos con PMCMC

Planteamiento del Problema

Los modelos de espacio de estados (SSM, por sus siglas en inglés) se utilizan ampliamente para modelar series temporales y sistemas dinámicos, típicamente definidos por una trayectoria de estado latente $x_{0:T}$ y una función de transición de estado $f$. Un desafío significativo surge cuando la dinámica $f$ es desconocida y altamente no lineal. Los enfoques tradicionales suelen recurrir a representaciones paramétricas de $f$ o utilizan algoritmos de Esperanza-Maximización (EM) que pueden conducir al sobreajuste, particularmente en espacios de estados de alta dimensión o cuando la distribución de suavizado es incierta.

Si bien los Procesos Gaussianos (GP) ofrecen una prior no paramétrica flexible para $f$, la aplicación de los mismos a los SSM es difícil debido a que los estados latentes $x_{0:T}$ no son observados. Los métodos existentes a menudo aproximan el GP utilizando un conjunto finito de puntos objetivo, lo que efectivamente convierte al modelo en paramétrico, o dependen de modelos fijos de la dinámica de transición para el suavizado. El problema central abordado en este artículo es cómo realizar la inferencia y el aprendizaje bayesiano completo en SSMs no lineales y no paramétricos sin sacrificar la expresividad del modelo ni incurrir en costos computacionales prohibitivos.

Metodología

Los autores proponen un marco de trabajo totalmente bayesiano donde se coloca una prior de Proceso Gaussiano directamente sobre la función de transición de estado $f$ desconocida. Se asume que el modelo de observación $g$ es conocido (posiblemente parametrizado), mientras que la dinámica $f$ es tratada como una función aleatoria.

1. Marginalización de la Función de Transición
En lugar de inferir simultáneamente la posterior conjunta sobre los estados, los hiperparámetros y la función $f$, los autores marginalizan la función de transición $f$. Este enfoque de "colapso" permite que el método respete la naturaleza no paramétrica del modelo. Al condicionar sobre la trayectoria del estado $x_{0:T}$, la prior marginal $p(x_{0:T} | \theta)$ puede expresarse como un producto de Gaussianas. Aunque esta distribución no es Gaussiana en sí misma (debido a la dependencia no lineal de la media y la covarianza respecto a los estados), mantiene una estructura apta para la inferencia secuencial.

2. Monte Carlo por Cadenas de Markov de Partículas (PMCMC)
Para muestrear de la distribución de suavizado conjunta resultante $p(x_{0:T}, \theta | y_{0:T})$, los autores emplean un muestreador de Monte Carlo por Cadenas de Markov de Partículas (PMCMC), específicamente Gibbs con Muestreo de Ancestros (PGAS).

• Monte Carlo Secuencial (SMC): El algoritmo utiliza SMC para aproximar la distribución de suavizado. Sin embargo, el SMC estándar sufre de degeneración de trayectoria, donde la diversidad de las partículas se pierde para los pasos temporales alejados de la observación final.
• PGAS: Para mitigar la degeneración de trayectoria y permitir la inferencia sobre los hiperparámetros $\theta$, se utiliza PGAS. Este combina pasos de muestreo de Gibbs para la trayectoria del estado y los hiperparámetros. Crucialmente, utiliza un Filtro de Partículas Condicional con Muestreo de Ancestros (CPF-AS) para muestrear la trayectoria del estado. En el CPF-AS, una trayectoria de partícula queda fija (condicionada) en cada paso, mientras que las demás son muestreadas. El paso de "muestreo de ancestros" permite que la trayectoria fija re-mucee sus ancestros, asegurando que el núcleo de Markov deje invariante la distribución de suavizado exacta y mejorando las tasas de mezcla.

3. Construcción de GP Dispersos (Sparse GP)
Para abordar la complejidad computacional, que ingenuamente escala como $O(T^4)$ o $O(T^3)$, los autores introducen una construcción de GP disperso utilizando la prior de Condicional Totalmente Independiente (FIC). Al introducir un conjunto de variables inductoras, la complejidad computacional se reduce a $O(M^2T)$, donde $M \ll T$ es el número de puntos inductores. Los detalles de implementación involucran actualizaciones eficientes de las factorizaciones de Cholesky para mantener esta complejidad durante la recursión hacia adelante del filtro de partículas.

4. Aprendizaje de la Dinámica
Una vez que se obtienen las muestras de la distribución de suavizado $p(x_{0:T}, \theta | y_{0:T})$, la posterior sobre la función de transición $f$ está disponible en forma cerrada. La distribución predictiva para un nuevo punto de prueba se formula como una mezcla de Gaussianas, donde cada componente corresponde a una muestra de la distribución de suavizado. Esta mezcla captura correctamente la multimodalidad derivada de la ambigüedad en las mediciones.

Contribuciones Clave

• Inferencia Totalmente No Paramétrica: El artículo presenta un método que retiene la plena expresividad no paramétrica de los Procesos Gaussianos en los SSM, evitando la necesidad de discretizar el espacio de funciones o asumir una forma paramétrica específica para las dinámicas.
• Estrategia de Marginalización: Al marginalizar la función de transición $f$, los autores desacoplan el aprendizaje de las dinámicas de la estimación de estado, permitiendo la inferencia exacta de la distribución de suavizado dado la trayectoria del estado.
• PGAS para SSMs: La aplicación de Gibbs con Muestreo de Ancestros a los GP-SSMs permite un muestreo eficiente de la distribución de suavizado conjunta y la posterior de los hiperparámetros, superando los problemas de degeneración de trayectoria de los filtros de partículas estándar.
• Eficiencia Computacional: La integración de métodos de GP dispersos (prior FIC) reduce la carga computacional, haciendo que el enfoque sea escalable a series temporales más largas.

Resultados Experimentales

Los autores evalúan su enfoque en dos referentes (benchmarks):

1. Referente de Sistema No Lineal: Un sistema con densidades de suavizado bimodales (debido a la ambigüedad de signo en las observaciones). El GP-SSM capturó con éxito la naturaleza bimodal de la trayectoria del estado y aprendió las dinámicas con precisión, incluso cuando se inicializó con una función media paramétrica deficiente. El Error Cuadrático Medio (RMSE) para las dinámicas aprendidas fue significativamente menor que las bases paramétricas y comparable al modelo real con parámetros conocidos.
2. Sistema de Carro y Péndulo (Cart and Pole): Un referente de aprendizaje por refuerzo con un espacio de estado de 4 dimensiones. Utilizando solo 100 observaciones ruidosas, el modelo aprendió una representación de la dinámica capaz de realizar predicciones de un paso adelante. La distribución predictiva resultante (una mezcla de Gaussianas) reflejó correctamente una mayor incertidumbre en regiones del espacio de estados alejadas de los datos de entrenamiento y una menor incertidumbre cerca de los datos de entrenamiento.

Significado y Reivindicaciones

El artículo afirma que su principal significancia radica en proporcionar un componente vital para la inferencia en los GP-SSM: la capacidad de aprender el propio modelo GP de manera totalmente bayesiana. A diferencia de trabajos previos que asumían que las dinámicas del GP ya estaban aprendidas o utilizaban aproximaciones paramétricas, este enfoque permite una complejidad de modelo adaptativa.

Los autores enfatizan que su método preserva la expresividad no paramétrica del modelo, permitiendo capturar fenómenos dinámicos complejos que los modelos paramétricos podrían omitir. Señalan que el enfoque es particularmente robusto en escenarios con alta incertidumbre en la distribución de suavizado, donde los enfoques tradicionales basados en MAP o EM podrían sufrir de sobreajuste. El uso de PGAS asegura que la inferencia no esté limitada por las suposiciones de modelo fijas de las técnicas de suavizado convencionales, ofreciando un marco flexible para la identificación de sistemas en entornos no lineales y no paramétricos.