Identification of Gaussian Process State-Space Models with Particle Stochastic Approximation EM

Resumen Técnico: Identificación de Modelos de Espacio de Estados de Procesos Gaussianos con Aproximación Estocástica de Partículas de Expectativa-Maximización

Planteamiento del Problema
El artículo aborda el desafío de identificar sistemas dinámicos no lineales donde la dinámica de transición de estados subyacente es desconocida y compleja. La identificación de sistemas tradicional suele depender de modelos paramétricos (por ejemplo, ecuaciones de movimiento específicas o redes neuronales de estructura fija). Sin embargo, seleccionar una estructura paramétrica apropiada es difícil sin un conocimiento previo detallado, y fijar el número de parámetros limita inherentemente la complejidad de las funciones que se pueden ajustar, lo que puede conducir al subajuste (underfitting) o sobreajuste (overfitting).

Los autores proponen el uso de Modelos de Espacio de Estados de Procesos Gaussianos (GP-SSM por sus siglas en inglés) para superar estas limitaciones. Un GP-SSM trata la función de transición de estado como una variable aleatoria extraída de un proceso gaussiano (GP), proporcionando una representación bayesiana no paramétrica. Esto permite capturar una amplia gama de dinámicas no lineales mientras se cuantifica la incertidumbre. El problema específico abordado es la identificación de máxima verosimilitud (ML) de los hiperparámetros que gobiernan estos procesos gaussianos y las características del ruido, manteniendo la descripción no paramétrica completa de la dinámica.

Metodología
La dificultad central en la estimación de ML para los GP-SSM es que la función de verosimilitud requiere marginalizar (integrar fuera) las trayectorias de los estados latentes ($x_{0:T}$) y las funciones de transición desconocidas ($f_{1:T}$). Aunque las funciones desconocidas pueden marginalizarse analíticamente para obtener una distribución previa sobre las trayectorias de estado, la integral resultante sobre el espacio de estados es analíticamente intratable.

Para resolver esto, los autores emplean el algoritmo de Aproximación Estocástica de Partículas de Expectativa-Maximización (PSAEM). Este enfoque combina dos componentes clave:

1. Expectativa-Maximización de Aproximación Estocástica (SAEM): En lugar de calcular la esperanza exacta de la función de log-verosimilitud de datos completos (que es intratable), el SAEM mantiene una aproximación estocástica de la función auxiliar $Q$. Esta se actualiza iterativamente utilizando muestras de la distribución de suavizado (smoothing).
2. Método de Monte Carlo por Cadenas de Markov de Partículas (PMCMC): Dado que el muestreo directo de la distribución de suavizado $p(x_{0:T} | y_{0:T}, \theta)$ es imposible, los autores utilizan Gibbs de Partículas con Muestreo de Ancestros (PGAS). El PGAS construye un núcleo de Markov que deja invariante la distribución de suavizado, permitiendo la generación de trayectorias de muestra $x_{0:T}^{[k]}$ para actualizar la aproximación de la función $Q$.

El algoritmo procede de forma iterativa:

• E-step (Simulación): Se muestrea una nueva trayectoria de estado utilizando PGAS dada la estimación actual de los parámetros.
• Actualización: Se actualiza la aproximación estocástica de la función $Q$ utilizando la log-verosimilitud de la nueva trayectoria.
• M-step (Optimización): Los parámetros $\theta$ (hiperparámetros de la media/covarianza del GP y las varianzas del ruido) se actualizan maximizando la función $Q$ aproximada mediante un método cuasi-Newton (BFGS).

Contribuciones Clave

• Marco Algorítmico: El artículo presenta un método para la identificación por máxima verosimilitud de GP-SSM que evita la necesidad de conjuntos de pseudo-datos o etiquetas débiles de estados no observados, los cuales fueron limitaciones en enfoques previos.
• Integración de PGAS y SAEM: Demuestra la aplicación de Gibbs de Partículas con Muestreo de Ancestros dentro de un marco de SAEM para manejar la integración intratable requerida para la identificación de GP-SSM.
• Riqueza No Paramétrica: El método retiene la naturaleza no paramétrica completa del modelo de sistema. Al marginalizar analíticamente la parte no paramétrica del modelo, el enfoque efectivamente promedia sobre todas las dinámicas posibles consistentes con el prior del GP, actuando como una salvaguarda contra el sobreajuste (similar al Bayes Empírico).

Resultados Experimentales
Los autores validan el método en dos tipos de sistemas:

1. Sistema Lineal: Se identificó un sistema dinámico lineal utilizando funciones de covarianza lineal y exponencial cuadrática.
   • Cuando se utilizó una función de covarianza lineal, el modelo convergió con éxito a parámetros equivalentes a un modelo de espacio de estados lineal con priors gaussianos.
   • Al utilizar una función de covarianza exponencial cuadrática (no lineal) en datos lineales, el modelo identificó correctamente el sistema pero exhibió una alta incertidumbre (barras de error amplias) en regiones donde los datos eran escasos o el modelo tenía menos confianza, demostrando la capacidad del modelo para cuantificar la incertidumbre incluso cuando el sistema real es más simple que la clase del modelo.
2. Sistema No Lineal: Se identificó un sistema no lineal complejo con un gradiente pronunciado en la función de transición de estado y una función de medición cuadrática (que induce bimodalidad).
   • Utilizando una función de covarianza Matérn (que permite una suavidad menor que la exponencial cuadrática) en la dirección del estado, el modelo capturó con éxito las transiciones bruscas y la dinámica subyacente.
   • El modelo identificado proporcionó predicciones probabilísticas con barras de error que reflejaban la incertidumbre, particularmente en regiones alejadas de los datos de entrenamiento.

Significancia y Reivindicaciones
El artículo sostiene que los GP-SSM ofrecen un marco flexible para la identificación de sistemas no lineales que incorpora supuestos de alto nivel (como la suavidad) sin restringir el modelo a una forma paramétrica específica. El enfoque propuesto de PSAEM permite la estimación de los hiperparámetros del modelo mediante la máxima verosimilitud mientras preserva la riqueza no paramétrica de la dinámica.

Los autores enfatizan que este enfoque proporciona predicciones probabilísticas con cuantificación de la incertidumbre, lo cual es crucial para aplicaciones como el control adaptativo y la robótica, donde las estrategias de control pueden depender de la confianza en la dinámica del sistema. El método se presenta como una alternativa robusta a las soluciones totalmente bayesianas (que requieren priors sobre los parámetros) y a la identificación paramétrica estándar, ofreciando un equilibrio entre flexibilidad y viabilidad computacional mediante el uso de inferencia basada en partículas.