Real-Time Online Learning for Model Predictive Control using a Spatio-Temporal Gaussian Process Approximation

A continuación presento un resumen técnico detallado del artículo "Real-Time Online Learning for Model Predictive Control using a Spatio-Temporal Gaussian Process Approximation" en español.

1. Problema y Motivación

El Control Predictivo Basado en Modelos (MPC) es una estrategia avanzada que optimiza las acciones de control prediciendo el comportamiento futuro del sistema. Sin embargo, su rendimiento depende críticamente de la precisión del modelo dinámico subyacente. En sistemas no lineales complejos, obtener un modelo analítico preciso es a menudo impracticable.

Para abordar esto, se utiliza el MPC basado en aprendizaje (GP-MPC), donde se modelan las dinámicas residuales desconocidas (la discrepancia entre el modelo nominal y el sistema real) mediante Procesos Gaussianos (GP). Los GP ofrecen una adaptación eficiente de datos y cuantificación formal de la incertidumbre.

El desafío principal: La inferencia exacta de un GP tiene una complejidad computacional cúbica ($O(N^3)$) respecto al número de puntos de datos $N$. En escenarios de aprendizaje en línea (online learning), donde los datos se acumulan continuamente, esto genera latencias que violan las restricciones de tiempo real, haciendo inviable el control en aplicaciones críticas como la conducción autónoma de alto rendimiento.

2. Metodología Propuesta

Los autores proponen una implementación eficiente de un modelo aproximado de GP Espacio-Temporal diseñado específicamente para integrarse en un bucle de MPC en tiempo real.

A. Formulación del Sistema

El sistema se modela con dinámicas no lineales discretas donde las dinámicas residuales $g(x, u, t)$ se aproximan como un GP. Se formula un Problema de Control Óptimo Estocástico (OCP) que minimiza el costo esperado sujeto a restricciones de probabilidad (chance constraints). Para hacerlo tratable, se utiliza una aproximación gaussiana de la distribución del estado y se reformulan las restricciones estocásticas como restricciones deterministas "apretadas" (tightened).

B. Algoritmo de Optimización (Zero-Order SQP)

Para reducir aún más la carga computacional, el método emplea un algoritmo de SQP de orden cero (Zero-Order). Este enfoque asume que la propagación de la covarianza tiene un gradiente cero respecto a las variables de optimización durante la iteración. Esto permite eliminar las covarianzas de estado como variables de optimización, precalculándolas basándose en la iteración anterior, lo que reduce significativamente el tamaño del problema de optimización.

C. Modelo Aproximado GP Espacio-Temporal

La contribución central es la combinación de dos técnicas para lograr una complejidad computacional constante ($O(1)$ por paso de tiempo):

1. Inducción Espacial (Spatial Inducing Points): Se utiliza un conjunto fijo de "puntos de inducción" en el espacio de entrada para resumir la información espacial.
2. Estructura Temporal Markoviana: Se asume que el kernel temporal es estacionario y separable. Mediante la transformada de Fourier del kernel temporal (específicamente kernels Matérn de semi-entero), el GP se reescribe como un modelo de espacio de estados lineal.
3. Filtrado de Kalman Recursivo: Al combinar la inducción espacial con la estructura de espacio de estados temporal, el aprendizaje de los parámetros del GP (media y covarianza de los puntos de inducción) se realiza mediante un Filtro de Kalman.
   • Esto permite actualizar el modelo con nuevos datos de forma recursiva sin reentrenar desde cero ni depender del tamaño total del conjunto de datos.
   • Se implementa un Filtro de Kalman de Raíz Cuadrada (Square-root) para garantizar la estabilidad numérica y mantener la matriz de covarianza definida positiva.

D. Implementación

El algoritmo se ha implementado en Python, integrado en el framework L4acados (una extensión de acados para MPC basado en aprendizaje). Utiliza GPyTorch y PyTorch para la diferenciación automática, necesaria para calcular los jacobianos requeridos por el optimizador.

3. Contribuciones Clave

1. Aprendizaje en Línea con Complejidad Constante: A diferencia de los métodos anteriores que requieren descartar datos antiguos (aproximación de subconjunto de datos o SoD) o reentrenar periódicamente, este método permite un aprendizaje continuo de por vida ("life-long") sin aumentar el costo computacional por paso de tiempo.
2. Espacio de Entrada Continuo: A diferencia de otros enfoques de GP espacio-temporal limitados a condiciones operativas discretas, este método opera sobre un espacio de entrada espacial continuo, adecuado para sistemas dinámicos reales.
3. Estabilidad Numérica: La implementación de la descomposición de Cholesky (Filtro de Raíz Cuadrada) previene la inestabilidad numérica común en algoritmos recursivos a largo plazo.
4. Integración en MPC: Se proporciona una implementación de código abierto lista para usar en el control predictivo, validada experimentalmente.

4. Resultados Experimentales

Los autores validaron el método en la aplicación de carreras autónomas de miniaturas (plataforma CRS), sometiendo el vehículo a perturbaciones de dirección variables en el tiempo (cambios en el offset de dirección neutra).

• Rendimiento Computacional:
  • El MPC con GP exacto (usando aproximación SoD con 400 puntos) cumplió con el límite de tiempo real (<30ms), pero solo porque descartó datos antiguos.
  • El GP Espacio-Temporal aproximado mantuvo un tiempo de resolución constante (~7ms para el GP) independientemente de la cantidad de datos acumulados, demostrando su viabilidad para aprendizaje ilimitado en tiempo real.
• Rendimiento Predictivo:
  • El modelo nominal (sin GP) mostró errores de predicción significativos cuando aparecieron las perturbaciones.
  • El GP Espacio-Temporal redujo drásticamente el error de predicción de un paso, adaptándose rápidamente a las nuevas dinámicas.
  • Un modelo de GP puramente espacial (sin dimensión temporal) falló en distinguir estados de perturbación diferentes en las mismas coordenadas espaciales, mostrando errores inconsistentes.
• Rendimiento en la Carrera:
  • Ante perturbaciones variables, el controlador nominal perdió la línea de carrera óptima y violó márgenes de seguridad.
  • El controlador GP-MPC con el modelo propuesto mantuvo una línea de carrera estable y consistente, compensando efectivamente la perturbación y manteniendo los tiempos de vuelta casi inalterados respecto a la condición nominal.

5. Significado y Conclusión

Este trabajo demuestra que es posible integrar el aprendizaje de modelos dinámicos complejos y variables en el tiempo dentro de un bucle de control predictivo en tiempo real, sin sacrificar la precisión por la velocidad de cálculo.

La capacidad de aprender continuamente sin descartar datos históricos es un avance crucial para sistemas que operan en entornos no estacionarios (como vehículos autónomos en condiciones climáticas cambiantes o con desgaste de componentes). La propuesta ofrece un equilibrio óptimo entre la rigurosidad probabilística de los GPs y las estrictas restricciones de tiempo real del control industrial y robótico, abriendo la puerta a sistemas de control más robustos y adaptativos.