L4acados: Learning-based models for acados, applied to Gaussian process-based predictive control

Resumen Técnico: L4acados

1. Planteamiento del Problema

La integración de modelos basados en aprendizaje (como Redes Neuronales Artificiales o Procesos Gaussianos) en estrategias de Control Predictivo Basado en Modelos (MPC) ha demostrado mejorar significativamente el rendimiento y la capacidad de adaptación en aplicaciones del mundo real. Sin embargo, existe una brecha tecnológica crítica:

• Desafío de Interfaz: Conectar frameworks de aprendizaje automático (ML) modernos (ej. PyTorch, GPyTorch) con software de control óptimo en tiempo real (como acados) es complejo.
• Limitaciones Actuales: Las implementaciones existentes a menudo requieren reimplementar modelos de aprendizaje dentro de CasADi (el motor de diferenciación automática de acados), lo que limita la eficiencia, la paralelización y la facilidad de uso. Otras aproximaciones simplifican excesivamente los modelos (aproximaciones de segundo orden o parámetros constantes), sacrificando precisión.
• Caso Específico (GP-MPC): En el control basado en Procesos Gaussianos (GP-MPC), la propagación de la incertidumbre (covarianza del estado) dentro del problema de optimización aumenta drásticamente la complejidad computacional, haciendo difícil su aplicación en tiempo real sin algoritmos especializados.

2. Metodología

El artículo propone L4acados, un marco de trabajo general para incorporar modelos de dinámica basados en Python (y sus sensibilidades) directamente en el software de control óptimo en tiempo real acados.

• Mecanismo Central (Sensibilidades Externas):
  • En lugar de derivar simbólicamente el modelo de aprendizaje dentro de CasADi, L4acados parametriza el problema de optimización no lineal (NLP).
  • En cada iteración del algoritmo de Programación Cuadrática Secuencial (SQP), el solver de acados solicita las sensibilidades (gradientes y jacobianos) del modelo residual de aprendizaje.
  • L4acados obtiene estas sensibilidades mediante un módulo Python definido por el usuario, calculando valores y derivadas fuera del núcleo de acados y pasándolas como parámetros del modelo linealizado.
• Paralelización y Eficiencia:
  • El marco permite calcular las sensibilidades de todo el horizonte de predicción en un solo lote (batch) en Python. Esto es crucial para aprovechar la paralelización en GPU o múltiples núcleos de CPU, reduciendo la sobrecarga de comunicación entre dispositivos.
• Implementación de GP-MPC (zoGPMPC):
  • Se extiende el algoritmo de Optimización Robusta de Orden Cero (zoRO) para GP-MPC.
  • Este algoritmo evita la optimización conjunta de la covarianza del estado dentro del bucle SQP (lo cual es costoso). En su lugar, propaga la covarianza basándose en iteraciones anteriores (fijando las restricciones de "apriete" o tightening), logrando un punto factible y subóptimo con un costo computacional drásticamente reducido.
  • Se utiliza GPyTorch para el modelo de GP, aprovechando su capacidad de diferenciación automática y paralelización.

3. Contribuciones Clave

1. L4acados: Un marco de software de código abierto que permite integrar modelos de dinámica residuales basados en Python (PyTorch, TensorFlow, simuladores diferenciables, etc.) en acados sin reimplementarlos en CasADi.
2. Interfaz de Sensibilidades Externas: Una modificación del solver SQP que permite pasar sensibilidades calculadas externamente, manteniendo la compatibilidad con iteraciones en tiempo real (RTI).
3. Implementación Modular de GP-MPC: Una implementación eficiente y modular de MPC basado en Procesos Gaussianos que soporta:
   • Modelos GP arbitrarios de GPyTorch.
   • Estrategias de aprendizaje en línea (actualización de datos en tiempo real).
   • Propagación rápida de covarianzas.
4. Validación en Hardware: Demostración exitosa en dos plataformas físicas: un coche de carreras en miniatura (1:24) y un vehículo autónomo a escala real.

4. Resultados

• Benchmarks de Rendimiento (Redes Neuronales):
  • Se comparó L4acados con L4CasADi (que compila PyTorch a TorchScript) y con modelos CasADi "puros".
  • Resultado: L4acados mostró aceleraciones significativas (speed-ups) en la evaluación de sensibilidades, especialmente para horizontes de predicción largos ($N \ge 10$) y modelos complejos. La capacidad de paralelizar la evaluación del modelo en Python superó las limitaciones de la arquitectura modular de acados para optimización dinámica estándar.
• Carreras Autónomas en Miniatura (Hardware):
  • Se aplicó zoGPMPC en un coche de carreras 1:24.
  • Hallazgo: El controlador con GP (aprendizaje de la dinámica residual de los neumáticos) permitió un manejo más agresivo y rápido que el modelo nominal, manteniendo la seguridad.
  • El aprendizaje en línea (actualizando el modelo con nuevos datos) permitió transiciones suaves de un comportamiento cauteloso a uno agresivo a medida que el modelo mejoraba su precisión.
• Vehículo a Escala Real (Maniobra ISO):
  • Se implementó un controlador GP-MPC para un vehículo de investigación en una maniobra de cambio de carril doble (ISO 3888-1) a 30 km/h.
  • Resultado: El modelo nominal falló en proporcionar un seguimiento estable y cómodo. La versión con GP corrigió la dinámica de dirección y velocidad, logrando un seguimiento estable y reduciendo la carga de los actuadores.
  • Tiempo de Cálculo: El método zoGPMPC se ejecutó en tiempo real con un tiempo total de cálculo promedio de 8.2 ms (frente a 3.1 ms del MPC nominal), muy por debajo del ciclo de control de 20 ms.

5. Significado e Impacto

Este trabajo cierra la brecha entre los avances en modelos de aprendizaje automático y la implementación de control óptimo en tiempo real.

• Flexibilidad: Permite a los investigadores utilizar las últimas arquitecturas de ML y librerías (como GPyTorch) sin perder las garantías de rendimiento y estabilidad de solvers industriales como acados.
• Escalabilidad: La capacidad de paralelizar la evaluación de sensibilidades hace viable el uso de modelos complejos en horizontes de predicción largos, algo que antes era prohibitivo computacionalmente.
• Aplicabilidad Real: Demuestra que el control predictivo basado en aprendizaje (Learning-based MPC) no es solo una simulación teórica, sino una tecnología madura capaz de operar en vehículos autónomos reales, mejorando tanto la seguridad (gestión de incertidumbre) como el rendimiento (velocidad de carrera).

En conclusión, L4acados es una herramienta fundamental que democratiza el uso de modelos de aprendizaje avanzados en sistemas de control críticos, facilitando su adopción en robótica y automoción.