RK-MPC: Residual Koopman Model Predictive Control for Quadruped Locomotion in Offroad Environments

Resumen Técnico: RK-MPC para Locomoción de Cuadrúpedos

1. El Problema

Los robots cuadrúpedos que operan en entornos no estructurados (terrenos irregulares, nieve, grava) enfrentan desafíos significativos debido a la incertidumbre en el contacto, variaciones en la fricción y errores de modelado.

• Limitaciones de los enfoques basados en física: Los métodos de Control Predictivo de Modelo (MPC) tradicionales, basados en dinámicas de cuerpo rígido simplificado (SRB), a menudo sufren de una fidelidad de predicción insuficiente cuando hay cambios bruscos en los puntos de apoyo, cumplimiento del terreno o perturbaciones no modeladas.
• Limitaciones de los enfoques puramente de aprendizaje: Los métodos basados en aprendizaje por refuerzo (RL) pueden ser ágiles, pero carecen de garantías de seguridad explícitas, son ineficientes en términos de muestras y no ofrecen una estructura predictiva natural para la navegación con restricciones.
• Desafíos de los métodos de Koopman existentes: Las aproximaciones puras de Koopman (como EDMD) para sistemas de alta dimensión y con muchos contactos a menudo requieren diccionarios de observables complejos. Estos pueden volverse inestables en horizontes de predicción largos debido a la deriva de las restricciones geométricas (ej. pérdida de ortogonalidad en matrices de rotación $SO(3)$) y son sensibles al diseño del diccionario.

2. Metodología: RK-MPC

El artículo propone RK-MPC (Residual Koopman Model Predictive Control), un marco híbrido que combina un modelo físico nominal con una corrección residual aprendida de datos.

• Modelado Híbrido:
  • Modelo Nominal: Se utiliza un modelo de cuerpo rígido simple (SRB) linealizado y basado en física como columna vertebral. Este modelo captura la dinámica dominante y mantiene la estructura convexa necesaria para la optimización en tiempo real.
  • Corrección Residual: En lugar de aprender la dinámica completa del sistema, el método aprende un predictor lineal residual en coordenadas elevadas (lifted coordinates) utilizando la teoría del Operador de Koopman y EDMD con control (EDMDc). Este residual corrige sistemáticamente el error de modelado ($e_k = x_k - x^{nom}_k$) causado por efectos no modelados (variabilidad de contacto, fricción, dinámica de actuadores).
• Formulación Convexa:
  • El predictor residual se integra dentro de un problema de optimización cuadrática (QP) convexa.
  • La dinámica del sistema se propaga como: $\hat{x}_{k+1} = x^{nom}_{k+1} + \hat{e}_{k+1}$, donde el término residual se calcula mediante una evolución lineal en el espacio elevado.
  • Esto permite mantener las ventajas del control basado en optimización (manejo de restricciones de fricción y contacto) mientras se mejora la precisión de la predicción.
• Garantías Teóricas:
  • Los autores demuestran teóricamente que el error de predicción multi-paso está acotado, siempre que el error del modelo nominal sea pequeño y la aproximación residual esté acotada. Esto asegura estabilidad en la predicción a largo plazo.
• Arquitectura de Control:
  • Se implementa en una arquitectura jerárquica: un planificador global genera trayectorias de referencia, un FSM (Máquina de Estados Finitos) gestiona las fases de balanceo/apoyo, y el RK-MPC calcula las fuerzas de reacción en el suelo óptimas.
  • El controlador se ejecuta a 500 Hz en hardware, utilizando solo sensores propioceptivos (locomoción "ciega").

3. Contribuciones Principales

1. Modelado Residual de Koopman: Un marco que aprende una corrección lineal compacta sobre un modelo físico nominal, proporcionando garantías formales sobre el error de predicción multi-paso.
2. Formulación Convexa RK-MPC: Una implementación de MPC que integra el predictor residual en un controlador de horizonte deslizante, capaz de ejecutarse en tiempo real a 500 Hz en hardware embebido.
3. Validación Exhaustiva: Demostración exitosa tanto en simulación (Gazebo) como en hardware real (Unitree Go1), logrando locomoción ciega robusta en diversos terrenos (pasto, grava, nieve, hielo) y bajo perturbaciones externas.
4. Análisis Comparativo: Se demuestra que el enfoque residual supera a los métodos EDMD puros (monomiales y basados en $SE(3)$) en términos de estabilidad a largo plazo y menor sensibilidad al diseño de observables.

4. Resultados Experimentales

Los experimentos se realizaron en el robot Unitree Go1 y en simulación:

• Rendimiento de Predicción (Simulación):
  • El modelo RK-MPC superó significativamente a los modelos EDMD puros (monomiales y $SE(3)$). Mientras que los modelos EDMD puros mostraron inestabilidad y deriva de rotación ($SO(3)$) en horizontes largos, RK-MPC mantuvo errores de predicción bajos y estables.
  • El error cuadrático medio (RMSE) en velocidad lineal y angular fue comparable o mejor que el modelo SRB no lineal, pero con una complejidad computacional mucho menor.
• Rendimiento de Seguimiento (Hardware):
  • Seguimiento de Velocidad: El robot siguió comandos de velocidad planar (lineal y angular) con alta precisión en terreno plano.
  • Robustez a Perturbaciones: El sistema recuperó el equilibrio tras empujes laterales y longitudinales y mantuvo la estabilidad al caminar sobre un campo de escombros.
  • Generalización de Patrones de Marcha: Aunque el modelo residual se entrenó solo con datos de trote (trot), el controlador funcionó correctamente con un patrón de marcha de arrastre (crawl) sin reentrenamiento, demostrando generalización.
  • Terrenos No Estructurados: El robot logró caminar y girar de manera estable en pasto, grava, nieve y hielo. En hielo, aunque hubo deslizamiento, el controlador mantuvo la estabilidad dinámica y recuperó la tracción ajustando las fuerzas normales.
• Eficiencia Computacional:
  • El tiempo de resolución del QP fue de aproximadamente 0.89 ms (promedio), permitiendo una tasa de control de 500 Hz en una computadora a bordo (NVIDIA Jetson Xavier NX). Esto es más rápido que las implementaciones basadas en modelos no lineales o EDMD-$SE(3)$.

5. Significado e Impacto

El trabajo presenta un camino práctico y validado en hardware para el control predictivo de cuadrúpedos en entornos complejos.

• Equilibrio Óptimo: RK-MPC logra un punto medio ideal entre la rigidez de los modelos físicos puros (que fallan ante incertidumbres) y la "caja negra" de los modelos de aprendizaje profundo (que carecen de garantías y estructura).
• Viabilidad en Tiempo Real: Demuestra que es posible utilizar modelos de aprendizaje de datos (Koopman) dentro de esquemas de optimización convexa en tiempo real, superando las limitaciones de estabilidad de los métodos de elevación pura.
• Aplicabilidad: La capacidad de operar sin sensores externos (visión/LiDAR) y adaptarse a terrenos desconocidos mediante corrección de modelo hace que esta tecnología sea altamente relevante para la exploración robótica y misiones de rescate en entornos hostiles.

En conclusión, RK-MPC ofrece una solución robusta y eficiente que mejora la fidelidad de la predicción sin sacrificar la estructura de control ni la capacidad de ejecución en tiempo real, estableciendo un nuevo estándar para la locomoción de cuadrúpedos en entornos no estructurados.