Resumen Técnico: Imitación y Ajuste Fino del Control Predictivo por Modelos para la Locomoción Cuadrúpeda Robusta y Simétrica

Declaración del Problema

Diseñar controladores de locomoción robustos para robots con patas sigue siendo un desafío significativo debido a la dinámica subactuada, discreta y de alta dimensión de estos sistemas. El control basado en modelos tradicional (por ejemplo, Control Predictivo por Modelos o MPC) ha demostrado una agilidad y robustez impresionantes, pero a menudo depende de un modelado matemático extenso y heurísticas predefinidas (como las de Raibert). Estos modelos luchan en situaciones complejas e inusuales, como terrenos irregulares, resbaladizos o de cinta transportadora, donde ocurren deslizamientos de las patas u obstáculos inesperados. Por el contrario, los enfoques basados en aprendizaje (por ejemplo, Aprendizaje por Refuerzo Profundo o Deep RL) pueden resolver automáticamente problemas poco intuitivos utilizando grandes volúmenes de datos, pero a menudo requieren un diseño manual extenso de recompensas para producir patrones de marcha simétricos, periódicos y de alta calidad. Sin un ajuste cuidadoso, las políticas aprendidas pueden exhibir movimientos entrecortados y asimétricos que no se transfieren al hardware real. Además, los enfoques híbridos existentes a menudo sufren altos costos computacionales debido a la necesidad de ejecutar MPC a altas frecuencias o fallan al generalizar más allá de trayectorias de referencia individuales.

Metodología: El Marco IFM

Los autores proponen un nuevo marco de Imitación y Ajuste Fino del Control Predictivo por Modelos (IFM) que integra las fortalezas del control basado en modelos y los algoritmos basados en aprendizaje mediante un proceso de tres etapas:

Etapa 0: Control Predictivo por Modelos Experto (MPC)

El marco comienza desarrollando un controlador experto ($\pi_E$) utilizando Programación Dinámica Diferencial (DDP) y heurísticas de Raibert.

• Diseño: El MPC predice estados futuros y genera entradas de control óptimas basadas en una función de costo convexa. Utiliza restricciones de pirámide de fricción para las patas de apoyo y control de impedancia en el espacio de tareas para las patas de balanceo.
• Limitación: Aunque es robusto, este MPC es computacionalmente costoso (aproximadamente 12.4 ms por optimización) y depende de un modelo fijo, lo que dificulta su ejecución en tiempo real en hardware y limita su adaptabilidad a terrenos no vistos.
• Conversión de Acciones: Para cerrar la brecha con los algoritmos de aprendizaje, las salidas de par del MPC se convierten en ángulos articulares objetivo utilizando un modelo inverso proporcional-derivativo (PD), haciendo que los datos sean compatibles con las políticas de redes neuronales.

Etapa 1: Aprendizaje por Imitación (IL)

El MPC experto se utiliza para generar un conjunto de datos para el preentrenamiento de una política de red neuronal ($\pi_I$).

• Algoritmo: Los autores emplean Agregación de Conjuntos de Datos (DAgger). En lugar de una clonación de comportamiento simple, la política se ejecuta y el MPC experto corrige las acciones para estados no vistos, agregando estos datos para mitigar la discrepancia de distribución.
• Arquitectura: Un Perceptrón Multicapa (MLP) con tres capas ocultas (512, 256, 64 neuronas) toma observaciones que incluyen la orientación del cuerpo, los estados articulares, el historial y los comandos del usuario.
• Objetivo: Esta etapa crea una "clonación" del MPC que es computacionalmente eficiente y aprendible, heredando los patrones de marcha simétricos y periódicos del experto sin el alto costo de optimización.

Etapa 2: Ajuste Fino mediante Aprendizaje por Refuerzo (RL)

La política imitada se ajusta finamente posteriormente en terrenos desafiantes utilizando Optimización de Política Próxima (PPO).

• Aprendizaje por Currículo: La política se entrena en un currículo de terrenos (irregular, irregular discreto, escalón, acantilado) con dificultad creciente (factor de terreno) para evitar la pérdida de los estilos de movimiento preentrenados.
• Formulación de Recompensa: Los autores utilizan una configuración de Recompensa Simple (SR) (seguimiento de velocidad, minimización de movimientos innecesarios, regularización de par) y una configuración de Recompensa de Contacto (CR) (añadiendo sesgo de contacto). Crucialmente, el preentrenamiento reduce significativamente la carga de ingeniería de recompensas en comparación con el RL puro.
• Exploración Constrained: Para mantener los estilos de movimiento beneficiosos aprendidos durante la imitación, el ajuste fino de RL emplea una exploración restringida (desviación estándar inicial pequeña, tasas de aprendizaje bajas y parámetros de recorte PPO pequeños).
• Simulación a Realidad: Se aplica aleatorización de dominio al ruido de observación, fricción del motor, ganancias PD, fricción del suelo y latencia de comandos para garantizar una transferencia sin disparos al hardware.

Contribuciones Clave

1. Marco Novel: La propuesta del marco IFM, que combina sistemáticamente MPC y RL para aprovechar la robustez del control basado en modelos y la adaptabilidad de los métodos basados en aprendizaje.
2. Mejora del Rendimiento: Demostración de que IFM mejora significativamente la robustez del MPC experto en terrenos irregulares, resbaladizos y de cinta transportadora, mientras reduce drásticamente el tiempo de cálculo (de ~15 ms a ~1 ms).
3. Eficiencia y Calidad: Evidencia de que IFM produce patrones de marcha más simétricos, periódicos y energéticamente eficientes en comparación con el RL puro, logrando esto con un diseño mínimo de recompensas y una convergencia más rápida.
4. Validación en Hardware: Despliegue exitoso en el robot Mini Cheetah, mostrando tasas de éxito superiores al saltar obstáculos y seguir velocidades en comparación tanto con el MPC original como con las líneas base puras de RL.

Resultados Experimentales

Los autores realizaron simulaciones extensas y experimentos en hardware en el Mini Cheetah:

• Robustez: En simulación, IFM superó al MPC experto y a las políticas solo de DAgger en terrenos irregulares, resbaladizos y de cinta transportadora no vistos. Mientras que el MPC falló en cintas transportadoras debido a patrones de pisada fijos, IFM adaptó su marcha efectivamente.
• Rendimiento de Seguimiento: En terreno plano, IFM(SR) logró los errores de seguimiento lineal más bajos, superando tanto a MPC como a RL puro. RL puro(SR) exhibió un seguimiento deficiente debido al "pronking" (movimiento vertical excesivo), un problema mitigado por el preentrenamiento de IFM.
• Tasas de Éxito en Hardware:
  • Cruce de Obstáculos: IFM(CR) logró una tasa de éxito del 90% al saltar obstáculos de 7.5 cm, mientras que el MPC ajustado para hardware (WBIC) y DAgger fallaron completamente a esta altura.
  • Terreno Resbaladizo: Las políticas de IFM atravesaron con éxito una superficie con un coeficiente de fricción de 0.22, mientras que MPC y DAgger cayeron debido a su dependencia de las heurísticas de Raibert, que no podían manejar un deslizamiento significativo.
• Calidad del Movimiento: Las políticas de IFM demostraron un Menor Costo de Transporte (CoT) y un Índice de Retrato de Fase (PPI) más bajo en comparación con el RL puro, indicando patrones de marcha más energéticamente eficientes y simétricos. Los retratos de fase de IFM mostraron una superposición casi perfecta entre las patas izquierda y derecha, a diferencia de los movimientos asimétricos del RL puro.
• Eficiencia: IFM convergió en aproximadamente 2,000 iteraciones, significativamente más rápido que el RL puro (aproximadamente 4,000+ iteraciones).

Significado y Afirmaciones

El artículo afirma que el marco IFM ofrece una solución equilibrada a la compensación entre la interpretabilidad y la robustez del control basado en modelos y la adaptabilidad de los métodos basados en aprendizaje. Al utilizar MPC como un experto de preentrenamiento, el marco:

1. Reduce el espacio de búsqueda para RL, permitiendo que el agente encuentre patrones de marcha de alta calidad y simétricos sin una ingeniería de recompensas compleja.
2. Supera las limitaciones de los controladores de modelo fijo (como MPC) en entornos dinámicos e inciertos.
3. Habilita el control en tiempo real reemplazando la pesada optimización en línea con una red neuronal ligera.

Los autores concluyen que IFM proporciona un enfoque estructurado para regular los estilos de movimiento, aliviando el desafío de la ingeniería de recompensas mientras mejora significativamente la robustez y la eficiencia de la locomoción cuadrúpeda en terrenos desafiantes. Se sugiere trabajo futuro para extender este método a la locomoción basada en visión, lo que potencialmente requeriría arquitecturas de red más complejas como LSTMs o CNNs.