Resumen Técnico: Aprendizaje por Refuerzo Guiado para Saltos Tridimensionales Omnidireccionales en Robots Cuadrúpedos

Enunciado del Problema

Los robots cuadrúpedos enfrentan desafíos significativos al ejecutar saltos, particularmente aquellos que exceden la longitud de sus patas o que ocurren en entornos no planos. Si bien existen métodos basados en optimización, a menudo sufren de altos costos computacionales, sensibilidad a la inicialización y una dependencia de modelos de sistema precisos que son difíciles de mantener en entornos no estructurados. Por el contrario, los enfoques estándar de Aprendizaje por Refuerzo (RL) de extremo a extremo (E2E), aunque prometedores, típicamente requieren millones de pasos de entrenamiento debido a señales de recompensa dispersas y carecen de interpretabilidad, lo que dificulta la certificación de seguridad. El problema central abordado es la necesidad de una estrategia de control que sea eficiente en muestras, robusta ante incertidumbres del modelo, capaz de realizar saltos tridimensionales omnidireccionales (incluyendo cambios de elevación y rotaciones) y lo suficientemente explicable para garantizar la factibilidad física.

Metodología

Los autores proponen un marco de Aprendizaje por Refuerzo Guiado (GRL) que inyecta intuición física en el proceso de aprendizaje, alejándose del control E2E crudo. La metodología se estructura en torno a tres componentes principales:

1. Parametrización de Trayectoria

En lugar de aprender directamente los pares o las posiciones de las articulaciones, la política aprende una trayectoria de alto nivel en el espacio cartesiano.

• Parametrización Híbrida: La trayectoria de la fase de empuje se modela utilizando una combinación de curvas de Bézier y un modelo de Movimiento Rectilíneo Uniformemente Acelerado (UARM).
  • La fase inicial utiliza una curva de Bézier cúbica para modelar el movimiento de "carga" y descompresión, asegurando suavidad y diferenciabilidad.
  • Para superar los límites de expresividad de las curvas de Bézier durante la fase explosiva de despegue (que pueden llevar a violaciones del espacio de trabajo, como el vientre del robot tocando el suelo), la trayectoria transiciona a un segmento UARM. Esto permite mayores velocidades de despegue manteniendo la factibilidad.
• Control de Orientación: Una curva de Bézier separada parametriza la orientación del tronco (ángulos de Euler), permitiendo maniobras dinámicas como giros sobre el mismo sitio.
• Espacio de Acción: El agente de RL genera un conjunto reducido de 13 parámetros (por ejemplo, intervalos de tiempo, coordenadas esféricas para la posición/velocidad de despegue, multiplicadores de velocidad y objetivos de orientación) en lugar de comandos crudos de las articulaciones. Esto reduce drásticamente el espacio de búsqueda.

2. Marco de Aprendizaje

• Algoritmo: El sistema utiliza Optimización de Política Proximal (PPO).
• Espacio de Estados: El estado se define en el espacio de tareas (desplazamiento hacia el objetivo en posición y orientación), haciendo que la política sea agnóstica a morfologías específicas de robots. La información a nivel de articulación se excluye para evitar el sobreajuste a hardware específico.
• Función de Recompensa: Se diseña una función de recompensa físicamente informativa para equilibrar el éxito de la tarea con la seguridad. Incluye:
  • Recompensa Positiva: Una recompensa por objetivo de aterrizaje que escala con la distancia del salto y penaliza el error de aterrizaje.
  • Penalizaciones: Costos por violar restricciones de trayectoria (límites de articulaciones, conos de fricción, límites de par), errores de seguimiento y condiciones de contacto inseguras (rebotes, alta velocidad angular).
• Filtro de Seguridad: Una verificación de seguridad post-hoc utiliza ecuaciones balísticas para verificar si una acción propuesta puede alcanzar físicamente la altura objetivo antes de su ejecución, añadiendo una capa de explicabilidad.

3. Ejecución de Control

La trayectoria cartesiana aprendida se mapea a posiciones de las articulaciones mediante Cinemática Inversa (IK). Un controlador de bajo nivel Proporcional-Derivativo (PD) con compensación de gravedad rastrea estas referencias. Esta separación permite que la política de RL de alto nivel se centre en la generación de trayectorias, mientras confía en el control clásico para la robustez ante incertidumbres de fricción e inercia.

Contribuciones Clave

1. Estrategia GRL Novel: Un método de RL eficiente en muestras para saltos tridimensionales omnidireccionales que aprovecha la intuición física (Bézier + UARM) para guiar el proceso de aprendizaje, evitando la naturaleza de "caja negra" de los enfoques E2E.
2. Espacio de Acción Agnóstico al Robot: Una formulación donde las acciones se definen en el espacio de tareas (posición/orientación cartesiana), permitiendo que la política se generalice a través de diferentes morfologías cuadrúpedas (demostrado mediante transferencia zero-shot).
3. Predictibilidad y Seguridad: La naturaleza paramétrica de la trayectoria permite la predicción determinista de los puntos de aterrizaje y la implementación de filtros de seguridad, abordando la brecha de certificación de seguridad en RL.
4. Aprendizaje de Etapa Única: A diferencia de los enfoques basados en currículos que requieren entrenamiento multi-etapa, este método logra el objetivo final en una sola etapa de aprendizaje, reduciendo significativamente el tiempo y la complejidad del entrenamiento.

Resultados

El método fue validado mediante simulaciones extensas y experimentos en el mundo real en dos robots cuadrúpedos: el Unitree Go1 y el Aliengo.

• Eficiencia en Muestras: La política convergió en aproximadamente 2,000 pasos de entrenamiento (15 horas), una reducción significativa en comparación con los métodos E2E que a menudo requieren millones de pasos.
• Precisión y Factibilidad:
  • Saltos Planos: Se lograron errores de aterrizaje inferiores a 5 cm para saltos dentro de un radio de 0.5 metros.
  • Saltos Verticales: Se ejecutaron con éxito saltos hacia arriba de hasta 0.26 metros y saltos hacia abajo de hasta 0.4 metros.
  • Rotaciones: Se demostró la capacidad de realizar rotaciones de guiñada sobre el mismo sitio con un error de orientación máximo de aproximadamente 6 grados.
• Robustez:
  • Sim-a-Sim: La política mantuvo el rendimiento al transferirse a un simulador diferente (Locosim) y bajo variaciones de masa (hasta un 50%) y amortiguamiento de articulaciones, sin requerir aleatorización de dominio durante el entrenamiento.
  • Sim-a-Real: Los experimentos en el mundo real en Go1 y Aliengo mostraron alta repetibilidad. Si bien los errores absolutos fueron ligeramente mayores en el Aliengo más pesado (atribuido a fricción no modelada), la desviación estándar se mantuvo baja, indicando un comportamiento consistente.
• Transferencia Zero-Shot: Una política entrenada en el Go1 se aplicó con éxito al robot Aliengo (que tiene diferente masa y longitudes de eslabones) con solo ajustes de control de bajo nivel, validando la formulación en el espacio de tareas.
• Comparación con el Estado del Arte: En comparación con el enfoque E2E más avanzado de Atanassov et al. [39], el método propuesto logró una precisión comparable o superior con significativamente menos muestras, mayores elevaciones de salto (0.26 m vs. 0.1 m) y una región factible más uniforme.

Significado y Afirmaciones

El artículo afirma que al integrar la intuición física (guiada por curvas de Bézier y física balística) en el marco de RL, es posible superar las limitaciones principales tanto de la optimización tradicional (costo computacional, dependencia del modelo) como del RL E2E estándar (ineficiencia en muestras, falta de interpretabilidad).

Los autores enfatizan que su enfoque:

• Habilita la Aplicación en Tiempo Real: La red neuronal ligera y la trayectoria precalculable permiten una planificación a nivel de milisegundos.
• Garantiza la Factibilidad Física: El método respeta inherentemente los límites de las articulaciones y las restricciones de fricción a través del diseño de la recompensa y las restricciones del espacio de acción, reduciendo el riesgo de comportamientos inseguros.
• Facilita la Generalización: Al desacoplar la política de configuraciones específicas de articulaciones, el método soporta la transferencia entre diferentes plataformas robóticas sin necesidad de reentrenamiento desde cero.
• Simplifica el Entrenamiento: El proceso de aprendizaje de etapa única elimina la necesidad de programación compleja de currículos y extensa ingeniería de recompensas.

Los autores concluyen que, si bien el método actual es puramente cinemático y asume velocidad inicial cero, representa un paso significativo hacia la realización de saltos dinámicos robustos, seguros y eficientes para robots con patas en entornos complejos. Se identifica como trabajo futuro extender el método a dinámicas controladas por par, manejar velocidades iniciales no nulas e incorporar terrenos deformables.