Unleashing the Agility of Wheeled-Legged Robots for High-Dynamic Reflexive Obstacle Evasion

Aquí se presenta un resumen técnico detallado del artículo "Desatando la Agilidad de los Robots con Ruedas y Patas para la Evasión Refleja de Obstáculos de Alta Dinámica" de Zhao et al.

1. Planteamiento del Problema

Los robots con ruedas y patas combinan la eficiencia energética de las ruedas con la adaptabilidad al terreno de las patas, lo que los hace ideales para entornos complejos. Sin embargo, habilitar la evasión refleja de obstáculos de alta dinámica (evitar rápidamente amenazas en movimiento rápido) sigue siendo un desafío significativo debido a:

• Morfología Híbrida: El acoplamiento de la dinámica de rodadura y de pisada crea problemas de control complejos.
• Restricciones No Holonómicas: Las ruedas imponen restricciones que limitan los cambios de dirección instantáneos en comparación con los sistemas puramente patas.
• Latencia Computacional: Los métodos tradicionales basados en optimización (por ejemplo, Control Predictivo de Modelo) luchan con los espacios de estado de alta dimensión y la cinemática de cuerpo completo requeridos para maniobras explosivas en tiempo real.
• Confusión de Modos: Los marcos existentes a menudo fallan al transicionar sin problemas entre el rodaje eficiente a alta velocidad y las maniobras evasivas agresivas, lo que conduce a inestabilidad o colisiones.

2. Metodología: El Marco AWARE

Los autores proponen AWARE (Evasión Refleja y Evitación Adaptativa con Ruedas y Patas), un marco de aprendizaje por refuerzo (RL) jerárquico diseñado para desacoplar la evaluación de amenazas de la ejecución de la locomoción.

A. Arquitectura Jerárquica

El sistema consta de dos módulos distintos:

1. Política de Evasión de Alto Nivel (El Planificador):
   • Entrada: Propiocepción del robot, estado del obstáculo (posición, velocidad, radio) y una Tasa de Aproximación Relativa (RAR) ($\kappa$) calculada, que cuantifica el nivel de amenaza.
   • Función: Genera un comando de velocidad deseado ($v_{cmd}$) y selecciona explícitamente un modo de evasión mediante una distribución Gumbel-Softmax.
   • Salida: Un vector one-hot que enruta el comando a uno de dos expertos de bajo nivel.
2. Controlador de Locomoción de Doble Modo de Bajo Nivel (El Ejecutor):
   • Experto 1 ($\pi_{low}$): Una Red Omnidireccional de Baja Velocidad entrenada para un seguimiento preciso y una navegación suave en escenarios no urgentes. De ella surgen naturalmente la rodadura, la pisada y las marchas híbridas.
   • Experto 2 ($\pi_{high}$): Una Red Ágil de Alta Dinámica entrenada para maniobras extremas (alta aceleración, frenado y salto). Se especializa en zancadas agresivas hacia adelante y esquivas laterales.
   • Enrutamiento: La política de alto nivel enruta determinísticamente los comandos hacia $\pi_{low}$ o $\pi_{high}$ en función del nivel de amenaza.

B. Paradigma de Entrenamiento en Dos Etapas

El marco utiliza una tubería de entrenamiento desacoplada en el simulador Isaac Lab:

1. Etapa 1: Pre-entrenamiento de Expertos de Bajo Nivel:
   • $\pi_{low}$ se entrena con comandos omnidireccionales de baja velocidad.
   • $\pi_{high}$ se entrena en tareas de evasión extremas, incluidos arranques de alta aceleración y frenado rápido (utilizando secuencias de comandos históricos para aprender la lógica de desaceleración).
2. Etapa 2: Aprendizaje Curricular de Alto Nivel:
   • La política de alto nivel se entrena con los expertos de bajo nivel congelados.
   • Currículo: Las velocidades de los obstáculos se aumentan progresivamente en función de las tasas de éxito.
   • Función de Recompensa: Diseñada para maximizar el éxito de la tarea (evitación de colisiones con márgenes de seguridad) mientras penaliza los falsos positivos (evasión innecesaria), los errores de seguimiento y la ineficiencia energética.

C. Transferencia Simulación a Realidad

Para desplegar en el robot físico M20 con ruedas y patas, los autores emplean una Aleatorización de Dominio estructurada (Tabla II en el artículo) que cubre:

• Distancias y velocidades de obstáculos.
• Inicialización de la base del robot (posición, orientación).
• Gains de actuadores (rigidez/amortiguación) y perturbaciones externas.
• Parámetros del cuerpo (masa, inercia, fricción).

3. Contribuciones Clave

1. Formulación de la Evasión de Alta Dinámica: Definición del problema de la evasión refleja para robots con ruedas y patas, abordando el desafío único de las restricciones no holonómicas a altas velocidades.
2. Desacoplamiento Jerárquico: Propuesta de un marco que separa la toma de decisiones consciente de las amenazas de la ejecución de doble modo, mitigando eficazmente la "confusión de modos" entre navegación y evasión.
3. Comportamientos Emergentes: Demostración de que el sistema aprende naturalmente marchas distintas y comportamentalmente separadas, incluidas las Zancadas hacia Adelante (basadas en rodadura) y las Esquivas Laterales (basadas en pisada), que son distintas de las marchas de navegación estándar.
4. Validación en el Mundo Real: Despliegue exitoso del sistema en un robot físico frente a amenazas dinámicas (lanzamiento de cajas, pinchazos con palos, patadas humanas).

4. Resultados Experimentales

Resultados de Simulación (Isaac Lab)

• Rendimiento: AWARE superó significativamente a las líneas base (REBot y RB-MPC) en la Tasa de Éxito de Evasión (ASR) y la Distancia de Maniobra de Evasión (AMD), especialmente bajo tiempos de reacción cortos (<1s).
• Análisis de Marcha: La visualización t-SNE confirmó que el sistema aprende agrupaciones distintas para marchas de baja velocidad (Pisada, Rodadura, Híbrida) y modos de evasión de alta velocidad (Zancada hacia Adelante, Esquiva Lateral).
• Estudios de Ablación: La eliminación de la arquitectura de doble modo causó una grave confusión de modos y fallos de equilibrio. La eliminación del aprendizaje curricular condujo a una convergencia más lenta.
• Métricas Dinámicas: El Modo de Rodadura demostró una Aceleración de Escape Transitoria (TEA) superior (4.13 m/s²) y una Aceleración Normalizada por Par (TNA) en comparación con el Modo de Pisada, demostrando que la rodadura es más efectiva para arranques explosivos.

Despliegue en el Mundo Real (Plataforma M20)

• Escenarios: Probado contra cajas lanzadas, palos que pinchan y patadas humanas desde varios ángulos.
• Rendimiento: Logró una ASR promedio del 59% y una AMD de 1.1m.
• Observaciones: El robot cambió con éxito entre navegación suave y evasión refleja. Si bien la tasa de éxito fue menor que en la simulación (debido a limitaciones de hardware y brechas de simulación a realidad), el sistema demostró capacidades reactivas robustas en tiempo real.

5. Significado

Este trabajo cierra una brecha crítica en la robótica al permitir que los sistemas con ruedas y patas operen de forma segura en entornos densos, impredecibles y centrados en humanos.

• Agilidad: Demuestra que los robots con ruedas y patas pueden aprovechar su naturaleza híbrida para realizar maniobras explosivas que los sistemas puramente con ruedas o puramente con patas luchan por ejecutar de manera eficiente.
• Seguridad: Al integrar la evasión refleja con la navegación, el marco ofrece un camino viable para desplegar robots móviles en entornos dinámicos como la entrega urbana o la inspección industrial, donde los obstáculos en movimiento rápido son comunes.
• Avance Metodológico: El enfoque de RL jerárquico con aprendizaje curricular proporciona un plano escalable para entrenar políticas de locomoción complejas y multimodales sin depender de solucionadores de optimización computacionalmente costosos.