Resumen Técnico: Mind Your Steps: Un Marco de Aprendizaje General para el Seguimiento Preciso de Apoyos en Humanoides

Planteamiento del Problema

Permitir que los robots humanoides naveguen en entornos complejos y dinámicos sigue siendo un desafío crítico, limitado principalmente por la capacidad de colocar los pies de forma segura y precisa. Si bien el aprendizaje por refuerzo (RL) con políticas comandadas por velocidad ha logrado robustez en la locomoción, carece de un control explícito sobre la colocación de los apoyos. Esta limitación suele derivar en comportas inseguras (por ejemplo, pisar obstáculos o humanos) y una navegación imprecisa, lo que obstaculiza las tareas de manipulación posteriores.

Por el contrario, las políticas de seguimiento de apoyos explícitos ofrecen una alternativa prometedora al comandar directamente las poses objetivo de los pies. Sin embargo, los enfoques existentes sufren limitaciones significativas:

• Suposiciones Irrealistas: Muchos dependen de una estimación precisa del estado de la base (localización) o de indicadores binarios de contacto con el suelo, los cuales son difíciles de estimar con precisión en el mundo real.
• Falta de Generalidad: La mayoría se limitan a la simulación, restringiéndose a la marcha hacia adelante simple en terrenos llanos, o están integradas como componentes rígidos dentro de procesos monolíticos específicos, lo que impide una integración fluida con diversas tareas de nivel inferior.
• Fragilidad: Los métodos que utilizan objetivos en el marco de la raíz (root-frame) son altamente sensibles a los errores de localización, mientras que aquellos que dependen de canales de percepción complejos suelen fallar al generalizar.

Metodología

Los autores proponen un nuevo marco ligero y sin modelo para entrenar políticas de seguimiento de apoyos 3D de propósito general. La innovación central reside en una arquitectura de entrenamiento y despliegue que desacopla el controlador de bajo nivel de los planificadores de alto nivel y de los supuestos de terreno específicos.

1. Formulación de Objetivos y Observaciones

La política está diseñada para ser agnóstica al planificador de alto nivel. Las decisiones clave de diseño incluyen:

• Representación en el Marco del Pie de Apoyo (Stance-Foot Frame): A diferencia de trabajos previos que expresan los objetivos en el marco de la base (raíz) del robot, este marco expresa los objetivos de apoyo (posición y orientación de guiñada) en relación con el pie de apoyo actual.
  • Beneficio: El objetivo permanece constante durante toda la fase de oscilación, eliminando la necesidad de una estimación precisa y en tiempo real del estado de la base para actualizar los objetivos.
• Observaciones de Entrada: La política depende únicamente de la propiocepción (orientación de la base, velocidad angular, posiciones/velocidades de las articulaciones), la acción anterior, la fase de la marcha y el objetivo del apoyo.
• Exclusión de Indicadores de Contacto: El marco evita el uso de indicadores binarios de contacto con el suelo, que son poco fiables en hardware, confiando en su lugar en variables de fase de la marcha para gestionar las transiciones de oscilación/apoyo.

2. Arquitectura de Entrenamiento

• Algoritmo: Los autores emplean PPO Asimétrico (Asymmetric Proximal Policy Optimization).
• Estructura del Agente: Una arquitectura actor-crítico donde el actor recibe observaciones propioceptivas y el crítico tiene acceso a estados privilegiados de la simulación (por ejemplo, la velocidad lineal de la base).
• Muestreador de Objetivos (Goal Sampler - GS): Un componente modular utilizado durante el entrenamiento para generar objetivos de apoyo 3D factibles.
  • Muestrea direcciones de movimiento, longitudes de paso y desplazaciones verticales relativas al pie de apoyo actual.
  • Utiliza un modo de "mantenerse quieto" para permitir capacidades de bipedestación.
  • Crucialmente, el GS opera solo en simulación; durante el despliegue, es reemplazado por planificadores específicos de la tarea (por ejemplo, estimadores basados en visión o interfaces de teleoperación).
• Aprendizaje por Currículo: El entrenamiento comienza en terreno llano para aprender un rastreador planar robusto, seguido de un ajuste fino en terrenos 3D completos con pilares móviles que se adaptan a las alturas muestreadas.

3. Diseño de la Recompensa

La función de recompensa equilibra la precisión del seguimiento con un estilo de locomoción natural:

• Términos de Seguimiento de Apoyo: Penalizan explícitamente los errores en la posición 3D (planar y altura) y la orientación de guiñada para el pie oscilante. La recompensa de apoyo retiene la precisión alcanzada en el momento del contacto.
• Término de Oscilación de Pies: Fomenta la altura de despeje del pie durante la ventana específica de la fase de oscilación definida por el reloj de la marcha.
• Término de Altura de la Rodilla en Oscilación: Fomenta la elevación de la rodilla de la pierna oscilante para asegurar un despeje suficiente para la altura objetivo, evitando colisiones con escalones u obstáculos.
• Estilo de Locomoción: Los términos de penalización (adaptados de LocoMuJoCo) imponen movimientos naturales sin depender de datos de captura de movimiento.

Contribuciones Clave

1. Marco de Propósito General: Un marco sin modelo para entrenar políticas de seguimiento de apoyos 3D que es agnóstico a los planificadores de alto nivel y está listo para un despliegue inmediato.
2. Representación de Objetivos Robusta: La introducción de una formulación en el marco del pie de apoyo que elimina la dependencia de una localización precisa de la base, mejorando significamente la robustez contra el ruido de la estimación de estado.
3. Modularidad: La política actúa como un controlador de bajo nivel independiente que puede emparejarse sin problemas con diversos generadores de alto nivel (por ejemplo, planificadores basados en visión o teleoperación).
4. Transferencia Sim-to-Real Zero-Shot: Despliegue exitoso en el hardware humanoide Booster T1 utilizando un generador de apoyos basado en visión simple, demostrando la viabilidad del marco sin sistemas de localización externos.

Resultados Experimentales

El marco fue evaluado extensamente en simulación y en hardware real (Booster T1).

Experimentos de Simulación

• Alcance de Objetivos: La política de seguimiento de apoyos (FT) alcanzó los objetivos de forma significativamente más rápida y precisa que una línea base de seguimiento de velocidad (VT) de última generación. A medida que el umbral de éxito se volvía más estricto, el rendimiento de la política VT se degradó bramente (aumento del 18.9% en el tiempo), mientras que la política FT se mantuvo estable (aumento del 5.3%).
• Ablación de Marco: Cuando se inyectó ruido en las estimaciones del estado de la base, el rendimiento de la política de marco de raíz (FT-R) se degradó drásticamente, mientras que la política de marco de pie de apoyo (FT) no se vio afectada, validando la robustez de la formulación propuesta.
• Travesía de Puentes Estrechos: En escenarios con puentes tan estrechos como 0.15 m (más estrechos que el pie), la tasa de éxito del controlador VT cayó drásticamente, mientras que el controlador FT mantuvo tasas de éxito casi perfectas al centrar los pasos explícitamente.
• Entornos Complejos:
  • Navegación en Entornos con Obstáculos: Navegó con éxito en entornos con hasta 20 obstáculos usando un planificador A*.
  • Escaleras: Demostró una trayectoria robusta en escaleras rectas y espirales con variaciones en la altura y longitud de los peldaños. La política se adaptó a diferentes geometrías, con modos de fallo que pasaron de contactos con la contrahuella (escalones cortos) a problemas de equilibrio (escalones largos).
  • Rampas: Se generalizó con éxito a rampas continuas a pesar de haber sido entrenada solo en escalones discretos (mediante pilares móviles), confirmando fuertes capacidades de generalización.

Despliegue en el Mundo Real

• Configuración: La política se desplegó en el humanoide Booster T1 utilizando una cámara RealSense D455 integrada para detectar marcadores circulares azules colocados en el suelo.
• Rendimiento: El sistema logró una tasa de éxito del 93.08% al pisar los objetivos designados manteniendo una locomoción estable.
• Desafíos: Las principales fuentes de error fueron el desenfoque de imagen inducido por el movimiento y los artefactos de detección de profundidad. Se implementó un mecanismo simple de compensación de retardo para manejar las latencias de comunicación e inferencia.
• Resultado: El experimento verificó que la política puede integrarse con una percepción visual imperfecta para apoyar tareas de nivel inferior sin depender de una localización externa.

Significación y Reivindicaciones

El artículo afirma que este trabajo aborda la brecha fundamental entre la planificación de alto nivel y la ejecución de bajo nivel en la locomoción humana. Al proporcionar un control explícito y robusto sobre la colocación de los pies, el marco permite:

• Seguridad: La capacidad de restringir la colocación de los pies a regiones de contacto válidas y seguras, evitando comportamientos inseguros como pisar obstáculos.
• Precisión: Mayor exactitud al alcanzar objetivos y atravesar entornos restringidos (puentes estrechos, escaleras) en comparación con los enfoques basados en velocidad.
• Versatilidad: Un bloque fundacional para tareas complejas de loco-manipulación en escenarios críticos de seguridad, capaz de operar en entornos del mundo real sin necesidad de una localización precisa o procesos complejos y específicos para cada tarea.

Los autores enfatizan que, si bien el marco demuestra mejoras significativas en agilidad y precisión, está diseñado como una herramienta de propósito general destinada a ser emparejada con diversos planificadores ascendentes, en lugar de ser una solución monolítica para todos los problemas de navegación.