Resumen Técnico: LadderMan

Declaración del Problema

Permitir que los robots humanoides operen en entornos centrados en humanos requiere capacidades robustas de escalada de escaleras. Sin embargo, esta tarea presenta desafíos significativos en comparación con la locomoción en terrenos llanos o el ascenso de escaleras fijas. La escalada de escaleras exige una coordinación precisa y sostenida entre los contactos de la parte superior e inferior del cuerpo en apoyos de manos y pies dispersos, discontinuos y estrechos. Pequeños errores en la percepción o el control pueden conducir a fallos catastróficos. Además, las escaleras del mundo real varían significamente en inclinación, espaciado de peldaños y diseño estructural, lo que dificulta la generalización. Los enfoques existentes suelen depender del control basado en modelos que requieren un modelado preciso del entorno y un ajuste específico para la tarea, o métodos de aprendizaje por refuerzo (RL) que producen comportamientos dominados por la parte inferior del cuerpo que no logran explotar la coordinación de todo el cuerpo. Adicionalmente, pocos métodos abordan la manipulación sobre la escalera, donde el robot debe mantener el equilibrio mientras realiza tareas.

Metodología

Los autores proponen LadderMan, un sistema unificado para la escalada de escaleras perceptiva de humanoides y la manipulación sobre la escalera. El sistema emplea un pipeline de aprendizaje de dos etapas escalable y un marco de agentes duales para la manipulación.

1. Aprendizaje de Múltiples Políticas Expertas (Etapa 1)

Para evitar la necesidad de grandes conjuntos de datos de movimiento que cubran diversas geometrías, los autores introducen el seguimiento de movimiento híbrido (hybrid motion tracking).

• Movimiento de Referencia Único: El sistema aprende múltiples políticas expertas basadas en el estado ($\pi_{\phi,z}^{expert}$) correspondientes a diferentes configuraciones de escalera (inclinación $\phi$, espaciado de peldaños $z$) a partir de un único movimiento de referencia.
• Seguimiento Asimétrico: La recompensa de seguimiento se divide en componentes de la parte superior e inferior del cuerpo. La parte inferior se rastrea estrictamente para asegurar comportamientos de escalada estables, mientras que la parte superior se rastrea con restricciones relajadas para permitir la adaptación a geometrías de escalera específicas.
• Adaptación Impulsada por la Tarea: El sistema incorpora recompensas de contacto centradas en la escalera y recompensas de escalada. Las posiciones de contacto se generan automáticamente basándose en la geometría objetivo de la escalera, lo que permite a la política adaptar las ubicaciones de contacto sin necesidad de anotación manual para cada configuración.

2. Destilación Unificada de Política Visomotora (Etapa 2)

Las múltiples políticas expertas se destilan en una única política visomotora basada en profundidad ($\pi_{visual}$) utilizando aprendizaje por imitación e imitación por refuerzo híbridos.

• Objetivo Híbrido: La política se optimiza utilizando una combinación de un objetivo de RL basado en PPO (usando las mismas recompensas que los expertos) y un término de divergencia KL para fomentar la imitación de los comportamientos expertos. El peso del término de imitación se amortece durante el entrenamiento, permitiendo una transición desde una inicialización impulsada por la imitación hacia una optimización impulsada por la tarea.
• Entradas: La política unificada toma como entrada la propiocepción, observaciones de profundidad y un comando binario de dirección de escalada.

3. Reducción de la Brecha Sim-to-Real

Para permitir la transferencia zero-shot a hardware del mundo real, los autores abordan la brecha sim-to-real en la percepción de profundidad, la cual es crítica para los peldaños delgados de las escaleras.

• Modelo de Visión Fundacional (VFM): En lugar de depender de una extensa aleatorización de la profundidad, el sistema utiliza un VFM preentrenado (Fast-FoundationStereo) para procesar imágenes estéreo en escala de grises del mundo real en mapas de profundidad. Esto proporciona observaciones de profundidad más limpias y geométricamente consistes.
• Enmascaramiento Centrado en Peldaños (RFM): Durante el entrenamiento, las regiones que no son peldaños se enmascaran con una probabilidad de $p=0.1$ para forzar a la política a enfocarse en las estructuras de escalada relevantes para la tarea en lugar de la geometría del fondo o soportes específicos de la escalera.

4. Manipulación sobre la Escalera mediante Aprendizaje de Agentes Duales

Para tareas de manipulación mientras se está en la escalera, los autores emplean una formulación de agente dual para desacoplar la estabilización de la manipulación.

• Agente de la Parte Inferior ($\pi_l$): Responsable de mantener un equilibrio estable y los contactos con la escalera.
• Agente de la Parte Superior ($\pi_u$): Rastrea objetivos de manipulación teleoperados (posiciones de brazo, muñeca y cintura).
• Desacoplamiento: Al utilizar redes actor-crítico separadas, el sistema reduce la interferencia entre los objetivos de estabilización y manipulación, permitiendo una teleoperación de todo el cuerpo estable sobre la escalera.

Contribuciones Clave

1. Sistema Perceptivo Unificado: LadderMan permite una escalada de escaleras sim-to-real robusta y zero-shot a través de diversas geometrías (inclinación, espaciado de peldaños, estructura) utilizando un único movimiento de referencia y control visomotor basado en profundidad.
2. Seguimiento de Movimiento Híbrido: Un método novedoso para aprender múltiples políticas de escalada expertas a partir de un solo movimiento de referencia combinando un seguimiento relajado de la parte superior del cuerpo con una adaptación de contacto impulsada por la tarea, eliminando la necesidad de grandes conjuntos de datos de movimiento.
3. Percepción Sim-to-Real: La integración de un Modelo de Visión Fundacional y el enmascaramiento centrado en peldaños para cerrar la brecha de percepción de profundidad, permitiendo el despliegue en hardware real sin necesidad de ajustes manuales extensos o modificaciones de hardware.
4. Manipulación Estable sobre la Escalera: Un marco de aprendizaje de agentes duales que permite con éxito tareas de manipulación complejas (por ejemplo, ajustar cuadros, reemplazar bombillas) mientras mantiene el equilibrio en la escalera, superando las políticas estándar de teleoperación de todo el cuerpo.

Resultados Experimentales

El sistema fue evaluado en un humanoide Unitree G1 de 1.3m y 29-DoF utilizando una cámara Intel RealSense D435i y una NVIDIA Jetson Orin.

• Desempeño en el Mundo Real: LadderMan escaló con éxito tres escaleras diversas del mundo real (variando en ángulo, espaciado y material) de manera zero-shot. Logró una velocidad de escalada de 3.4 segundos por peldaño, comparable a la de sujetos humanos (3.2 s/peldaño).
• Manipulación: El sistema realizó con éxito tareas de ajuste de pintura, reemplazo de bombillas y entrega de cajas manteniendo el equilibrio.
• Generalización: En simulación, la política alcanzó tasas de éxito >95% en escaleras con espaciados de peldaños entre 24-28 cm e inclinaciones entre 55-65 grados. Mantuvo un ~57% de éxito incluso en configuraciones límite extremas.
• Estudios de Ablación:
  • Aprendizaje de Expertos: El seguimiento de movimiento estándar falló en geometrías diferentes a la de referencia, mientras que el seguimiento de movimiento híbrido tuvo éxito en todas las configuraciones probadas.
  • Sim-to-Real: Eliminar el VFM, el enmascaramiento centrado en peldaños o el componente de RL en la etapa de destilación redujo significamente las tasas de éxito en el mundo real, con algunas variantes fallando completamente.
  • Manipulación: La política de agente dual mantuvo un equilibrio estable durante la manipulación, mientras que un baseline de última generación (TWIST2) perdió el equilibrio frecuentemente.

Significado y Limitaciones

El artículo afirma que LadderMan representa un hito clave para el despliegue de humanoides en entornos industriales (construcción, mantenimiento) al resolver el desafiante problema de la escalada de escaleras perceptiva y la manipulación sin modificaciones de hardware.

Limitaciones reconocidas por los autores:

• La política de escalada se evalúa actualmente en escaleras inclinadas hasta 75 grados y aún no se extiende a escaleras verticales, las cuales requieren estrategias diferentes y fuerzas de contacto más altas.
• Las capacidades de manipulación están actualmente limitadas por la ausencia de efectores finales expertos en el hardware actual.

Los autores declaran que todo el código de entrenamiento e inferencia, junto con los modelos desplegables, será de código abierto.