Resumen Técnico: RL Guiado por Referencia Consistente con el Terreno para la Navegación de Humanoides

Declaración del Problema

Los métodos contemporáneos de locomoción para humanoides han logrado alta agilidad y robustez, aprovechando a menudo datos humanos u optimización de trayectorias para guiar el Aprendizaje por Refuerzo (RL). Sin embargo, persiste un cuello de botella significativo al desplegar estos comportamientos dentro de pilas de navegación más grandes para entornos complejos y no estructurados. Los enfoques actuales de RL guiado por referencia enfrentan dos limitaciones principales:

1. Falta de Interfaz de Planificación: Muchos métodos requieren trayectorias de referencia de grado de libertad completo o captura de movimiento en vivo como entradas, lo que los hace incompatibles con los planificadores de navegación estándar que emiten comandos de velocidad simples (por ejemplo, velocidades SE(2)).
2. Ausencia de Condicionamiento Ambiental: Las tuberías estándar de generación de referencias no tienen en cuenta la geometría del terreno (por ejemplo, apoyos válidos, escaleras, pendientes). En consecuencia, las políticas entrenadas con referencias estáticas luchan por seguir trayectorias en terrenos irregulares, lo que lleva a inestabilidad o fallos al desplegarse en entornos centrados en el humano del mundo real.

Aunque algunos trabajos abordan la locomoción perceptiva sin referencias, a menudo carecen de la robustez de los métodos guiados por referencia. Por el contrario, los métodos guiados por referencia a menudo fallan al integrarse con pilas de autonomía o adaptarse al terreno. Este artículo aborda la intersección entre el RL perceptivo guiado por referencia y la autonomía de navegación en bucle cerrado.

Metodología

El método propuesto, RL Guiado por Referencia Consistente con el Terreno, sintetiza trayectorias de referencia consistentes con el entorno directamente dentro del bucle de entrenamiento de RL. El sistema está diseñado para emitir una política que acepta comandos de velocidad SE(2) estándar mientras utiliza datos de cámara de profundidad para la adaptación al terreno.

1. Síntesis de Referencia Consistente con el Entorno

La innovación central es la generación rápida de trayectorias de referencia utilizando un modelo de Péndulo Invertido Lineal (LIP) que se modula para coincidir con la geometría del terreno.

• Generación Base: Un comando de velocidad SE(2) deseado ($v_d$) se convierte en longitudes de paso deseadas y una trayectoria del Centro de Masa (CoM) utilizando la dinámica del modelo LIP. Esto genera una referencia nominal para el CoM, el pie de balanceo y los brazos.
• Proyección del Terreno: Antes de que el agente de RL reciba la referencia, el sistema proyecta la ubicación del paso deseado sobre el apoyo válido más cercano derivado de la geometría del terreno (representado como una cuadrícula de polígonos).
• Modificación de la Trayectoria:
  • Pasos: El paso deseado se proyecta al apoyo válido, y se incorporan el rodaje y el cabeceo del terreno en ese punto.
  • Pie de Balanceo: La trayectoria del pie de balanceo se modifica para conectar la pose inicial con la pose proyectada, incluida la orientación del terreno. La altura $z$ se ajusta añadiendo la altura del casco convexo superior de los puntos del terreno a lo largo de la trayectoria de balanceo para garantizar el despeje.
  • CoM: La trayectoria de altura del CoM se ajusta en función de la línea que une el pie de apoyo actual con la ubicación del paso proyectado.
• Eficiencia: Esta síntesis se ejecuta rápidamente dentro del bucle de entrenamiento, permitiendo que la política aprenda de referencias que son físicamente consistentes con el entorno inmediato.

2. Política de Locomoción y Entrenamiento

• Arquitectura: La política utiliza una arquitectura basada en un Perceptrón Multicapa (MLP) de una sola etapa. Mapea la propiocepción y una sola imagen de cámara de profundidad (resolución 26x30) directamente a acciones.
• Percepción: Una cámara de profundidad ZED Mini montada en el torso del robot proporciona la entrada. En la simulación, esto se modela mediante raycasting con submuestreo agresivo para imitar el ruido y los artefactos del mundo real.
• Diseño de Recompensa: El entrenamiento utiliza Funciones de Lyapunov de Control (CLF-RL). Se definen funciones cuadráticas de Lyapunov para objetivos de seguimiento (pelvis, pie de balanceo, articulaciones). La función de recompensa consta de dos términos:
  1. Un término que fomenta un seguimiento cercano de la señal de referencia.
  2. Un término que incentiva el cumplimiento de la condición de decrecimiento de Lyapunov (asegurando que el sistema se mueva hacia la referencia).
     Este enfoque densifica la señal de recompensa, proporcionando retroalimentación incluso cuando el seguimiento es imperfecto pero está mejorando.
• Actor-Crítico Asimétrico: El actor recibe propiocepción ruidosa y datos de profundidad, mientras que el crítico recibe observaciones libres de ruido e información privilegiada (referencias de verdad fundamental, estados de contacto, etc.).

3. Pila de Autonomía de Navegación

La política de locomoción entrenada se integra en una pila de autonomía completa mediante una limpia interfaz de velocidad SE(2).

• Planificador: Un planificador de Control Predictivo de Modelo (MPC) opera sobre un integrador simple con modelo de orientación. Toma una pose de objetivo y un mapa del entorno (generado mediante LiDAR y FAST-LIO2) para planificar trayectorias libres de colisiones.
• Funciones de Barrera de Control (CBF): El MPC incorpora restricciones CBF de tiempo discreto para garantizar la evitación de obstáculos y la robustez frente a errores de seguimiento.
• Ejecución: El MPC emite una trayectoria de comandos de velocidad, que son seguidos por un controlador de retroalimentación y pasados a la política de locomoción de RL.

Contribuciones Clave

1. Síntesis de Referencia Condicionada al Entorno: El artículo introduce la primera tubería de RL guiado por referencia para humanoides donde las referencias se modulan en línea para ser consistentes con la geometría del terreno (escaleras, pendientes, apoyos discretos) utilizando un modelo LIP de orden reducido dentro del bucle de entrenamiento.
2. Arquitectura Simplificada: La política resultante depende únicamente de un MLP sin búferes de historial, eliminando la necesidad de destilación compleja o redes recurrentes, y sin embargo logra un rendimiento comparable al de modelos basados en atención.
3. Integración de Autonomía en Bucle Cerrado: El método integra con éxito una política de RL perceptiva guiada por referencia en una pila de navegación estándar. Demuestra navegación autónoma de largo horizonte (>70 m) en el Unitree G1 a través de entornos exteriores que contienen terrenos irregulares y tramos consecutivos de escaleras, con toda la detección y computación a bordo.

Resultados

Simulación

• Rendimiento de Seguimiento: Condicionar las referencias al entorno mejoró significativamente el rendimiento de seguimiento en comparación con el uso de referencias no modificadas (ajenas al entorno). En terrenos de escaleras, el error de seguimiento se redujo en un factor de dos.
• Complejidad del Modelo: La política simple basada en MLP ("La nuestra") logró errores de seguimiento estadísticamente similares a una arquitectura más compleja con atención cruzada ("La nuestra (Attn)") en terrenos planos, con pendiente y de escaleras. Sin embargo, la versión MLP requirió significativamente menos VRAM (14 GB frente a 60 GB) y es más fácil de implementar.

Despliegue en Hardware

• Plataforma: Robot humanoide Unitree G1 equipado con una cámara de profundidad ZED Mini y un LiDAR Livox MID360.
• Rendimiento: El sistema realizó con éxito navegación autónoma en bucle cerrado en entornos exteriores centrados en el humano.
  • Escaleras: El robot navegó autónomamente 15 escaleras consecutivas.
  • Largo Horizonte: El robot navegó más de 70 metros, atravesando raíces de árboles, terrenos irregulares, bordillos y dos conjuntos de escaleras.
  • Transición Interior/Exterior: El robot subió escaleras exteriores, entró en un edificio y subió escaleras interiores.
• Comparación: A diferencia de trabajos anteriores que dependen de controladores ciegos basados en modelos para la navegación o métodos de RL perceptivo no integrados en pilas de autonomía, este trabajo demuestra una política guiada por referencia condicionada a la percepción que sirve como capa de locomoción para una pila de autonomía completa.

Significado y Afirmaciones

El artículo afirma que este trabajo cierra la brecha entre la locomoción guiada por referencia de alto rendimiento y la autonomía de navegación práctica. Al sintetizar referencias que son consistentes con el terreno durante el entrenamiento, el método permite que la política de RL aprenda comportamientos robustos para entornos no estructurados sin requerir arquitecturas complejas basadas en historial.

El significado radica en la interfaz de velocidad SE(2), que permite que la política de locomoción sea un componente de reemplazo directo para planificadores de navegación estándar. Esto permite el despliegue de locomoción ágil y perceptiva para humanoides en escenarios del mundo real (escaleras, terrenos irregulares) que anteriormente eran inaccesibles para los métodos guiados por referencia debido a su falta de condicionamiento ambiental y compatibilidad con la planificación. Los autores posicionan esto como un paso hacia la navegación general de humanoides en entornos centrados en el humano, yendo más allá del terreno plano o terrenos personalizados construidos en laboratorio.