Resumen Técnico: HiWET

Declaración del Problema

La loco-manipulación humanoide requiere la ejecución de tareas de manipulación precisas mientras se mantiene la estabilidad dinámica durante el movimiento de la base. Los enfoques existentes enfrentan dos limitaciones primarias:

1. Formulación Centrada en el Cuerpo: La mayoría de los métodos basados en comandos operan en marcos centrados en el cuerpo. Esto falla al no corregir inherentemente la deriva acumulada en el marco del mundo inducida por la locomoción con piernas, lo que provoca una degradación de la precisión del efector final en el marco global.
2. Optimización en el Espacio de Articulaciones: Los métodos de imitación de movimiento de cuerpo completo típicamente optimizan los errores en el espacio de articulaciones en lugar de la precisión en el espacio de la tarea, careciendo de garantías teóricas para un seguimiento preciso del efector final y requiriendo a menudo trayectorias de referencia densas y costosas.
3. Desafíos de Acoplamiento: El estrecho acoplamiento entre la dinámica de la parte superior e inferior del cuerpo significa que los movimientos agresivos de los brazos pueden desestabilizar la marcha, mientras que la locomoción impacta en los efectores finales. Cuando las tareas se extienden más allá del espacio de trabajo alcanzable estático, las formulaciones centradas en el cuerpo no abordan explícitamente la necesidad de transportar activamente la base para mantener la alcanzabilidad.

Metodología

Los autores proponen HiWET (Seguimiento de Efector Final Jerárquico en el Marco del Mundo), un marco de aprendizaje por refuerzo jerárquico (HRL) que desacopla el razonamiento global de la ejecución dinámica. El sistema se modela como un Proceso de Decisión Semi-Markoviano (Semi-MDP) que opera en dos escalas temporales.

1. Arquitectura Jerárquica

• Política de Alto Nivel (Comandante, $\pi_H$): Opera a una frecuencia menor (cada $K$ pasos) en el marco del mundo. Actúa como un planificador de tareas, interpretando objetivos globales del efector final y generando subobjetivos estructurados: velocidad de la base ($v_{des}^b$), altura del cuerpo ($h_{des}$) y poses del efector final relativas al cuerpo ($bT_{des}$). Razona explícitamente sobre el acoplamiento geométrico entre la locomoción y la manipulación para remodelar el espacio de trabajo operativo.
• Política de Bajo Nivel (Seguidor, $\pi_L$): Opera a alta frecuencia para traducir los subobjetivos en comandos de espacio de articulaciones. Asegura la estabilidad dinámica y la viabilidad física. El humanoide se descompone en subsistemas de la parte superior del cuerpo (brazos/cintura) y la parte inferior del cuerpo (piernas).

2. Componentes Técnicos Clave

• Prior de la Variedad Cinemática (KMP): Una red neuronal pre-entrenada que proporciona referencias de articulaciones cinemáticamente consistentes para la parte superior del cuerpo basadas en las poses deseadas del efector final y un peso de regularización de la cintura ($\alpha$).
  • La política de bajo nivel aprende correcciones residuales ($\Delta q$) que se añaden a la referencia de la KMP ($\hat{q}$) en lugar de objetivos de articulación absolutos. Esto reduce la dimensionalidad de la exploración y mitiga comportamientos cinemáticamente inválidos.
  • El parámetro $\alpha$ permite a la política de alto nivel modular la participación del torso, negociando entre la alcanzabilidad (utilizando la redundancia de la cintura) y el equilibrio dinámico (estabilizando el Centro de Masa).
• Estimador de Estado: Un módulo neural entrenado para inferir variables de estado privilegiadas (por ejemplo, velocidad lineal de la base, poses del efector final) a partir del historial de observaciones, compensando la observabilidad parcial durante el despliegue.
• Muestreo de Importancia (IS): Para abordar la ineficiencia del muestreo cartesiano uniforme (que a menudo produce objetivos inalcanzables o mal condicionados), los autores curan un conjunto de datos priorizado. Este conjunto de datos es filtrado por el error de reconstrucción de la Cinemática Inversa (IK) y ponderado por un índice de manipulabilidad. La distribución de comando de entrenamiento es una mezcla de muestreo uniforme y este prior curado.
• Modelado de Recompensas (Reward Shaping):
  • Bajo Nivel: Incluye el seguimiento de la referencia KMP, el seguimiento de la altura de la base consciente de la rodilla (ponderación asimétrica para márgenes de flexión/extensión) y la regularización para la suavidad.
  • Alto Nivel: Fomenta la optimación del espacio de trabajo (alineando la dirección de la base con los objetivos), el seguimiento preciso del efector final en el marco del mundo y la estabilidad.

3. Procedimiento de Entrenamiento

El marco emplea un proceso de entrenamiento de dos etapas:

1. Etapa 1 (Seguidor): La política de bajo nivel se entrena para seguir comandos de efector final relativos a la base utilizando la KMP y el muestreo de importancia.
2. Etapa 2 (Comandante): La política de alto nivel se entrena con la política de bajo nivel congelada. Se utiliza un currículo espacial, comenzando con objetivos cerca de la base del robot y expandiendo progresivamente el rango a medida que el error de seguimiento disminuye.

Resultados Clave

El marco fue validado en el humanoide Unitree G1 (29 DoF) en simulación y mediante transferencia zero-shot de simulación a realidad.

• Precisión de Seguimiento: En simulación, HiWET logró un error de seguimiento del efector final en el marco del mundo de 12.4 mm con baja varianza.
• Estudios de Ablación:
  • Eliminar la KMP aumentó el error de la mano a 25.2 mm con una varianza 5 veces mayor, confirmando la necesidad de guía cinemática.
  • Eliminar el Estimador de Estado degradó el seguimiento en casi 10 mm, resaltando la necesidad de una retroalimentación precisa para compensar las oscilaciones de la locomoción.
  • Eliminar el Muestreo de Importancia resultó en un error mayor (16.1 mm), demostrando el valor de enfocarse en regiones funcionales del espacio de trabajo.
• Comparación: HiWET superó al baseline HOMIE, reduciendo el RMSE de la velocidad lineal de la base aproximadamente un 20%.
• Sim-to-Real: La política de bajo nivel se transfirió con éxito al robot físico sin ajuste fino, demostrando una locomoción estable bajo diversos comandos de manipulación.
• Tareas de Largo Horizonte: El sistema rastreó con éxito trayectorias geométricas complejas (estrellas, corazones, espirales) en el marco del mundo, manteniendo la estabilidad dinámica mientras navegaba hacia las regiones objetivo.

Significancia y Reivindicaciones

El artículo afirma que HiWET proporciona una solución efectiva y escalable para la loco-manipulación humanoide de largo horizonte al abordar explícitamente el acoplamiento geométrico entre la base y los efectores finales.

• Consistencia en el Marco del Mundo: Al formular la tarea como un seguimiento del efector final en el marco del mundo, el controlador compensa activamente las perturbaciones de la base y remodela el espacio de trabajo operativo mediante la locomoción, una capacidad que carecen los enfoques centrados en el cuerpo.
• Control Desacoplado: La separación jerárquica de "a dónde ir" (planificación global) y "cómo moverse" (ejecución dinámica) permite una optimización especializada tanto para la alcanzabilidad como para la estabilidad.
• Eficiencia: La integración del Prior de la Variedad Cinemática mediante el aprendizaje residual fundamenta la política en variedades de manipulación válidas, acelerando el aprendizaje y mejorando la precisión del seguimiento sin sacrificar la adaptabilidad dinámica.

Los autores concluyen que este enfoque permite un seguimiento preciso y estable del efector final en tareas de largo horizonte y demuestra una transferencia robusta zero-shot a hardware real.