HOIST: Humanoid Optimization with Imitation and Sample-efficient Tuning for Manipulating Suspended Loads

Resumen Técnico: HOIST – Optimización de Humanoides mediante Imitación y Ajuste Eficiente de Muestras para la Manipulación de Cargas Suspendidas

1. Definición del Problema

El artículo aborda el desafío del izaje con humanoides: el uso de un robot humanoide para posicionar una carga suspendida y subactuada externamente. A diferencia de las tareas estándar de recogida y colocación (pick-and-place) donde el robot sujeta un objeto de forma rígida, la carga en este escenario está suspendida (por ejemplo, por una grúa o cable) y se comporta como un péndulo oscilatorio. El robot no puede actuar directamente sobre la carga; solo puede influir en el movimiento de la misma a través de la locomoción de todo el cuerpo, la postura corporal e interacciones de contacto intermitentes (empuje).

Dificultades clave incluyen:

• Subactuación y Dinámica: La carga continúa oscilando después de que el contacto cesa, lo que provoca sobreimpulso (overshoot) y oscilación residual.
• Seguridad y Eficiencia: El Aprendizaje por Refuerzo (RL) directo desde cero en humanoides reales es inseguro debido al riesgo de movimientos inestables y contactos duros. Por el contrario, el Aprendizaje por Imitación (IL) puro a partir de demostraciones suele fallar al intentar optimizar la precisión de la colocación final o corregir errores de ejecución en bucle cerrado.
• Complejidad de la Tarea: El éxito requiere una coordinación del equilibrio de todo el cuerpo, una temporización de contacto precisa y comportamientos de parada específicos para amortiguar el balanceo de la carga.

2. Metodología: El Marco de Trabajo HOIST

HOIST (Humanoid Optimized with Imitation and Sample-efficient Tuning) es un flujo de trabajo de tres etapas diseñado para cerrar la brecha entre la inicialización segura y la optimización a nivel de tarea.

A. Recolección de Datos por Teleoperación

• Operadores humanos utilizan visores de realidad virtual (VR) y controladores para teleoperar un robot humanoide a través de la secuencia de izaje (aproximación, contacto, empuje, parada).
• Las trayectorias se registran como pares estado-acción, incluyendo observaciones visuales, estados propioceptivos y comandos del planificador.
• Estas demostraciones proporcionan una política de comportamiento inicial segura que evita fallos catastróficos durante el despliegue temprano.

B. Ajuste Supervisado de VLA (Visión-Lenguaje-Acción)

• Una política de alto nivel de Visión-Lenguaje-Acción (VLA) es ajustada utilizando los datos de teleoperación recolectados. El modelo base es adaptado a partir de GR00T N1.6.
• Modalidades de Entrada: La política procesa entradas multimodales que incluyen imágenes RGB/profundidad integradas, imágenes externas de vista lateral (para capturar la relación carga-objetivo), estados propioceptivos (articulaciones/base/IMU), instrucciones de lenguaje y comandos de navegación previos.
• Modificaciones de la Arquitectura:
  • Los comandos de navegación se añaden como una modalidad explícita al modelo de visión-lenguaje.
  • Las imágenes de profundidad y la velocidad propia (ego-velocity) se añaden al experto de acción basado en flow-matching para condicionarse a la geometría de la escena y al estado físico.
  • Solo se ajustan las últimas cuatro capas del VLM, el experto de acción de transformador de difusión y los nuevos codificadores de modalidad; el resto del modelo fundacional permanece congelado para preservar los conocimientos previos generales.
• Salida: La política predice un fragmento de horizonte corto de incrementos de comando relativo ($\Delta U_t$) para objetivos de la mano, pose de la cabeza, navegación y altura de la base. Estos se acumulan en comandos de planificador completos.

C. Ejecución de Cuerpo Completo Fija

• Los comandos del planificador de alto nivel son ejecutados por un controlador de cuerpo completo (WBC) fijo y desacoplado (basado en el stack GR00T WBC).
• El controlador de bajo nivel gestiona el equilibrio, la estabilización de las articulaciones y las fuerzas de contacto. Crucialmente, el controlador de bajo nivel no es ajustado; toda la adaptación de la tarea ocurre en la etapa de generación de comandos de alto nivel.

D. Refinamiento de RL Eficiente en Muestras

• Para corregir sesgos sistemáticos en la política aprendida por imitación (por ejemplo, empujes excesivos o insuficientes constantes), HOIST emplea RL por lotes iterativo.
• Proceso:
  1. La política VLA ajustada se despliega para recolectar un pequeño lote de ejecuciones (rollouts) autónomas.
  2. Estas ejecuciones se etiquetan con recompensas específicas de izaje (una combinación ponderada del error de colocación traslacional y el error angular bruto).
  3. Un módulo actor-crítico se entrena fuera de línea para predecir un "vector de dirección de ruido inicial" para el experto de acción de flow-matching. Este actor emite determinadamente un vector de corrección para dirigir el proceso de generación de la política VLA congelada.
  4. La política VLA en sí permanece congelada; solo se actualiza el actor-crítico de dirección de ruido.
  5. Las características del VLM de la política congelada se almacenan en caché y se reutilizan para maximizar la eficiencia.
• Este ciclo se repite, permitiendo que el sistema refine la precisión de la colocación y el comportamiento de parada con un mínimo de datos en el mundo real.

3. Contribuciones Clave

1. Formulación del Problema: La introducción del "izaje con humanoides" como un problema distinto de manipulación de objetos con el cuerpo completo que involucra cargas suspendidas y oscilatorias.
2. El Marco de Trabajo HOIST: Un flujo de trabajo novedoso que combina teleoperación por VR, ajuste supervisado de VLA, ejecución de cuerpo completo fija y refinamiento de RL eficiente en muestras (vía dirección de ruido) para la manipulación de cargas suspendidas.
3. Evaluación Empírica: Experimentos exhaustivos en simulación y en una plataforma humana real, demostrando que el refinamiento por RL supera la simple adición de más demostraciones y analizando el impacto de las modalidades de entrada y el número de ejecuciones.

4. Resultados Experimentales

El artículo evalúa HOIST frente a líneas base que incluyen imitación pura (VLA-50, VLA-80) y teleoperación humana.

• Ganancias de Rendimiento:
  • En simulación, HOIST (50 demos + 30 ejecuciones de RL) redujo el error de colocación traslacional en 19.9 cm y el error angular bruto en 3.56° en comparación con las ejecuciones puras de VLA (VLA-50).
  • En la plataforma real, HOIST logró un error de posición Manhattan total de 6.38 cm, superando a VLA-80 (8.57 cm), que utilizó 30 demostraciones adicionales pero sin RL.
• RL vs. Demostraciones Adicionales: Los resultados indican que optimizar las recompensas de colocación en bucle cerrado mediante RL es más efectivo para corregir errores de posición final que simplemente aumentar el número de demostraciones teleoperadas.
• Estudios de Ablación:
  • La adición de imágenes de profundidad y el condicionamiento de comandos de navegación a la entrada del VLA mejoró significamente la política inicial aprendida por imitación antes del refinamiento por RL.
  • El análisis de movimiento residual (vía IMU en la carga) mostró que, si bien HOIST genera lecturas de aceleración más altas (indicando una corrección activa), reduce las respuestas de giro (movimiento angular) aproximadamente a la mitad en comparación con las políticas de solo imitación, lo que sugiere un mejor amortiguamiento del balanceo residual.

5. Significancia y Reivindicaciones

El artículo afirma que HOIST demuestra el potencial de los humanoides para tareas de manipulación de materiales subactuados, un dominio actualmente dominado por trabajadores humanos debido a riesgos de seguridad (golpeado por, atrapado entre).

• Seguridad y Eficiencia: Al partir de datos de teleoperación seguros y utilizar RL solo para el refinamiento de comandos de alto nivel, HOIST evita los riesgos de seguridad y la ineficiencia de muestras de entrenar desde cero en hardware real.
• Corrección de Sesgo: El trabajo destaca que el aprendizaje por imitación por sí solo sufre de cambios en la distribución durante el despliegue (donde los propios errores del robot alteran la dinámica de la tarea). El refinamiento por RL de HOIST aborda específicamente estos sesgos sistemáticos para mejorar la precisión final.
• Limitaciones Modestas: Los autores reconocen que el sistema está actualmente limitado por el controlador de cuerpo completo fijo, que no puede adaptar explícitamente las fuerzas a diferentes pesos de carga. En consecuencia, el sistema tiene dificultades con objetos más pesados donde se requieren fuerzas adaptativas mayores.

En resumen, HOIST presenta un enfoque práctico para permitir que los humanoides manipulen cargas suspendidas combinando la seguridad del aprendizaje por imitación con el poder de optimización del aprendizaje por refuerzo eficiente en muestras, diseñado específicamente para las dinámicas de sistemas subactuados y oscilatorios.