Resumen Técnico: VENOM - Red de Seguimiento de Movimiento Omni-corporal Versátil para el Seguimiento de Movimientos de Cuerpo Completo

Planteamiento del Problema

Lograr un seguimiento de movimiento de cuerpo completo de nivel experto y expresivo en múltiples robots humanoides utilizando únicamente datos de demostración sigue siendo un desafío significativo en el aprendizaje de robots. Los enfoques actuales de cross-embodiment (intercambio de morfologías) a menudo desacoplan el control en segmentos de la parte superior e inferior del cuerpo o dependen del aprendizaje por refuerzo (RL) con marcos de actor-crítico asimétricos que requieren información privilegiada. Además, existe una escasez de conjuntos de datos de control de bajo nivel a gran escala para diversos humanoides, lo que limita el entrenamiento de modelos fundacionales versátiles. Los modelos existentes suelen estar restringidos a tareas de locomoción o no logran generalizar eficazmente a través de diferentes morfologías sin la alineación manual de los espacios de observación y acción.

Metodología

El Conjunto de Datos VENOM

Los autores curaron un nuevo conjunto de datos de seguimiento de movimiento multi-humanoide, el conjunto de datos VENOM, para abordar la falta de datos de control de bajo nivel a gran escala.

• Datos de Origen: El conjunto de datos fue generado utilizando el marco de entrenamiento TWIST2 (un pipeline de seguimiento de movimiento basado en RL) para entrenar rastreadores expertos en cinco humanoides diferentes: Unitree G1, Unitree H1, Unitree H1 v2, Fourier N1 y Booster T1 (29 DoF).
• Generación de Datos: Los expertos fueron entrenados en la totalidad del conjunto de datos AMASS. Para cada movimiento, los expertos generaron una ejecución (rollout) limpia y ocho ejecuciones con ruido. El ruido se aplicó a los movimientos de referencia en el espacio de observación (posición de la raíz, orientación, velocidad y posiciones de las articulaciones).
• Escala: El conjunto de datos comprende aproximadamente 7.705 horas de datos, divididas en clips de 6 segundos, que contienen estados, acciones y recompensas.

Arquitectura del Modelo (VENOM)

VENOM es un rastreador de movimiento basado en GPT (Transformer) diseñado para el control de cuerpo completo a través de múltiples humanoides.

• Arquitectura: El controlador central consiste en 8 capas de transformer con 8 cabezales de atención y una dimensión de embedding de 768. Utiliza una arquitectura unificada que no desacopla el control de la parte superior e inferior del cuerpo.
• Procesamiento de Entrada: El modelo emplea codificadores específicos para procesar los movimientos de referencia:
  • Codificador de Movimiento (Motion Encoder): Codifica el movimiento de referencia de 1 paso.
  • Codificador de Historial (History Encoder): Codifica 10 pasos de historial de movimiento de referencia utilizando convoluciones 1-D.
  • Codificador de Futuro (Future Encoder): Codifica el movimiento de referencia futuro de 1 paso utilizando un MLP.
• Manejo de Multi-Embodiment: El modelo utiliza capas de embedding de tokens y cabezales de acción distintos para cada humanoide. Durante el entrenamiento, las entradas de todos los humanoides se concatenan a lo largo de la dimensión del lote (batch) y se alimentan a un decodificador transformer compartido. Durante la inferencia, solo el módulo de entrada específico y el cabezal de acción correspondientes al humanoide objetivo están activos.
• Objetivo de Entrenamiento: El modelo se entrena mediante aprendizaje supervisado para minimizar el Error Cuadrático Medio (MSE) entre las acciones predichas y las acciones expertas. Se entrena tanto con ejecuciones limpias como con ruido para mejorar la robustez.

Baselines (Líneas de Base)

El estudio compara VENOM contra:

1. Baselines TWIST2: Modelos basados en MLP entrenados con el conjunto de datos VENOM (ya sea en un solo robot o en múltiples robots) utilizando el mismo marco de aprendizaje supervisado.
2. Expertos de RL: Modelos actor-crítico asimétricos entrenados directamente en el entorno de RL (framework TWIST2), que sirven como el límite superior (upper bound) de rendimiento.

Resultados Clave

Escalamiento y Arquitectura

• Generalización Multi-Robot: Cuando se entrenó en múltiples robots, el baseline de MLP basado en TWIST2 sufrió de transferencia negativa, fallando en estabilizar los robots mientras seguía los movimientos de referencia. En contraste, el Transformer-based VENOM logró generalizarse exitosamente a través de diferentes morfologías.
• Robustez al Ruido: El modelo VENOM-noisy (entrenado con ejecuciones con ruido) demostró capacidades de seguimiento de movimiento superiores en comparación con los modelos entrenados solo con datos limpios. La inclusión de ruido expuso la política a regiones de observación poco exploradas, mejorando la robustez.
• Métricas de Rendimiento: En el Unitree G1, VENOM-noisy alcanzó un error de seguimiento de articulación RMS de 0.1052 radianes, superando al baseline MLP multi-robot (0.1686) e igualando el rendimiento del baseline MLP de un solo robot (0.1067).

Seguimiento de Movimiento y Estabilidad

• Seguimiento de Articulaciones: Los modelos VENOM superaron consistentemente a los baselines MLP multi-robot en la precisión del seguimiento de articulaciones en diversas categorías de comportamiento (atlético, agachado, baile, salto, locomoción).
• Estabilidad vs. Aprendizaje Supervisado: Si bien VENOM-noisy logró tasas de éxito altas (92–100%) y un bajo desvío (drift) en comparación con otros modelos supervisados, no igualó completamente la estabilidad de movimiento de los expertos de RL. Los expertos de RL lograron tasas de éxito más altas y tasas de error de raíz más bajas, lo que sugiere un compromiso (trade-off) entre la fidelidad del seguimiento del movimiento y la estabilidad cuando se depende únicamente del aprendizaje supervisado sin retroalimentación de recompensa.
• Limitaciones: Todos los modelos, incluidos los expertos de RL, tuvieron dificultades con movimientos altamente dinámicos que involucran fases de vuelo (por ejemplo, saltos, sprints), aprendiendo comportamientos para mantener el contacto con el suelo para asegurar la estabilidad.

Significación y Reivindicaciones

El artículo posiciona a VENOM como el primer modelo de seguimiento de movimiento de cuerpo completo multi-humanoide que opera sin desacoplar el control de la parte superior e inferior del cuerpo. Sus principales contribuciones son:

1. Curación de Conjunto de Datos: La creación del conjunto de datos VENOM, un conjunto de datos multi-morfología a gran escala generado mediante imitación experta, que sirve como base para entrenar rastreadores de movimiento versátiles.
2. Viabilidad de Modelo Fundacional: Demostrar que un modelo fundacional basado en GPT entrenado mediante aprendizaje supervisado sobre datos diversos y con ruido puede lograr capacidades de seguimiento de movimiento de cuerpo completo y cross-embodiment que superan a los baselines tradicionales de MLP.
3. Brecha Supervised vs. RL: Cuantificar la brecha entre el aprendizaje supervisado y los expertos de RL. Los autores muestran que, si bien el aprendizaje supervisado puede recuperar gran parte de la capacidad de un experto, actualmente implica un compromiso en la estabilidad del movimiento, particularmente para tareas altamente dinámicas.

Los autores concluyen que, aunque VENOM representa un paso significativo hacia el control de bajo nivel generalizable, el trabajo futuro debería explorar el entrenamiento directo de RL para el seguimiento de movimiento, políticas de retargeting en línea para manejar morfologías arbitrarias y la mejora de los horizontes de predicción para movimientos dinámicos de fase de vuelo.