🤖 AI

Humanoid-GPT: Scaling Data and Structure for Zero-Shot Motion Tracking

Humanoid-GPT es un Transformer de estilo GPT a escala de miles de millones entrenado en un corpus de movimiento unificado de 2 mil millones de fotogramas que logra una generalización zero-shot sin precedentes y un seguimiento robusto de comportamientos de cuerpo completo altamente dinámicos, superando a los rastreadores previos de MLP superficiales limitados por la escasez de datos y las compensaciones entre agilidad y generalización.

Autores originales: Zekun Qi, Xuchuan Chen, Dairu Liu, Chenghuai Lin, Yunrui Lian, Sikai Liang, Zhikai Zhang, Yu Guan, Jilong Wang, Wenyao Zhang, Xinqiang Yu, He Wang, Li Yi

Publicado 2026-06-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zekun Qi, Xuchuan Chen, Dairu Liu, Chenghuai Lin, Yunrui Lian, Sikai Liang, Zhikai Zhang, Yu Guan, Jilong Wang, Wenyao Zhang, Xinqiang Yu, He Wang, Li Yi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a bailar. En el pasado, los investigadores enseñaban a los robots mostrándoles unos pocos movimientos de baile específicos y esperando que pudieran deducir el resto. Era como enseñarle a un niño a nadar mostrándole solo cómo flotar en una piscina; si le pidieras que nadara en el océano, podría entrar en pánico.

El artículo presenta Humanoid-GPT, un nuevo sistema que cambia las reglas del juego. En lugar de mostrarle al robot unos pocos movimientos, le mostraron miles de millones de movimientos diferentes. Así es como lo hicieron, explicado de forma sencilla:

1. La "Biblioteca de Todo" (Escalado de Datos)

Piensa en los entrenadores de robots anteriores como si tuvieran un pequeño libro de 10,000 movimientos de baile. Los creadores de Humanoid-GPT construyeron una biblioteca masiva que contiene 2 mil millones de clips de movimiento.

La Mezcla: No usaron solo un tipo de danza. Combinaron bases de datos de captura de movimiento famosas (como una biblioteca de bailarines profesionales) con sus propias grabaciones de personas reales moviéndose.
La Limpieza: Filtraron cosas que el robot no podía hacer (como sentarse en una silla o nadar) y aceleraron o ralentizaron los movimientos para que el robot aprendiera a moverse a diferentes velocidades.
El Resultado: El robot no solo aprendió "cómo caminar"; aprendió el sentimiento del movimiento en sí mismo.

2. El "Cerebro Inteligente" frente al "Reflejo Simple" (Estructura del Modelo)

Los robots antiguos usaban un cerebro "superficial" (llamado MLP). Imagina esto como un reflejo: si ves una pelota, la atrapas. Funciona bien para cosas simples, pero se confunde si la pelota es lanzada de una manera extraña o si el robot está bailando mientras la atrapa.

Humanoid-GPT utiliza un Transformer (el mismo tipo de cerebro de IA utilizado en los chatbots como el que estás usando ahora).

Atención Causal: Esta es una forma elegante de decir que el robot solo mira lo que sucedió en el pasado para decidir qué hacer a continuación. No puede espiar el futuro.
La Analogía: Si el robot antiguo era un reflejo, Humanoid-GPT es un coreógrafo. Recuerda los últimos pasos de la danza, entiende el ritmo y predice el siguiente movimiento de forma fluida, incluso si la danza es compleja o la música cambia repentinamente.

3. La "Clase Maestra" de Entrenamiento (Destilación)

No puedes simplemente volcar 2 mil millones de clips en un solo cerebro a la vez; se saturaría. Por ello, los investigadores utilizaron un método de enseñanza de dos pasos:

Los Especialistas: Primero, entrenaron a cientos de robots "expertos". Cada experto aprendió un grupo específico de movimientos (por ejemplo, un experto solo aprendió a saltar, otro solo aprendió a girar).
El Generalista: Luego, tomaron a todos estos expertos y le enseñaron a un único "Robot Maestro" (Humanoid-GPT) observándolos. El Robot Maestro aprendió a combinar todas estas habilidades en un único cerebro fluido.

4. La Magia del "Zero-Shot"

La parte más impresionante es la Generalización Zero-Shot.

La Prueba: Le mostraron al robot movimientos de baile que nun nunca había visto antes (como un movimiento de Kung Fu específico o una rutina de baile compleja de un video).
El Resultado: El robot no necesitó practicar ni ser reentrenado. Simplemente observó al humano y copió el movimiento perfectamente de inmediato.
¿Por qué? Porque aprendió los principios del movimiento de la enorme biblioteca, no solo los movimientos específicos. Es como un músico que ha practicado escalas durante años y puede tocar instantáneamente una canción nueva que nunca ha escuchado, en lugar de un robot que solo sabe tocar una canción específica.

5. Velocidad en el Mundo Real

Normalmente, los cerebros de IA grandes son lentos. Pero el equipo optimizó el código para que Humanoid-GPT pueda ejecutarse en una tarjeta de computadora estándar (GPU) en menos de 1.5 milisegundos.

La Analogía: Es como actualizar un camión lento y pesado a un coche de Fórmula 1. Aunque el coche es enorme y potente, es lo suficientemente rápido para conducir en tiempo real sin retrasos.

Resumen

Humanoid-GPT demuestra que para que los robots se muevan como los humanos, necesitas escala.

Más Datos: Una biblioteca masiva de movimientos.
Arquitectura más Inteligente: Un cerebro que puede recordar el contexto y predecir el futuro basándose en el pasado.
Mejor Equilibrio: Asegurarse de que el robot aprenda una gran variedad de movimientos, no solo los fáciles.

El resultado es un robot que puede observar a un humano bailar, saltar o boxear, y copiarlos instantáneamente, sin haber aprendido nunca ese truco específico antes.

Resumen Técnico: Humanoid-GPT

Planteamiento del Problema

El seguimiento de movimiento humanoide ha enfrentado históricamente un compromiso fundamental entre la agilidad (seguimiento de movimientos altamente dinámicos y complejos) y la generalización (seguimiento de estilos o tareas no vistas). Los rastreadores de vanguardia actuales suelen depender de Perceptrones Multicapa (MLP) poco profundos entrenados en corpora de movimiento relativamente pequeños (del orden de $10^4$ trayectorias, $\approx 7.2$ M de fotogramas). Esta disparidad de escala conduce a un modo de falla persistente: los rastreadores que sobresalen en el dominio interno suelen fallar en estilos no vistos, mientras que aquellos con mejor generalización tienen dificultades con la dinámica compleja. El artículo argumenta que esto no es una limitación fundamental, sino un síntoma de una escala de datos insuficiente y diseños de entrenamiento desajustados.

Metodología

Los autores proponen Humanoid-GPT, un rastreador de movimiento humanoide universal y en línea construido sobre la "ciencia del escalado". El marco consta de tres componentes principales:

1. Curación y Escalado de Datos

Construcción del Corpus: Los autores agregaron conjuntos de datos de captura de movimiento (mocap) ampliamente disponibles (AMASS, LAFAN1, MotionMillion, PHUMA) y añadieron grabaciones internas a gran escala.
Procesamiento: Tras un filtrado estricto (eliminando interacciones con objetos como sentarse o nadar) y el retargeting al espacio de articulaciones del humanoide Unitree-G1 de 29 DoF, aplicaron aumentación de deformación temporal (time-warping).
Escala: El corpus curado final contiene 2 mil millones de fotogramas, más de 200 $\times$ mayor que los conjuntos de entrenamiento de rastreadores previos.
Incrustación de Movimiento Armónico (HME): Para gestionar esta escala y asegurar la diversidad, los autores introdujeron HME. Esta representación extrae amplitudes y frecuencias periódicas por articulación para agrupar movimientos. Esto permite un muestreo consciente de la diversidad y equilibrado en su distribución, evitando que el modelo se sobreajuste a modos de movimiento comunes, asegurando al mismo tiempo que los comportamientos raros pero importantes estén representados.

2. Arquitectura Escalable

Transformer Causal: A diferencia de los enfoques previos no causales o basados en MLP, Humanoid-GPT utiliza un Transformer de estilo GPT con atención causal.
Restricción en Línea: El modelo predice objetivos de Proporcional-Derivativo (PD) por articulación utilizando solo observaciones pasadas y actuales, alineándose con las restricciones de despliegue en tiempo real.
Pipeline de Destilación:
1. Entrenamiento de Expertos: Se entrenan cientos de expertos de movimiento basados en PPO en clústeres de movimiento específicos derivados del agrupamiento HME. Estos expertos aprenden un seguimiento físicamente fundamentado con recompensas a nivel de puntos clave (consistencia de posición, velocidad y rotación).
2. Destilación del Generalista: Un único modelo de política Transformer se entrena mediante DAgger (Agregación de Conjuntos de Datos) para destilar el conocimiento de todos los expertos. El modelo trata el seguimiento como un problema de modelado de secuencias, tomando un historial de estados propioceptivos y poses de referencia como entrada para predecir acciones.

3. Optimización de Ingeniería

Para cumplir con los requisitos de control en tiempo real a pesar del gran tamaño del modelo, los autores optimizaron el pipeline de despliegue utilizando ONNX, TensorRT y una arquitectura de streaming en C++. Esto logra una latencia de inferencia de extremo a extremo de menos de 1.5ms en una GPU NVIDIA RTX 4090.

Contribuciones Clave

Escala Sin Precedentes: El primer rastreador humanoide entrenado en un corpus retargetizado de 2 mil millones de fotogramas, demostrando que el escalado de datos y la capacidad del modelo desbloquean capacidades inalcanzables para los MLP poco profundos.
Generalización Zero-Shot: El sistema logra un seguimiento robusto zero-shot en movimientos altamente dinámicos y no vistos (por ejemplo, bailes complejos, artes marciales, rodar para levantarse) sin ningún ajuste fino específico de la tarea.
Incrustación de Movimiento Armónico (HME): Una novedosa herramienta de aprendizaje de representación que cuantifica la diversidad del movimiento y permite un muestreo equilibrado, abordando el problema de la "cola larga" en grandes conjuntos de datos.
Leyes de Escalamiento: El artículo proporciona evidencia empírica de las leyes de escalamiento para el seguimiento humanoide, mostrando que el rendimiento (estabilidad y precisión) mejora de manera predecible con el aumento de datos y la capacidad del modelo, mientras que los MLP se saturan prematuramente.

Resultados

Simulación: En el Unitree-G1 en MuJoCo, Humanoid-GPT (2B tokens, 80M parámetros) logró una Tasa de Éxito de Seguimiento (SR) del 92.58% y un Error Medio de Posición por Articulación (MPJPE) significativamente menor en comparación con líneas base como GMT, TWIST y Any2Track.
Despliegue en el Mundo Real: El modelo se desplegó en un robot físico Unitree-G1. Siguió con éxito movimientos diversos y no vistos (incluyendo los bailes "Can Do Can Go!", "Gokuraku Joudo" y "PokerFace") en tiempo real.
Capacidades Zero-Shot: El robot realizó comportamientos complejos no vistos en el entrenamiento, como jugar al baloncesto, boxear, ayudar con cajas en movimiento y rodar para levantarse.
Comparación: Mientras que las líneas base (MLP/TCN) mostraron rendimientos decrecientes o sobreajuste al escalar los datos, Humanoid-GPT demostró una mejora continua. La arquitectura Transformer mantuvo una precisión y estabilidad superiores incluso con subconjuntos de datos pequeños en comparación con los MLP más grandes.

Significancia y Reclamaciones

El artículo afirma que Humanoid-GPT establece una nueva frontera de rendimiento para el control de cuerpo completo. Al tratar el seguimiento de movimiento como un problema de modelado de secuencias generativo escalado por datos y arquitectura, los autores demuestran que el compromiso entre agilidad y generalización es superable.

El trabajo sugiere que:

La escala es la receta: Mayores datos y modelos, combinados con objetivos de entrenamiento apropiados (atención causal, equilibrio de diversidad), desbloquean nuevas capacidades en la IA con cuerpo (embodied AI).
La generalización es alcanzable: Un solo modelo puede manejar un vasto espectro de dinámicas humanas, yendo más allá de las limitaciones de los rastreadores especializados de pequeña escala.
Base para la AGI: Este enfoque representa un paso hacia agentes con cuerpo de propósito general capaces de ejecutar comportamientos robustos bajo tareas, estilos y entornos no vistos, reflejando las tendencias de escalado observadas en los modelos de lenguaje y visión.

Los autores posicionan a Humanoid-GPT no solo como un mejor rastreador, sino como un paso fundacional hacia la Inteligencia Artificial General (AGI) para agentes con cuerpo, donde la generalización se logra a través del escalado en lugar de heurísticas diseñadas a mano.