🤖 machine learning

Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation

Este artículo presenta "Humanoid Everyday", un conjunto de datos a gran escala y diverso que comprende más de 10.000 trayectorias multimodales a través de 260 tareas diseñadas para avanzar en la investigación de la manipulación humanoide en el mundo abierto, acompañado de un análisis de los métodos de aprendizaje de políticas y una plataforma de evaluación estandarizada basada en la nube.

Autores originales: Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot a ser un compañero de cuarto útil. Quieres que camine por la casa, recoja una taza, doble una toalla e incluso te entregue una herramienta. Pero en este momento, la mayoría de los datos de entrenamiento de robots es como una biblioteca llena de libros sobre cómo mover un solo brazo robótico sentado en una mesa. Es excelente para ese brazo, pero no le enseña a un robot completo cómo caminar, mantener el equilibrio y usar dos manos al mismo tiempo.

El artículo "Humanoid Everyday" introduce una nueva y masiva solución a este problema. Piensa en esto como la "Enciclopedia de la Vida Diaria del Robot".

Aquí hay un desgido simple de lo que los investigadores construyeron y por qué es importante:

1. El Conjunto de Datos: Un "Reality Show" de Robots

Los investigadores crearon una enorme colección de datos de video y sensores llamada Humanoid Everyday.

El Elenco: Utilizaron dos robots humanoides avanzados (el Unitree G1 y el H1) que se ven y se mueven como humanos, con manos diestras que pueden sentir el tacto.
La Trama: En lugar de solo mover una caja del punto A al punto B, grabaron 260 "escenas" o tareas diferentes. Estas van desde cosas simples como recoger un juguete de un dumpling hasta tareas complejas como caminar mientras sostienes el picaporte de una puerta o doblar una toalla.
La Variedad: Las tareas cubren siete categorías diferentes, incluyendo:
- Tareas domésticas básicas (recoger cosas).
- Tratar con cosas blandas (como tela o toallas).
- Usar herramientas (como un borrador).
- Trabajo en equipo (entregar objetos a un humano).
- Caminar y trabajar (moverse mientras se realizan tareas).
La Escala: Grabaron más de 10,000 clips de video (trayectorias) y más de 3 millones de fotogramas de datos. Cada clip incluye video, profundidad (distancia 3D), escaneos láser (LiDAR) e incluso lo que las manos del robot "sienten" (datos táctiles).

2. La Fórmula Secreta: Un "Equipo de Cámara Superrápido"

Recolectar estos datos es difícil porque los robots se mueven rápido, y si la cámara tiene un pequeño retraso, los datos son inútiles.

El Problema: El software oficial del robot era como una carretera de un solo carril y lenta donde los datos se quedaban atrapados en el tráfico.
La Solución: El equipo construyó un nuevo sistema de "teleoperación" (una forma de controlar el robot de forma remota). Trataron la recolección de datos como una carrera de relevos de alta velocidad. En lugar de que una sola persona hiciera todo, dividieron el trabajo en diferentes "procesos" (como diferentes corredores) que se ejecutan simultáneamente.
El Resultado: Redujeron el retraso (lag) de 500 milisegundos a solo 2 milisegundos. Esto es como pasar de la velocidad de un caracol a un sprint, lo que permite capturar movimientos suaves y de alta calidad que realmente parecen realizados por un humano.

3. La "Pista de Pruebas" en la Nube

Uno de los mayores dolores de cabeza en la investigación de robots es que no todos los científicos poseen un robot humanoide de $100,000.

La Innovación: El equipo construyó una plataforma de evaluación basada en la nube.
Cómo funciona: Imagina una pista de control remoto. Investigadores de cualquier parte del mundo pueden subir el "cerebro" de su robot (su política de IA) a la nube. La nube luego envía los ojos del robot (la transmisión de video) a la computadora del investigador. La computadora del investigador calcula qué hacer y envía los comandos de vuelta al robot físico en el laboratorio.
El Benefiente: Esto crea un campo de juego justo. Todos prueban su robot en las mismas tareas del mundo real, en la misma habitación y con el mismo robot exacto. Ya no hay dudas de si tu robot es mejor porque tiene una cámara diferente o una mesa diferente.

4. El Choque de Realidad: Lo que los Robots Pueden (y No Pueden) Hacer

Los investigadores no solo recolectaron datos; los probaron. Tomaron varios modelos de IA famosos (los "cerebros" que se usan actualmente en robótica) e intentaron enseñarles estas nuevas tareas.

Las Buenas Noticias: Los modelos mejoraron en algunas cosas, especialmente cuando habían visto mucha información similar antes (pre-entrenamiento). El mejor desempeño fue de un modelo llamado GR00T N1.5, que tuvo éxito en aproximadamente el 51% de los ensayos.
Las Malas Noticias: Los robots todavía tienen dificultades con las cosas más difíciles.
- El Problema de la "Rosa en un Florero": En una tarea donde el robot tenía que caminar y colocar el tallo delgado de una rosa en la abertura de un florero diminuto, casi todos los modelos fallaron (tasa de éxito del 0%).
- ¿Por qué? Los robots son buenos en movimientos grandes, pero terribles en los ajustes pequeños y precisos necesarios para tareas delicadas. También se confunden cuando tienen que caminar y mover las manos al mismo tiempo.

Resumen

Humanoid Everyday es una biblioteca masiva y de alta calidad de la vida diaria de un robot, recolectada con un sistema superrápido que captura cada detalle. Viene con una "pista de pruebas en la nube" para que cualquiera pueda probar los cerebros de sus robots en hardware real.

El artículo muestra que, si bien estamos progresando, los "cerebros" de los robots actuales todavía son como niños pequeños aprendiendo a caminar: pueden hacer cosas simples, pero tropiezan cuando se les pide caminar y realizar habilidades motoras finas (como enhebrar una aguja) al mismo tiempo. Este conjunto de datos es el campo de entrenamiento necesario para ayudarlos a crecer.

Resumen Técnico: Humanoid Everyday

Declaración del Problema

A pesar de los avances significativos en la robótica humanoide respecto a las capacidades de cuerpo completo (locomoción, baile, carrera), el desarrollo de políticas de manipulación humanoide de propósito general se ve obstaculizado por tres brechas principales:

Limitaciones de los Conjuntos de Datos: Los conjuntos de datos existentes se centran predominantemente en brazos robóticos estacionarios o plataformas móviles simples. Los pocos conjuntos de datos de humanoides existentes suelen estar confinados a entornos fijos, carecen de diversidad de tareas, omiten la locomoción del tren inferior y no logran capturar interacciones complejas humano-humanoide.
Escasez de Evaluación: Existe una falta de plataformas de evaluación estandarizadas para evaluar modelos de aprendizaje basados en datos de humanoides. Los marcos actuales están limitados en gran medida a brazos robóticos o agentes simulados, lo que dificulta comparaciones justas y rigurosas entre diversas políticas de humanoides.
Brecha de la Encarnación (Embodiment Gap): Los conjuntos de datos actuales a menudo no logran capturar todo el espectro de capacidades similares a las humanas requeridas para escenarios del mundo real, incluyendo la coordinación bimanual, el movimiento de cuerpo completo y la interacción diestra con objetos deformables y herramientas.

Metodología

1. Pipeline de Recolección de Datos

Los autores desarrollaron un pipeline de teleoperación altamente eficiente y supervisado por humanos para recolectar el conjunto de datos Humanoid Everyday.

Hardware: Los datos se recolectaron utilizando dos robots humanoides Unitree: el G1 (29 DoF, equipado con manos diestras Dex3-1 de 7 DoF con sensores táctiles) y el H1 (27 DoF, equipado con manos INSPIRE de 6 DoF). Ambos robots portan cámaras RGB-D Intel RealSense y sistemas LiDAR Livox.
Interfaz de Teleoperación: Los operadores usan un Apple Vision Pro para capturar los puntos clave (keypoints) de las muñecas y los dedos. Los movimientos de los dedos se mapean a las manos del robot mediante un sistema de retargeting de dex, mientras que las poses de las muñecas se convierten en comandos de articulación de los brazos mediante un algoritmo de cinemática inversa (IK) basado en Pinocchio.
Optimización del Pipeline: A diferencia del diseño bloqueante y sincrónico del script oficial de teleoperación de Unitree, los autores implementaron un pipeline de E/S multiproceso y asíncrono. Esto desacopla la transmisión de datos, la escritura, el control del robot y el cómputo de IK en procesos/hilos separados utilizando buffers de memoria compartida.
- Rendimiento: Esta reingeniería redujo el retraso de control de 500 ms a 2 ms y redujo a la mitad el tiempo de recolección de datos en comparación con el sistema oficial, permitiendo un control de alta frecuencia (30 Hz) y una captura de datos multimodales sincronizada.

2. Composición del Conjunto de Datos

El conjunto de datos comprende 10.3k trayectorias y más de 3 millones de fotogramas que cubren 260 tareas únicas a través de 7 categorías:

Manipulación Básica: Tareas de pick-and-place (tomar y colocar).
Manipulación de Deformables: Interacción con telas u objetos blandos.
Manipulación Articulada: Operación de estructuras con bisagras o juntas.
Uso de Herramientas: Utilización de objetos externos para lograr objetivos.
Manipulación de Alta Precisión: Tareas que requieren alta exactitud (ej. insertar un tallo).
Interacción Humano-Robot (HRI): Acciones cooperativas con humanos.
Loco-Manipulación: Combinación de locomoción con manipulación.

Modalidades: Cada episodio incluye video RGB, mapas de profundidad, escaneos LiDAR, retroalimentación táctil, datos de IMU, poses de articulación, acciones de articulación y anotaciones de lenguaje natural.

3. Plataforma de Evaluación Basada en la Nube

Para abordar la falta de evaluación estandarizada, los autores introdujeron una plataforma de evaluación basada en la nube.

Funcionalidad: Los investigadores pueden cargar políticas en un servidor, el cual transmite entradas visuales en tiempo real (RGB, Profundidad) y estados del robot desde un robot físico G1 o H1 hacia el cliente.
Ejecución: Los usuarios ejecutan la inferencia localmente y envían comandos de acción de vuelta al servidor para su ejecución en el robot físico.
Monitoreo: Una interfaz web proporciona vistas de tercera persona y egocéntricas de la ejecución de la tarea.
Eficiencia: El sistema demostró la capacidad de funcionar continuamente durante más de 100 minutos con una intervención humana mínima (solo 3 intervenciones por sobrecalentamiento del motor), permitiendo un benchmarking reproducible y agnóstico al hardware.

4. Experimentos de Análisis de Políticas

Los autores evaluaron una serie de modelos representativos de aprendizaje por imitación y modelos de Visión-Lenguaje-Acción (VLA) en el conjunto de datos:

Modelos Probados: Diffusion Policy (DP), 3D Diffusion Policy (DP3), Action Chunking with Transformers (ACT), OpenVLA, $\pi_0$ -FAST, $\pi_0.5$ , y GR00T N1.5.
Estrategia de Entrenamiento: Se utilizó un enfoque de ajuste fino (fine-tuning) de dos etapas para los modelos VLA: pre-entrenamiento en el conjunto de datos completo de Humanoid Everyday seguido de la adaptación a categorías de tareas específicas.
Estudio de Ablación: Se realizó una comparación entre el ajuste fino directo de tareas específicas y la estrategia de pre-entrenamiento de dos etapas.

Resultados Clave

1. Rendimiento de las Políticas

Dificultad General: Todas las políticas de imitación de extremo a extremo tuvieron dificultades significativas debido al alto espacio de acción (28 DoFs).
Especificidades de los Modelos:
- DP3 generalmente superó a DP, atribuido a la robustez de las observaciones de nubes de puntos 3D, aunque falló en tareas de Loco-Manipulación donde los cambios drásticos entre fotogramas hicieron que las nubes de puntos fueran menos confiables que el RGB.
- ACT tuvo un desempeño pobre, sobreajustándose a las trayectorias demostradas y fallando en adaptarse a las variaciones de la escena.
- OpenVLA tuvo dificultades con los datos de alta frecuencia (30 Hz); el submuestreo (downsampling) a 2 Hz mejoró la generación de movimiento pero redujo la fluidez.
- $\pi_0$ -FAST enfrentó errores de decodificación debido a la tokenización de acciones de alta dimensión, lo que ocasionalmente causaba que el robot se detuviera.
- $\pi_0.5$ produjo acciones más suaves pero aún exhibió sobreajuste.
- GR00T N1.5 alcanzó la tasa de éxito promedio más alta (51%), atribuido al extenso pre-entrenamiento en conjuntos de datos de humanoides a gran escala.
Modos de Fallo: Las categorías más desafiantes fueron Loco-Manipulación y Manipulación de Alta Precisión. En la tarea "Insertar rosa en florero", casi todas las políticas lograron una tasa de éxito del 0%, resaltando la falta de percepción visoespacial fina en los modelos actuales.

2. Utilidad del Pre-entrenamiento

El estudio de ablación confirmó que el pre-entrenamiento en Humanoid Everyday previo al ajuste fino de tareas específicas mejoró consistentemente el rendimiento de los modelos VLA. Esto sugiere que la exposición a comportas humanoides diversas proporciona un conocimiento previo (prior) valioso que mejora la robustez y estabilidad en tareas de manipulación descendentes.

Significación y Reivindicaciones

El artículo posiciona a Humanoid Everyday como un recurso fundamental para avanzar en la investigación de la manipulación humanoide de propósito general. Su significancia es triple:

Diversidad de Datos: Cierra la brecha en los conjuntos de datos existentes al ofrecer una colección multimodal a gran escala que abarca diversos entornos, locomoción de cuerpo completo, manipulación diestra e interacción humana.
Benchmarking Estandarizado: La plataforma de evaluación acompañante es la primera diseñada específicamente para robots humanoides, reduciendo la barrera de entrada para investigadores sin acceso a hardware físico y permitiendo comparaciones justas y reproducibles.
Perspectiva sobre las Limitaciones: El análisis de las políticas actuales revela que, si bien los grandes modelos VLA muestran potencial, persisten desafíos significativos en el control de alta dimensión, la percepción de grano fino y la robustez ante entornos dinámicos.

Los autores concluyen que, aunque los métodos actuales de aprendizaje por imitación enfrentan obstáculos sustanciales, la combinación de este conjunto de datos, la plataforma de evaluación y los conocimientos obtenidos del análisis de políticas sienta las bases para desarrollar agentes robóticos más capaces y encarnados en escenarios del mundo real. Reconocen limitaciones, como la necesidad de diseños de modelos especializados para espacios de alta dimensión y la incapacidad actual de las políticas para reiniciar entornos de forma autónoma, identificándolos como direcciones para trabajos futuros.