💻 computer science

What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?

Este artículo investiga la transferibilidad de las políticas de manipulación robótica entrenadas en videos humanos cotidianos, revelando que si bien las etiquetas de pose de mano de alta calidad son beneficiosas, la transferencia exitosa requiere redes de visión y de política especializadas para cerrar la brecha de movimiento, logrando finalmente una mejora del 29,7% en la tasa de éxito en regímenes de bajos datos robóticos mediante un nuevo enfoque de coentrenamiento.

Autores originales: Richard Li, Aditya Prakash, Andrew Wen, Saurabh Gupta, Yilun Du, Pulkit Agrawal

Publicado 2026-06-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Richard Li, Aditya Prakash, Andrew Wen, Saurabh Gupta, Yilun Du, Pulkit Agrawal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enseñarle a un robot a cocinar, doblar la ropa o recoger una habitación. La forma tradicional es contratar a un humano para que se siente, use sensores especiales y le demuestre la tarea al robot lentamente una y otra vez. Esto es como contratar a un tutor personal que solo habla un lenguaje robótico muy específico. Es caro, lento y solo puedes recibir unas pocas horas de lecciones.

Este artículo plantea una pregunta más sencilla: ¿Por qué no podemos simplemente enseñarle al robot viendo videos de YouTube de personas normales haciendo estas cosas?

Los autores intentaron esto, pero se toparon con algunos obstáculos. Construyeron un "campo de entrenamiento" para descubrir exactamente qué hace que la enseñanza de un robot a partir de videos humanos funcione (o falle). Esto es lo que encontraron, explicado de forma sencilla:

1. El problema de la "mano": Ver los detalles

Cuando ves un video de una persona vertiendo café, tus ojos se centran naturalmente en su mano. Pero las computadoras son malas adivinando exactamente dónde está una mano en un espacio 3D solo mirando un video plano.

La forma antigua: Los intentos previos utilizaban la estimación "monocular" (adivinar el 3D a partir de una sola cámara 2D). Esto es como intentar adivinar la forma exacta de una nube solo mirando su sombra; suele ser borroso y erróneo.
La solución: Los autores crearon un nuevo conjunto de datos llamado TriHands. Tomaron 532 videos de cocina y utilizaron múltiples cámaras (como un set de filmación con cámaras por todos lados) para "triangular" matemáticamente la posición exacta de las manos.
El resultado: Es la diferencia entre un boceto borroso y un plano de alta definición. Descubrieron que cuanto más precisos son los datos de la mano, mejor aprende el robot. Aunque su método de "boceto borroso" (usando IA estándar) todavía ayudaba un poco, el método del "plano" era muy superior.

2. El problema de la "cámara": Diferentes lentes, diferentes mundos

Imagina que le estás enseñando a un robot usando un video tomado con un lente gran angular tipo ojo de pez (como una GoPro en un casco) y el robot tiene una cámara estándar en su brazo.

El problema: En el video, una taza puede parecer enorme porque la cámara está cerca y es amplia. En el robot, esa misma taza parece diminuta porque la cámara es estrecha y está lejos. Si solo alimentas al robot con ambas imágenes, se confunde. Es como intentar aprender a conducir un coche viendo un video de alguien conduciendo un kart, pero el video tiene tanto zoom que la carretera parece un pasillo.
La solución: Desarrollaron una forma de "redimensionar" el mundo del video para que coincida con el mundo del robot. Ajustaron matemáticamente el video para que los objetos aparezcan a la misma escala y distancia que se verían para el robot.
El resultado: Este ajuste simple cambió las reglas del juego. Sin él, el robot no podía aprender. Con él, el robot pudo realmente entender el video.

3. El problema del "cuerpo": Los humanos y los robots se mueven de forma diferente

Los humanos tienen brazos, muñecas y dedos flexibles. Los robots suelen tener brazos rígidos y articulados con una pinza.

El problema: Si obligas a un robot a copiar exactamente los movimientos de una mano humana, falla. Un humano puede girar la muñeca para agarrar una taza; un brazo robótico podría no ser capaz de doblarse de esa manera. Es como intentar enseñarle a un pingüino a volar mostrándole videos de águilas. El pingüino simplemente batirá sus alas y caerá.
La solución: En lugar de forzar al robot a copiar al humano exactamente, construyeron una red de "traducción" especial. Esta red aprende el objetivo del movimiento (por ejemplo, "agarrar la taza") pero deja que el robot encuentre su propia manera de lograrlo usando su propio cuerpo. Le dieron al robot su propio "cerebro" para entender su propio cuerpo, separado del humano.
El resultado: Esta "especialización" permitió al robot aprender la intención del humano sin quedarse estancado intentando imitar posturas humanas imposibles.

La gran recompensa

Los autores probaron esto en seis tareas diferentes (como apilar cuencos, verter agua o recoger un libro).

El milagro de los "pocos datos": Cuando el robot tenía muy pocos datos de práctica propios (solo unas pocas horas), añadir los videos humanos aumentó su tasa de éxito en casi un 30%. Es como si el robot pasara de apenas aprobar el examen a obtener una calificación excelente solo por ver los videos humanos.
La realidad de los "muchos datos": Cuando el robot tenía muchísimos datos de práctica propios, los videos humanos ayudaban menos, pero aun así proporcionaban un pequeño impulso.

La conclusión

Enseñar a los robots a partir de videos cotidianos de internet es posible, pero no puedes simplemente volcar los videos en el cerebro del robot y esperar lo mejor. Necesitas tres cosas:

Etiquetas de manos claras: Necesitas saber exactamente dónde están las manos (no solo una suposición).
Alineación de escala: Necesitas asegurarte de que el mundo del video se vea del mismo tamaño que el mundo del robot.
Especialización corporal: Necesitas dejar que el robot aprenda su propia forma de moverse, en lugar de forzarlo a copiar la anatomía humana.

Al solucionar estas tres cosas, los autores demostraron que podemos usar la vasta biblioteca de videos humanos en internet para entrenar robots de forma mucho más rápida y barata que nunca.

Resumen Técnico: ¿Qué importa al realizar el cotrenamiento de políticas de manipulación robótica con videos cotidianos de humanos?

Declaración del Problema

La construcción de modelos fundacionales robóticos generalistas se ve actualmente obstaculizada por la escasez de datos. Mientras que las demostraciones mediante teleoperación son costosas y lentas de recolectar, y el aprendizaje por refuerzo enfrenta desafíos en el diseño de recompensas y la transferencia de simulación a realidad (sim-to-real), los videos de Internet sobre actividades cotidianas humanas ofrecen una fuente potencialmente escalable de inteligencia física. Sin embargo, aprovechar estos videos para la manipulación robótica no es trivial. El trabajo previo depende de pipelines modulares que descomponen las políticas en componentes intermedios (por ejemplo, poses 3D, asequibilidades/affordances) o emplea un cotrenamiento de extremo a extremo que requiere datos altamente curados y alineados, donde los movimientos humanos estén orquestados para coincidir con la cinemática del robot, las cámaras sean idénticas y el hardware especializado capture poses de manos 3D precisas.

La pregunta abierta que aborda este trabajo es: ¿Qué factores permiten la transferencia de políticas de manipulación desde videos de Internet no restringidos hacia los robots? Específicamente, los autores investigan el impacto de dos fuentes primarias de dificultad: (1) la calidad de las etiquetas de la pose de la mano 3D y (2) la "brecha de acción" inducida por el movimiento humano natural y los desajustes de tareas en comparación con el comportamiento del robot.

Metodología

1. El Conjunto de Datos TriHands

Para estudiar rigurosamente el impacto de la calidad de las etiquetas de la mano sin el ruido inherente a la estimación monocular, los autores construyeron un nuevo conjunto de datos, TriHands.

Fuente: 532 videos de cocina del conjunto de datos EgoExo4D.
Anotación: En lugar de depender de estimadores monoculares, los autores utilizaron un pipeline multivista para triangular las poses de las manos en 3D. Utilizaron cámaras extrínsecas junto con la vista egocéntrica para generar etiquetas 3D de alta calidad.
Refinamiento: El pipeline consistió en el ajuste fino de un estimador de pose de mano 3D (WiLoR) utilizando la pérdida de reproyección sobre etiquetas 2D parciales proporcionadas por EgoExo4D. Emplearon la Transformación Lineal Directa (DLT) con refinamiento no lineal, seleccionando subconjuntos de cámaras que maximizan el recuento de cámaras mientras satisfacen los umbrales de error de reproyección.
Escala: El conjunto de datos resultante contiene más de 28 horas de datos de movimiento natural de alta calidad, con 3,042,406 fotogramas de la mano derecha a 30 fps.

2. Marco de Trabajo y Arquitectura

Los autores proponen un marco de cotrenamiento que equilibra la alineación de observaciones/acciones entre distintas encarnaciones (embodiments) mientras permite que la red se especialice en las diferencias cinemáticas y sensoriales específicas entre humanos y robots.

Alineación de Escala en el Espacio de la Imagen: Un paso crítico, previamente pasado por alto, implica alinear la escala del espacio de la imagen de los objetos. Dado que las cámaras humanas y robóticas suelen tener diferentes distancias focales y campos de visión (FOV), los autores destorsionan las imágenes de ojo de pez humanas y ajustan las extrínsecas de la cámara del robot (rotación y traslación de profundidad) para que coincidan con la extensión 3D vertical de la escena humana. Esto asegura que los objetos aparezcan a escalas similares en la entrada de la red.
Alineación del Espacio de Acción: Las poses de la mano 3D humana se mapean al espacio de acción del robot (pose del TCP y comando de agarre). Para manejar la multimodalidad introducida por el movimiento de la cámara en la cabeza, las poses por fotograma respecto a la cámara se estabilizan transformándolas al marco de la cabeza actual. Los fragmentos de acción (action chunks) se centran en la media y se escalan a $\pm 1$ para resolver los sesgos de distribución.
Arquitectura (inspirada en Transfusion): El modelo utiliza una arquitectura de emparejamiento de flujo condicional (conditional flow-matching).
- Fusión a Nivel de Token: A diferencia de trabajos previos que utilizan cuellos de botella de imagen (tokens CLS), esta arquitectura conserva todos los tokens de imagen de la ViT y los concatena con tokens de acción ruidosos mediante atención compartida.
- Especialización de la Encarnación: La red emplea expertos de FFN separados para los tokens visuales y de acción. Crucialmente, utiliza codificadores y decodificadores de acción específicos de la encarnación (MLPs separados para humanos y robots) en lugar de pesos compartidos. Esto permite que el modelo aprenda representaciones visuales invariantes mientras acomoda las distintas dinámicas de movimiento de cada encarnación.
Algoritmo de Cotrenamiento: Para evitar que el gran volumen de datos humanos abrume el conjunto de datos de robots más pequeño, los autores muestrean un número igual de lotes (batches) de cada encarnación por paso. Esto es matemáticamente equivalente a ponderar al alza la pérdida del robot, asegurando que la política permanezca anclada en la cinemática del robot.

Contribuciones Clave

Conjunto de Datos TriHands: Un conjunto de datos a gran escala de videos cotidianos humanos con etiquetas de mano 3D precisas y trianguladas. Los autores demuestran que este conjunto de datos produce un mejor rendimiento de transferencia que los conjuntos de datos de laboratorio a gran escala (ej. EgoDex) a pesar de tener 5 veces menos horas de datos, resaltando la importancia de la diversidad de la escena sobre la escala pura.
Impacto de la Calidad de la Mano: El estudio muestra que etiquetas de mano 3D de mayor calidad mejoran significativamente la transferencia. Si bien los estimadores monoculares de última generación (HaWoR) aún proporcionan cierto beneficio sobre el entrenamiento solo con robots, existe una brecha de rendimiento sustancial entre las estimaciones monoculares y las manos trianguladas, particularmente en tareas complejas.
Alineación de Escala en el Espacio de la Imagen: Los autores identifican y demuestran la necesidad de alinear las escalas del espacio de la imagen al cotrenar a través de diferentes cámaras. Los ajustes geométricos simples a la posición virtual de la cámara del robot mejoran significamente la transferencia, un factor que no se tiene en cuenta actualmente en los modelos líderes de Visión-Lenguaje-Acción (VLA).
Arquitectura para el Movimiento Natural: El artículo establece que las recetas de cotrenamiento estándar diseñadas para datos de laboratorio (ej. codificadores de acción compartidos, cuellos de botella de imagen) fallan al transferirse efectivamente a datos de movimiento natural. En su lugar, es necesaria la especialización de la encarnación (fusión a nivel de token y codificadores/decodificadores separados) para cerrar la gran brecha de movimiento inherente a los videos humanos no restringidos.

Resultados

Los autores evaluaron su enfoque en seis tareas de manipulación en el mundo real (Pick, Stack, Reorient, Pull, Book, Pour) utilizando un brazo AgileX Piper de 6 grados de libertad (DOF). Entrenaron con 532 videos humanos y cantidades variables de datos de robots (3, 5 o 10 entornos).

Ganancias de Rendimiento: La receta de cotrenamiento propuesta produjo mejoras consistentes en todos los regímenes de datos de robot. En el régimen de bajos datos de robot (3 entornos), el método logró una ganancia absoluta en la tasa de éxito del 29.7% (41.7% frente a 12.0% para el entrenamiento solo con robot) en seis tareas.
Comportamiento de Escalamiento: Aunque el beneficio relativo de los datos humanos disminuye a medida que aumenta la cantidad de datos de robot específicos de la tarea (un fenómeno conocido en el cotrenamiento entre tareas), las ganancias absolas siguen siendo significativas en los regímenes de bajos datos.
Estudios de Ablación:
- Arquitectura: Eliminar la fusión a nivel de token (usando tokens CLS) o compartir los codificadores/decodificadores de acción resultó en caídas significativas de rendimiento, confirmando la necesidad de especialización.
- Alineación de Escala: Usar un modelo de cámara de ojo de pez "fuertemente desalineado" (sin corrección de escala) resultó en un rendimiento comparable al entrenamiento solo con robot, mientras que la alineación por extensión duplicó el rendimiento.
- Calidad de la Mano: Añadir ruido Gaussiano a las manos trianguladas para simular errores de estimación monocular causó una degradación monótona del rendimiento, confirmando que la precisión de la pose de la mano es un factor limitante.

Significado y Reivindicaciones

El artículo afirma trazar un camino hacia el cotrenamiento robótico con videos de Internet al identificar y abordar los cuellos de botella específicos que distinguen a tales datos de las demostraciones de laboratorio curadas. Los autores sostienen que:

El movimiento natural es un arma de doble filo: Aunque ofrece escalabilidad, la brecha de movimiento inherente requiere especialización arquitectónica (codificadores/decodificadores específicos de la encarnación) en lugar de una simple alineación.
La calidad de los datos importa más que la escala: La diversidad de escenas en los videos naturales (TriHands) superó a los conjuntos de datos de laboratorio más grandes y restringidos (EgoDex).
Direcciones Futuras: El trabajo sugiere que las mejoras futuras en la estimación de la pose de la mano (acercándose a la calidad de las etiquetas trianguladas) desbloquearán capacidades de transferencia aún mayores. Los autores señalan que su dependencia actual de la retargetización cinemática puede limitar la efectividad en las tareas más complejas (ej. "Pour"), dejando la investigación sobre la alineación representacional y el retargeting de acción para trabajos futuros.

El estudio concluye que, si bien quedan desafíos, una combinación de etiquetas de mano de alta calidad, una cuidadosa alineación del espacio de la imagen y arquitecturas especializadas en la encarnación hace que el cotrenamiento con videos cotidianos de humanos sea una estrategia viable y efectiva para mejorar la manipulación robótica, particularmente en escenarios de escasez de datos.