🤖 machine learning

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip es un modelo fundacional de Visión-Lenguaje-Acción generalizable que aprovecha un marco de alineación unificado a través de las dimensiones de representación, movimiento y comportamiento para permitir el entrenamiento a gran escala en un corpus de código abierto de aproximadamente 38.100 horas, logrando un rendimiento de vanguardia y capacidades de generalización emergentes a través de diversas plataformas robóticas y evaluaciones de fuera de la distribución.

Autores originales: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An

Publicado 2026-06-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Enseñar a los Robots a "Pensar" como los Humanos

Imagina que quieres enseñarle a un robot cómo hacer las tareas del hogar. En el pasado, los científicos intentaban enseñar a los robots mostráéndoles miles de vídeos de otros robots realizando tareas específicas. Pero esto es como intentar enseñarle a un perro a jugar al ajedrez mostrándole vídeos de otros perros jugando al ajedrez. Es costoso, los datos son escasos y, si el nuevo robot es ligeramente diferente (tiene una forma de brazo distinta), se confunde.

El equipo de Qwen-RobotManip se hizo una pregunta diferente: ¿Podemos enseñar a los robots usando la misma "receta de escalabilidad" que hizo que los chatbots de IA fueran tan inteligentes?

Los chatbots se volvieron inteligentes porque leyeron todo lo que hay en internet: libros, foros, artículos y vídeos. Aprendieron a conectar ideas porque todo ese texto estaba "alineado" (todos usaban el mismo lenguaje). El equipo quería ver si podían hacer lo mismo con los robots: tomar todos los datos de robots disponibles (incluso de diferentes robots) y todos los vídeos de movimientos de manos humanas disponibles, mezclarlos y enseñar a un robot a entender el mundo de forma general, no solo una tarea específica.

El Problema: La "Barrera del Lenguaje" entre Robots

El equipo se dio cuenta de que había un gran problema. El texto es fácil de alinear; "gato" significa "gato" en todos los libros. Pero los datos de los robots son desordenados.

Diferentes Cuerpos: Un robot tiene un brazo largo; otro tiene uno corto. Uno tiene dos manos; otro tiene una.
Diferentes Vistas: Una cámara mira desde arriba; otra mira desde un lado.
Diferentes Lenguajes: Un robot registra el movimiento en "ángulos de articulación" (cuánto se dobla el codo); otro lo registra en "espacio 3D" (dónde está la mano en la habitación).

Si simplemente lanzas todos estos datos en una licuadora, el robot sufre un dolor de cabeza. Es como intentar aprender un idioma escuchando a hablantes de francés, japonés y español gritando al mismo tiempo sin un traductor. Las señales entran en conflicto y el robot no aprende nada.

La Solución: El "Traductor Universal"

Para solucionar esto, el equipo construyó Qwen-RobotManip, un cerebro robótico que actúa como un Traductor Universal. No se limitaron a volcar datos; crearon un conjunto estricto de reglas para traducir todo a un lenguaje común antes de enseñar al robot.

Alinearon tres cosas:

El Cuerpo (Representación): Crearon un "mapa de cuerpo estandarizado". Ya sea que el robot sea un brazo similar al humano o una pinza simple, el cerebro traduce sus movimientos a un formato único y compartido.
La Vista (Movimiento): En lugar de decirle al robot "mueve tu codo 30 grados", le enseñan "mueve tu mano hacia esa taza". Anclan todos los movimientos a la vista de la cámara. Si la cámara ve que la taza se mueve a la izquierda, el robot aprende a moverse a la izquierda, independientemente de lo que estén haciendo sus propias articulaciones. Esto es como aprender a conducir observando la carretera, no memorizando cuánto girar el volante.
El Contexto (Comportamiento): Le dieron al robot una "ventana de memoria". Antes de realizar un movimiento, el robot observa lo que acaba de hacer hace un segundo. Esto le ayuda a adaptarse sobre la marcha, como un humano que ajusta su agarre si siente que una caja se le resbala.

Los Datos: El Truco de Magia "Humano-a-Robot"

El equipo necesitaba una cantidad masiva de datos para entrenar este cerebro. No tenían millones de horas de grabaciones de robots costosos. Así que usaron un truco ingenioso: Síntesis Humano-a-Robot.

La Fuente: Recopilaron miles de horas de vídeos de humanos realizando tareas (como cocinar o limpiar) filmados desde una perspectiva de primera persona (como usando una GoPro).
La Magia: Usaron IA para "intercambiar" las manos humanas en el vídeo por brazos robóticos.
- Analogía: Imagina un vídeo de un chef humano cortando verduras. La IA observa el movimiento de la mano humana, deduce dónde estaría el cuchillo y luego reemplaza digitalmente la mano humana con un brazo robótico, renderizando el brazo robótico realizando exactamente el mismo corte.
El Resultado: Transformaron 1.900 horas de vídeos humanos en 24.800 horas de datos de robots en 15 tipos diferentes de robots.

En total, construyeron una biblioteca de entrenamiento de 38.100 horas de datos, utilizando únicamente datos de código abierto (sin datos corporativos secretos).

Los Resultados: ¿Realmente funciona?

El equipo probó este cerebro robótico de dos maneras:

La Prueba del "Libro de Texto": Pruebas estándar donde el robot ve exactamente la misma habitación y los mismos objetos con los que fue entrenado. Aquí, el robot lo hizo bien, pero también lo hicieron muchos otros modelos.
La Prueba del "Mundo Real" (OOD): Aquí es donde ocurrió la magia. Probaron el robot en nuevas habitaciones, con nuevos objetos, diferentes luces e incluso en robots que nunca había visto antes.

Los Hallazgos:

Generalización: Mientras que otros robots fallaban cuando cambiaba la luz o se movía la mesa, Qwen-RobotManip seguía funcionando. Entendía el concepto de la tarea, no solo el patrón visual.
Transferencia de Cuerpo Cruzado: Entrenaron al robot con un robot de dos brazos (AgileX) y luego lo probaron en un robot completamente diferente (como un brazo Franka o UR5) que nunca había visto. Tuvo éxito donde otros fallaron.
Autocorrección: En las pruebas del mundo real, si el robot soltaba un objeto, no se rendía. Lo intentaba de nuevo, ajustando su agarre, de forma muy similar a como lo haría un humano.
Seguimiento de Instrucciones: Si le decías "Recoge la taza roja", recogía la taza roja, incluso si la taza estaba en un lugar extraño o la iluminación era mala. Otros modelos a menudo ignoraban la instrucción y simplemente agarraban lo que estuviera más cerca.

La Conclusión

El artículo sostiene que el secreto para crear robots inteligentes no es solo recolectar más datos; es alinear esos datos correctamente primero.

Piensa en ello como construir una biblioteca. Si lanzas libros de diferentes idiomas, tamaños y formatos en un montón, nadie podrá leerlos. Pero si los traduces todos a un idioma estándar y los organizas en los mismos estantes, puedes leer cualquier cosa.

Qwen-RobotManip demostró que, al traducir todos los datos de robots y humanos a un "lenguaje común" (acciones alineadas con la cámara), puedes entrenar a un robot para que sea un verdadero generalista, capaz de aprender nuevas tareas y trabajar en diferentes cuerpos sin necesidad de ser reentrenado desde cero. Lograron esto utilizando solo datos gratuitos y abiertos, lo que sugiere que la barrera para construir robots inteligentes podría ser más baja de lo que pensábamos, siempre que tengamos las herramientas de "traducción" adecuadas.

Resumen Técnico: Qwen-RobotManip: El alineamiento desbloquea la escala para los modelos fundacionales de manipulación robótica

Planteamiento del Problema

Si bien los modelos fundacionales en lenguaje y multimodalidad han logrado una fuerte generalización mediante el alineamiento de fuentes de datos heterogéneas bajo una formulación unificada, la aplicación de esta "receta de escalado" a la manipulación robótica sigue siendo un desafío significativo. A diferencia del texto, los datos de manipulación son inherentemente heterogéneos, costosos de recolectar y limitados en diversidad. Los modelos actuales de Visión-Lenguaje-Acción (VLA) suelen exhibir una generalización superficial, desempeñándose bien en benchmarks estándar in-distribution, pero fallando cuando se prueban más allá de entornos estrechos (por ejemplo, diferentes morfologías robóticas, perturbaciones visuales o instrucciones no vistas). El problema central identificado es que, sin un marco de alineamiento unificado, el escalado del volumen de datos a través de diversos cuerpos (embodiments) genera interferencia en lugar de sinergia, ya que las representaciones incompatibles de observación y acción impiden que el modelo aprenda habilidades físicas transferibles.

Metodología

1. Marco de Alineamiento Unificado entre Diferentes Morfologías (Cross-Embodiment)

El núcleo de Qwen-RobotManip es un marco de alineamiento unificado diseñado para hacer coherente el entrenamiento a gran escala de múltiples fuentes. Este marco opera en tres dimensiones:

Alineamiento de Representación: El modelo utiliza un vector de estado-acción canónico de 80 dimensiones. Esta estructura acomoda diversas morfologías robóticas (brazo único, doble brazo, manos diestras, bases móviles) mapeando grados de libertad específicos a ranuras semánticas fijas (posiciones de articulación, pose del efector final, estado de la pinza) y rellenando con ceros las dimensiones no utilizadas. Una máscara binaria por dimensión asegura que los gradientes solo fluyan a través de las entradas semánticamente pobladas.
Alineamiento de Movimiento: Para abordar la fragmentación causada por los diferentes marcos de coordenadas entre conjuntos de datos, el modelo adopta una representación de pose delta en el marco de la cámara para las acciones del efector final. En lugar de poses absolutas en los marcos base del robot, las acciones se expresan como deltas relativos en el sistema de coordenadas de la cámara. Esto garantiza que movimientos visualmente similares sean numéricamente próximos entre diferentes morfologías, facilitando la transferencia entre cuerpos. La geometría de la cámara se inyecta en el experto de acción mediante la Codificación Posicional de la Cámara (CaPE).
Alineamiento de Comportamiento: El modelo emplea un mecanismo de adaptación de política en contexto (in-context policy adaptation). Al condicionar las predicciones de acción actuales sobre una ventana estructurada de historial de ejecución reciente (pares observación-acción) de la misma trayectoria, la política se adapta a las firmas cinemáticas y dinámicas de comportamiento del robot actual sin actualizaciones de parámetros. El muestreo de contexto estocástico durante el entrenamiento evita que el modelo dependa de atajos de recencia, forzándolo a aprender perfiles de comportamiento consistentes.

2. Corpus de Datos Escalable de Múltiples Fuentes

Para lograr la escala necesaria, los autores construyeron un corpus de preentrenamiento de ~38,100 horas utilizando únicamente conjuntos de datos de código abierto y videos de demostración humana, evitando la recolección de datos propietarios.

Síntesis Humano-Robot: Un pipeline convierte ~1,933 horas de videos de manipulación de manos humanas egocéntricas en trayectorias robóticas a través de 15 plataformas robóticas diferentes. Esto implica el re-objetivación de la acción (action retargeting: mapeo de puntos clave de la mano a poses de la pinza), alineamiento visual (inpintado de manos humanas y renderizado de modelos robóticos) y optimización de la pose base. Este proceso genera ~24,808 horas de datos sintetizados.
Curación de Datos: Un riguroso proceso de múltiples etapas filtra los datos heterogéneos para detectar cambios repentinos, alineación de tendencias estado-acción, valores extremos y consistencia cinemática (verificaciones de Cinemática Directa). También incluye controles de calidad cross-modales para la consistencia de la instrucción y el solapamiento video-estado.
Co-entrenamiento de Visión-Lenguaje: Para evitar el olvido catastrófico de las capacidades perceptivas y de razonamiento, el modelo se entrena mediante una estrategia de doble flujo. Optimiza conjuntamente sobre el corpus de manipulación y un flujo curado de visión-lenguaje (VL) (~28 millones de puntos de datos), que incluye razonamiento de cadena de pensamiento corporizada (ECoT), comprensión de video egocéntrico y tareas de razonamiento espacial general.

3. Arquitectura del Modelo

Qwen-RobotManip se basa en el backbone Qwen-VL (Qwen3.5-4B), que codifica entradas multimodales. La generación de acciones es gestionada por un Transformador de Difusión de Flujo (DiT) que actúa como experto de acción. El backbone y el experto se acoplan mediante atención cruzada (cross-attention), donde el experto fundamenta las predicciones de acción tanto en observaciones espaciales como en instrucciones lingüísticas. El modelo se entrena con un objetivo de flow-matching para predecir campos de velocidad para la generación de acciones continuas.

Contribuciones Clave

Marco de Alineamiento Unificado: Introducción de una representación de estado-acción canónica, parametrización de pose delta en el marco de la cámara y adaptación de política en contexto que permite un entrenamiento coherente a través de diversas morfologías.
Motor de Datos Escalable: Un proceso de síntesis humano-robot y curación que agrega ~38,100 horas de datos de manipulación de fuentes abiertas, demostrando que el preentrenamiento a gran escala es factible sin datos propietarios.
Nuevo Estándar de Evaluación: Un cambio de los benchmarks in-distribution hacia la evaluación Fuera de Distribución (OOD). El artículo introduce nuevos benchmarks (RoboTwin-IF para seguimiento de instrucciones, RoboTwin-XE para transferencia entre cuerpos) y utiliza configuraciones OOD existentes (LIBERO-Plus, RoboCasa365, EBench) para medir la generalización genuina.
Validación en el Mundo Real: Validación extensiva en cuatro plataformas físicas (AgileX ALOHA, Franka, UR, ARX) y ocupando el 1er lugar en la pista de generalista RoboChallenge Table30-v1.

Resultados

Qwen-RobotManip demuestra mejoras sustanciales sobre los modelos previos de vanguardia (incluyendo $\pi0.5$ , GR00T-N1.7 y StarVLA) en todos los ejes de evaluación OOD:

Generalización de Tareas y Escenas: Supera a $\pi0.5$ por 7.0 puntos en LIBERO-Plus, por 21.5 puntos en la configuración difícil RoboTwin-Clean2Rand y por 18.5 puntos en EBench.
Seguimiento de Instrucciones: Logra un 72.2% en el nuevo benchmark RoboTwin-IF, una mejora de 22.6 puntos sobre $\pi0.5$ , indicando un robusto condicionamiento lingüístico.
Transferencia entre Morfologías (Cross-Embodiment): En pruebas de transferencia cero-shot (entrenado en AgileX, probado en ARX, UR5, Franka), el modelo logra una tasa de éxito del 23.9% usando acciones de EEF en el marco de la cámara, lo cual es 3.2 veces mayor que $\pi0.5$ (7.5%) y supera significativamente a las bases de espacio de articulación (joint-space).
Desempeño en el Mundo Real: En la pista de generalista RoboChallenge Table30-v1, alcanza una tasa de éxito del 45% y un puntaje de proceso de 59.83, ocupando el 1er lugar. Muestra capacidades emergentes como el comportamiento de reintento espontáneo cuando los agarres fallan y una coordinación bimanual robusta en tareas compleas como verter papas fritas o conectar cables.
Leyes de Escala: Los estudios de ablación confirman que con un alineamiento adecuado (UnifiedEEF), el rendimiento escala logarítmicamente con el volumen de datos, mientras que las representaciones no alineadas no muestran beneficios de escalado.

Significado y Reivindicaciones

El artículo argumenta que el alineamiento es un prerrequisito para el escalado de datos en robótica. Sin una formulación unificada que haga que los movimientos físicos sean numéricamente consistentes entre morfologías, el aumento del volumen de datos produce señales conflictivas en lugar de una capacidad mejorada.

Los autores afirman que Qwen-RobotManip proporciona una respuesta afirmativa a si la receta de escalado de los modelos de lenguaje puede aplicarse a la robótica. Al priorizar primero el alineamiento, el modelo logra capacidades de generalización emergentes —incluyendo el seguimiento de instrucciones cero-shot, robustez ante perturbaciones, recuperación reactiva de errores y transferencia entre morfologías— utilizando únicamente datos de código abierto.

Además, el artículo postula que los benchmarks estándar in-distribution son insuficientes como indicadores de la capacidad de un modelo fundacional, ya que a menudo premian la memorización de patrones sobre la generalización genuina. Los autores abogan por los entornos de evaluación OOD como el "norte" para medir los modelos fundacionales robóticos, argumentando que la verdadera generalización solo se revela cuando los modelos son probados en tareas, entornos y morfologías no vistas. El trabajo sugiere que la barrera de datos para los modelos fundacionales de manipulación puede ser menor de lo asumido, siempre que existan infraestructuras robustas de síntesis y curación.