🤖 machine learning

Motus2: A Self-Evolving General World Model for Dexterous Manipulation

Motus2 es un modelo de mundo general autoevolutivo para la manipulación diestra que unifica la política, la simulación y la evaluación en un bucle cerrado de decisión y aprendizaje, aprovechando arquitecturas de modelos escalados y conjuntos de datos multimodales progresivamente expandidos para permitir una mejora continua tanto a través de demostraciones de expertos como de datos de interacción autogenerados.

Autores originales: Hongzhe Bi, Zihao Zhou, Yihang Tang, Jingrui Pang, Shuhe Huang, Haitian Liu, Runqing Wang, Shuai Huang, Yichen Wang, Yiming Cheng, Ruowen Zhao, Zhenghua Li, Hengkai Tan, Xiaolong Liu, Jinhui Wan, Jiab

Publicado 2026-09-01

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hongzhe Bi, Zihao Zhou, Yihang Tang, Jingrui Pang, Shuhe Huang, Haitian Liu, Runqing Wang, Shuai Huang, Yichen Wang, Yiming Cheng, Ruowen Zhao, Zhenghua Li, Hengkai Tan, Xiaolong Liu, Jinhui Wan, Jiabao Liu, Min Zhao, Fan Bao, Jun Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Para construir un robot que pueda manejar verdaderamente el mundo desordenado e impredecible de las tareas humanas, los científicos han buscado durante mucho tiempo un sistema que haga más que simplemente seguir una lista de instrucciones. El objetivo es crear una máquina que pueda percibir su entorno, imaginar qué podría pasar después, realizar una acción y luego aprender del resultado para hacerlo mejor la próxima vez. Este concepto, conocido como un "modelo de mundo", actúa como un simulador interno para el robot. En lugar de solo reaccionar a lo que ve en este momento, el robot ejecuta simulaciones mentales para adivinar el resultado de sus movimientos antes de realizarlos realmente. Aunque las versiones anteriores de estos sistemas podían predecir el futuro o sugerir un movimiento, a menudo operaban en línea recta: ver, adivinar, actuar y detenerse. Carecían de una forma de mirar hacia atrás a sus propias predicciones, juzgar si eran buenas o malas, y usar ese juicio para mejorar sus propias habilidades de toma de decisiones sin necesidad de que un humano les muestre el camino correcto cada vez.

Un equipo de investigadores ha presentado ahora un sistema llamado Motus2, un cerebro robótico autoevolutivo diseñado específicamente para tareas delicadas y complejas, como usar herramientas o manipular objetos con manos de apariencia humana. Este sistema representa un paso significativo hacia adelante porque cierra el ciclo entre el pensamiento y el aprendizaje. En lugar de ser solo un observador pasivo o un simple seguidor, Motus2 actúa como su propio maestro. Propone una serie de movimientos posibles, simula cómo se verían esos movimientos en el futuro y luego evalúa si esos resultados imaginados conducirían al éxito. Si la simulación muestra un fallo, el robot aprende de ese error. Si muestra éxito, refuerza ese camino. Este ciclo permite al robot mejorar su propia política, o su conjunto de reglas para actuar, al probar y refinar constantemente sus propias ideas, incluso cuando no tiene a un humano que lo guíe en cada paso.

La base de este sistema se construye sobre una enorme cantidad de datos recopilados de manos humanas. Los investigadores comenzaron enseñando al robot a comprender cómo los humanos interactúan con el mundo utilizando videos grabados desde una perspectiva de primera persona, como si la cámara estuviera montada en la cabeza de la persona. Comenzaron con videos simples de una sola lente que mostraban una gran variedad de tareas, desde cocinar hasta organizar, y luego pasaron a videos estéreo sincronizados más avanzados que proporcionan una sensación de profundidad, muy similar a la visión binocular humana. Esto permitió al robot aprender la física sutil de cómo las manos agarran, levantan y manipulan objetos. Sin embargo, simplemente observar a los humanos no es suficiente para un robot con un cuerpo diferente. Los investigadores luego guiaron el sistema a través de una etapa intermedia de entrenamiento donde aprendió a traducir esos movimientos humanos a la mecánica específica de sus propios brazos y manos robóticas. Este proceso implicó mostrar al robot miles de horas de datos humanos, seguido de ejemplos específicos de cómo los humanos y los robots pueden trabajar juntos, tendiendo eficazmente un puente entre la intuición humana y la ejecución robótica.

Lo que hace que Motus2 sea único es cómo utiliza este conocimiento. El sistema está construido alrededor de un modelo único y unificado que usa tres sombreros diferentes simultáneamente. Primero, actúa como una política, sugiriendo qué acción tomar a continuación. Segundo, actúa como un simulador, prediciendo cómo se verá el mundo después de que se tome esa acción. Tercero, actúa como un evaluador, juzgando si ese futuro predicho es bueno o malo. En los sistemas tradicionales, estas funciones suelen estar separadas o desconectadas, pero aquí están estrechamente entrelazadas. Cuando el robot considera un movimiento, ejecuta instantáneamente una simulación mental para ver las consecuencias. Luego se pregunta a sí mismo si esa consecuencia es deseable. Si la respuesta es no, descarta ese camino y prueba otro. Si la respuesta es sí, se compromete con la acción. Este diálogo interno ocurre tan rápido que el robot puede planificar varios pasos por delante, eligiendo el mejor camino a seguir antes de mover un solo músculo.

Los investigadores probaron este sistema en una plataforma totalmente robótica equipada con dos brazos, dos manos diestras y sensores que pueden sentir el tacto, similares a las yemas de los dedos humanos. Desafiaron al robot con una serie de tareas difíciles, como colocar una pelota en un lugar específico, enroscar una bombilla en un casquillo o unir un borrador a un bolígrafo. En estas pruebas, la capacidad del robot para aprender de sus propias simulaciones resultó crucial. Cuando se le permitió al sistema utilizar su evaluador interno para seleccionar las mejores opciones durante una tarea, su tasa de éxito mejoró significamente. Aún más impresionante, cuando se le permitió al sistema utilizar sus propias predicciones para actualizar sus propias reglas de aprendizaje, se volvió aún mejor en la tarea. El robot no solo tuvo suerte; realmente aprendió a evitar los errores que había simulado y a repetir las acciones que había simulado como exitosas.

Una parte clave de este éxito fue la capacidad del robot para recordar lo que sucedió anteriormente en una tarea, incluso si esa información estaba temporalmente oculta de la vista. En muchos trabajos complejos, una mano puede bloquear la vista de un objeto, o un paso crítico puede ocurrir mucho antes de que se vea el resultado final. Para manejar esto, los investigadores dotaron al robot de una forma de memoria de trabajo que podía retener detalles visuales importantes del pasado. Probaron diferentes formas de gestionar esta memoria, desde mantener una ventana corta y rotativa de eventos recientes hasta mantener un historial más largo y detallado. Los resultados mostraron que tener acceso a este historial más largo permitía al robot resolver tareas que requerían recordar una secuencia de eventos durante un periodo más largo, demostrando que la capacidad de recordar el pasado es tan importante como predecir el futuro.

El sistema también incorporó un módulo especializado para el tacto. Si bien la visión es poderosa, no siempre puede decir si un agarre se está resbalando o si una superficie es demasiado blanda. El robot fue equipado con un sistema experto ligero dedicado a procesar la retroalimentación táctil. Esto le permitió refinar sus movimientos en tiempo real, ajustando su agarre en el momento en que sentía un deslizamiento o un cambio en la presión. Esta combinación de ver, sentir, pensar y aprender creó un sistema robusto capaz de manejar la incertidumbre del mundo real.

Los hallazgos sugieren que el camino hacia robots verdaderamente capaces no reside solo en la recolección de más datos, sino en la construcción de sistemas que puedan cuestionarse y mejorarse a sí mismos utilizando esos datos. Al combinar datos de interacción humana a gran escala con un bucle de autocrítica de predicción y evaluación, Motus2 demostró que los robots pueden aprender a manipular el mundo físico con un nivel de adaptabilidad que antes era inalcanzable. Los investigadores encontraron que, a medida que aumentaban la cantidad de datos de video estéreo utilizados para el entrenamiento, la capacidad del robot para predecir las acciones humanas mejoraba de una manera constante y predecible. Esta escalabilidad sugiere que, con aún más datos, estos sistemas podrían volverse aún más proficientes. En última instancia, el trabajo muestra que un robot no necesita ser programado con cada solución posible para cada problema posible. En cambio, si puede simular el futuro, juzgar el resultado y aprender de la diferencia, puede evolucionar sus propias habilidades para enfrentar los desafíos de un mundo complejo y diestro.

Resumen Técnico: Motus2 – Un Modelo de Mundo General Autoevolutivo para la Manipulación Diestra

Declaración del Problema

Los agentes encarnados generales requieren un sistema unificado capaz de percibir, predecir, actuar, evaluar y mejorar. Si bien los modelos de mundo muestran potencial, los enfoques actuales suelen añadir una cabeza de salida de acción a un simulador sin acoplarlos en un bucle cerrado de decisión y aprendizaje. Los modelos fundacionales de robótica actuales dependen en gran medida de conjuntos de datos curados y supervisados por acciones, los cuales son costosos de recolectar a escala. Crucialmente, el aprendizaje por imitación por sí solo carece de un mecanismo para evaluar si una acción es buena o mala, ni proporciona una vía para la mejora de la política basada en los propios resultados del agente. Además, transferir las prioridades de la interacción humana a robots diestros es un desafío debido a la observabilidad parcial (auto-oclusión), eventos de contacto ambiguos (por ejemplo, el deslizamiento de la punta de los dedos) y la necesidad de contexto temporal más allá de ventanas de observación cortas.

Metodología

Motus2 aborda estos desafíos introduciendo un Modelo de Mundo General (GWM) autoevolutivo que unifica la política, la simulación y la evaluación dentro de una arquitectura de parámetros compartidos. El enfoque se construye sobre dos ejes de escalado: escalado de datos (datos humanos egocéntricos jerárquicos) y escalado de modelo (mejora de política en bucle cerrado).

1. Arquitectura Unificada e Interfaces de Control

Motus2 utiliza un único backbone de video-acción (basado en un modelo de difusión de video fundacional) que expone tres interfaces de control distintas a través de un conjunto de parámetros compartidos:

Política (Modelo Mundo-Acción): Genera fragmentos de acciones ejecutables condicionados por lenguaje, propriocepción actual y contexto visual.
Simulador (Modelo de Mundo Condicionado por Acción): Predice observaciones visuales futuras dadas el estado actual y una acción propuesta.
Evaluador (Modelo de Valor): Evalúa los resultados futuros predichos para estimar el progreso de la tarea.

Estas interfaces se realizan mediante una factorización específica de la densidad conjunta $p_\theta(A_t, Z_t, Y_t | c_t)$ , donde $A_t$ es el fragmento de acción, $Z_t$ es la observación futura latente y $Y_t$ es un valor de progreso de la tarea discretizado. El modelo emplea una máscara de acción primero (action-first mask) durante el entrenamiento y la inferencia: los tokens de acción no pueden acceder a los tokens de video o de valor futuros de su propio fragmento, asegurando la consistencia causal.

2. Escalado de Datos y Currículo

El currículo de entrenamiento progresa a través de una pirámide de datos jerárquica:

Pre-entrenamiento: Comienza con datos egocéntricos monoculares a gran escala (de baja a alta resolución) para aprender prioridades de interacción amplias. Luego transiciona a datos egocéntricos estéreo sincronizados, que proporcionan pistas de profundidad implícitas y estimaciones de la pose de la mano en 3D más precisas.
Entrenamiento Intermedio (Adaptación al Dominio del Robot): El modelo se fundamenta en el dominio del robot utilizando trayectorias robóticas suplementadas con datos de alineación humano-robot.
Enrutamiento de Supervisión: Una innovación clave es la separación de los objetivos de supervisión. Las trayectorias exitosas curadas supervisan el aprendizaje de la acción (imitación). En contraste, las interacciones fallidas y subóptimas se enrutan a las ramas del simulador y del evaluador. Esto permite al modelo aprender la dinámica y las funciones de valor a partir de los fallos sin enseñar a la política a reproducir comportamientos indeseables.

3. Autoevolución mediante Aprendizaje en Bucle Cerrado

Motus2 implementa un bucle cerrado de decisión y aprendizaje:

Supervisión Guiada por Valor: El evaluador se entrena con objetivos de progreso relativo. Los segmentos exitosos reciben recompensas positivas proporcionales a su progreso, mientras que los segmentos fallidos o irrelevantes para la tarea reciben recompensas negativas.
Aprendizaje por Refuerzo Basado en Modelo (MBRL): Utilizando DiffusionNFT, el sistema convierte las estimaciones de valor escalar del evaluador en actualizaciones de la política. Las acciones candidatas de alto valor refuerzan la distribución de la política, mientras que las de bajo valor la alejan.
Planificación en Tiempo de Prueba: El sistema soporta planificación Best-of-N, donde se generan múltiples candidatos de acción, se simulan y se califican mediante el evaluador. Se ejecuta la rama con la mayor puntuación, lo que permite la selección en línea sin modificar los pesos de la política.

4. Extensiones para Largo Alcance y Contacto

Memoria de Trabajo: Para abordar la observabilidad parcial y las tareas de largo alcance, Motus2 implementa una ventana de contexto deslizante y dos extensiones: Autoregresión Global (reteniendo todo el historial) y Memoria de Trabajo Híbrida (reteniendo fotogramas de anclaje y tokens persistentes comprimidos).
Experto Táctil: Un módulo ligero refina los fragmentos de acción utilizando retroalimentación táctil de alta frecuencia inmediatamente antes de la ejecución y predice señales de fuerza futuras, permitiendo un control sensible al contacto sin tener que ejecutar nuevamente todo el backbone.

Contribuciones Clave

Un Modelo de Mundo General para la Manipulación Diestra: Motus2 modela conjuntamente acciones ejecutables, futuros condicionados por la acción y valores de progreso de la tarea dentro de un único modelo de parámetros compartidos. Integra de forma única una política, un simulador y un evaluador, apoyado por un experto táctil para la ejecución sensible al contacto.
Escalado de Datos Egocéntricos y Transferencia: El artículo demuestra una tendencia de escalado donde el preentrenamiento en datos monoculares, seguido de datos estéreo y, finalmente, la adaptación al dominio del robot, mejora significativamente el rendimiento posterior. Establece que los datos humanos estéreo escalan eficazmente para la manipulación diestra.
Autoevolución de Bucle Cerrado Guiada por Valor: El marco separa la imitación de otras evidencias de interacción, utilizando los fallos para el aprendizaje de la dinámica y del valor. Logra acoplar con éxito la planificación basada en modelos (Best-of-N) y la optimización de la política (MBRL) dentro de una arquitectura unificada para mejorar la política más allá de la imitación supervisada.

Resultados Experimentales

Los experimentos se realizaron en una plataforma totalmente biomimética con visión estéreo, brazos duales y manos diestras, cubriendo tareas como colocar objetos, enroscar bombillas y agarres de múltiples dedos.

Ganancias de Rendimiento: Comparado con un modelo de ajuste fino supervisado (SFT) de referencia inicializado con un modelo de video general (WAN-SFT), el modelo Motus2 (Midtrain-SFT) alcanzó una tasa de éxito promedio macro de 84%, un aumento significativo respecto al 51% de los modelos de solo preentrenamiento y el 0% del modelo de referencia.
Leyes de Escalado: Los experimentos en datos egocéntricos estéreo (2k a 20k horas) confirmaron una ley de escalado log-lineal, donde el error de validación disminuye de forma monótona a medida que aumenta el volumen de datos, extendiendo los hallazgos previos de observaciones monoculares a estéreo.
Mejora de la Política: Añadir la planificación Best-of-N mejoró las tasas de éxito en 2.5 puntos. Añadir MBRL mejoró las tasas en 7.5 puntos. Combinar ambos produjo una ganancia de 10 puntos sobre el modelo base de Motus2, demostrando que tanto la selección en tiempo de inferencia como las actualizaciones de la distribución de la política contribuyen al rendimiento.
Contexto y Táctil: El estudio confirmó que los mecanismos de contexto de largo alcance (memoria híbrida) y la retroalimentación táctil son críticos para tareas que involucran oclusión y manipulación rica en contacto.

Significancia

El artículo postula que Motus2 proporciona un camino general hacia la manipulación diestra autoevolutiva. Al unificar la predicción, la acción y la evaluación en un solo modelo y aprovechar datos de interacción heterogéneos (incluyendo los fallos), el sistema va más allá del aprendizaje de imitación estático. Demuestra que un modelo de mundo general no solo puede simular el futuro, sino también usar esa simulación para mejorar iterativamente su propia política, abordando las limitaciones centrales de los modelos fundacionales de robótica actuales que carecen de mecanismos de automejora. El trabajo sugiere que el escalado tanto de los datos (de monocular a estéreo y luego alineado con el robot) como de las capacidades del modelo (vía aprendizaje en bucle cerrado) es una estrategia viable para construir agentes encarnados generales capaces.