💻 computer science

OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

El artículo presenta OMG, un marco basado en difusión y escalable para el control de humanoides generalistas que combina una arquitectura jerárquica con un conjunto de datos meticulosamente curado para permitir la generación de movimiento de cuerpo completo omnimodal de vanguardia, condicionado por lenguaje, audio y movimientos de referencia.

Autores originales: Siqiao Huang, Kun-Ying Lee, Dongming Qiao, Guanqi He, Zhenyu Wang, Yitang Li, Shaoting Zhu, Hang Zhao

Publicado 2026-06-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Siqiao Huang, Kun-Ying Lee, Dongming Qiao, Guanqi He, Zhenyu Wang, Yitang Li, Shaoting Zhu, Hang Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Un Cerebro y un Cerebelo para Robots

Imagina a un robot humanoide (como el Unitree G1 utilizado en este estudio) intentando aprender a bailar, caminar o saludar. Tradicionalmente, los ingenieros tenían que enseñar al robot una habilidad específica a la vez, como enseñarle a un perro a sentarse o quedarse quieto. Si querías que el robot hiciera algo nuevo, a menudo tenías que empezar desde cero o escribir reglas complejas.

Los autores de este artículo proponen un enfoque diferente, inspirado en cómo funciona el cuerpo humano. Dividen el sistema de control del robot en dos partes:

El Cerebro (OMG-DiT): Este es el "planificador". Toma ideas de alto nivel (como "mueve las manos" o música sonando) y determina qué debe hacer el robot a continuación.
El Cerebelo (Motion Tracker): Esta es la "memoria muscular". Toma el plan del Cerebro y se asegura de que las articulaciones del robot se muevan de forma fluida y no se caiga.

El artículo se centra en construir un "Cerebro" mucho más inteligente que pueda entender muchos tipos diferentes de instrucciones a la vez.

El Problema: Demasiados Dialectos, No Suficientes Datos

Antes de este artículo, los datos de movimiento de robots eran como una biblioteca con libros escritos en diferentes idiomas, algunos con páginas faltantes y otros que eran simplemente garabatos.

Algunos datos tenían descripciones de texto.
Algunos tenían música.
Algunos tenían videos de humanos bailando.
Ninguno de ellos estaba en un formato que el robot pudiera usar realmente.

Para solucionar esto, el equipo creó OMG-Data. Piensa en esto como un proyecto masivo de traducción y edición. Reunieron más de 1,000 horas de datos de movimiento de diversas fuentes, los limpiaron y tradujeron todo al "lenguaje" de su robot específico (el Unitree G1). Incluso utilizaron un simulador de física para comprobar cada movimiento y asegurarse de que el robot no tropezara o rompiera sus propias articulaciones al intentar realizarlo.

La Solución: El Generador "Omnimodal"

El núcleo de su sistema se llama OMG-DiT. Puedes pensar en esto como un traductor universal y un director creativo, todo en uno.

Cómo funciona:
Imagina que estás en una fiesta.

Entrada de Texto: Alguien grita: "¡Camina hacia adelante!". El Cerebro entiende esto y planifica una ruta de caminata.
Entrada de Audio: Alguien pone un ritmo de hip-hop. El Cerebro escucha el ritmo y planifica un baile que encaje con la música.
Entrada Visual: Alguien agita los brazos. El Cerebro observa y planifica copiar ese movimiento.
Entrada Combinada: Alguien dice "¡Baila con este ritmo!" mientras reproduce música. El Cerebro combina el significado de las palabras con el ritmo de la música para crear un baile único.

La magia de OMG es que no necesita ser reentrenado para cada nuevo tipo de instrucción. Utiliza un "backbone compartido" (una red neuronal central) que ya ha aprendido las reglas generales de cómo se mueve un robot. Cuando le das un nuevo tipo de instrucción (como un nuevo sensor o un nuevo lenguaje), simplemente añade un "adaptador" pequeño y ligero para conectar esa nueva entrada al cerebro existente.

Logros Clave (Lo que Demostraron)

Es un "Modelo Fundacional": Al igual que los grandes modelos de lenguaje (LLM) pueden escribir ensayos, código y poemas porque aprendieron de enormes cantidades de texto, este modelo aprendió de enormes cantidades de datos de movimiento. Debido a esto, puede manejar nuevas tareas con muy poco entrenamiento adicional.
- Analogía: Si le enseñas a un humano a montar en bicicleta, podrá aprender a usar un monopatín mucho más rápido que alguien que nunca ha montado en nada. Este robot hace lo mismo.
Composición Zero-Shot: El modelo puede mezclar y combinar instrucciones que nunca ha visto juntas antes.
- Ejemplo: Si fue entrenado para caminar con comandos de texto y para bailar con música por separado, puede seguir con éxito un comando para "Caminar hacia adelante" mientras baila una canción específica, incluso si nunca vio esa combinación exacta durante el entrenamiento.
Ejecución en el Mundo Real: No solo simularon esto en una computadora. Colocaron el sistema en un robot Unitree G1 real. El robot podía escuchar audio, leer texto o mirar a un humano, y comenzar a moverse inmediatamente en tiempo real sin caerse.

Los Resultados en Lenguaje Sencillo

Mejor Calidad: Cuando se le pedía moverse basándose en texto o música, su robot se movía de forma más natural y precisa que los métodos anteriores.
Adaptación más Rápida: Cuando intentaron enseñar al robot una nueva habilidad (como seguir un sensor de seguimiento de manos específico llamado "Pico"), el modelo preentrenado aprendió en minutos con muy pocos datos, mientras que un modelo entrenado desde cero tenía dificultades y necesitaba muchos más datos.
Escalabilidad: Descubrieron que hacer el "Cerebro" más grande (añadiendo más potencia de cómputo) hacía que el robot se moviera mejor, lo que sugiere que este enfoque puede volverse más inteligente a medida que añadimos más datos y potencia.

Resumen

El artículo presenta OMG, un sistema que otorga a los robots humanoides un "cerebro generalista". En lugar de programar cada movimiento de forma rígida, el robot aprende un lenguaje universal de movimiento a partir de más de 1,000 horas de datos. Esto le permite recibir instrucciones de texto, audio o movimiento humano, mezclarlas y generar instantáneamente movimientos físicos seguros que un robot real puede ejecutar. Es un paso hacia robots que pueden entender y reaccionar al mundo con la misma flexibilidad que los humanos.

Resumen Técnico: OMG: Generación de Movimiento Omni-Modal para el Control de Humanoides Generalistas

Declaración del Problema

El control de cuerpo completo en humanoides ha avanzado significativamente a través del aprendizaje por refuerzo, sin embargo, los enfoques existentes siguen estando limitados por dos restricciones primarias:

Especificidad de la Habilidad: La mayoría de las políticas están ligadas a tareas y diseños de recompensa específicos, lo que dificulta su escalabilidad hacia un control de propósito general.
Rigidez de la Modalidad: Los sistemas de seguimiento de movimiento, aunque son escalables, principalmente reproducen movimientos de referencia dados y carecen de la autonomía para interpretar la intención humana multimodal de alto nivel (por ejemplo, lenguaje, audio o nuevos sensores) sin datos de referencia explícitos.

Los autores argumentan que lograr un control humanoide de propósito general requiere una estructura jerárquica que refleje los sistemas motores biológicos: un "cerebro" escalable capaz de razonar con diversas modalidades de condicionamiento, situado sobre un "cerebelo" reactivo (seguidor de movimiento) que ejecuta estos planes. Los desafíos centrales para realizar esto son la escasez de datos de movimiento humano unificados y de alta calidad, y la dificultad de construir un generador que soporte entradas multimodales compositivas y extensibles.

Metodología

El artículo presenta OMG (Generación de Movimiento Omni-Modal), un marco que comprende un conjunto de datos a gran escala y un modelo unificado basado en difusión.

1. OMG-Data: Un Corpus Omni-Modal Unificado

Para abordar la escasez y heterogeneidad de los datos, los autores curaron OMG-Data, un corpus de más de 1,174 horas de datos de movimiento humanoide unificados en el espacio de movimiento del Unitree G1. El proceso implica:

Agregación: Combinación de conjuntos de datos heterogéneos de dominios de gráficos y humanoides (por ejemplo, AMASS, AIST++, BEAT2, MotionGV).
Retargeting (Reajuste): Uso de General Motion Retargeting (GMR) para mapear diversas representaciones de movimiento humano (SMPL, SMPL-X, FBX) a la estructura esquelética del Unitree G1.
Anotación: Aprovechamiento del modelo de visión-lenguaje Seed-1.8 para generar etiquetas de texto estructuradas (acción y estilo) para segmentos de movimiento que carecían de ellas.
Filtrado con Simulación en el Bucle (Simulation-in-the-Loop): Ejecución de los movimientos reajustados en el simulador MuJoCo con un controlador de seguimiento PD. Las trayectorias son rechazadas si resultan en caídas (definidas por heurísticas de altura de la raíz y de inclinación) o violan los límites articulares, asegurando que el conjunto de datos contenga solo trayectorias físicamente factibles y seguras.

2. OMG-DiT: Espina Dorsal de Difusión Unificada

El modelo central, OMG-DiT, es un Transformer de Difusión diseñado para mapear condiciones multimodales en trayectorias futuras ejecutables por el robot.

Arquitectura: Opera directamente en el espacio de movimiento Unitree G1 (vectores de características de 125 dimensiones por cuadro) sin un tokenizador de movimiento aprendido. Utiliza un objetivo de predicción de $x$ con un esquema de ruido de coseno.
Mecanismo de Condicionamiento:
- Contexto Global: El lenguaje (vía codificador T5 congelado) y el historial de movimiento se inyectan como tokens de contexto global mediante atención cruzada (cross-attention).
- Señales Alineadas con el Cuadro: El audio y los movimientos de referencia humanos se inyectan mediante adaptadores FiLM (Modulación Lineal por Características), que modulan las características de cuadros específicos.
- Extensibilidad: Nuevas modalidades (por ejemplo, puntos clave de Pico) pueden incorporarse mediante adaptadores FiLM con inicialización cero, lo que permite al modelo aprender nuevas interfaces sin interrumpir el prior de movimiento preentrenado.
Estrategia de Entrenamiento: El modelo se entrena con Guía Libre de Clasificador (Classifier-Free Guidance - CFG) eliminando aleatoriamente las modalidades de condicionamiento durante el entrenamiento. Esto permite la composición zero-shot de modalidades en el tiempo de inferencia (por ejemplo, combinar instrucciones de texto y audio).

3. Jerarquía de Control

OMG funciona como el generador de alto nivel en un sistema en cascada:

Generador ( $\pi_\phi$ ): OMG-DiT predice trayectorias de referencia de cuerpo completo futuras basadas en entradas multimodales e historial.
Seguidor ( $\pi_\psi$ ): Un seguidor de movimiento preentrenado (HoloMotion) convierte estas referencias en acciones ejecutables en el espacio de las articulaciones en el robot.

Contribuciones Clave

Marco OMG: Un marco unificado de generación de movimiento omni-modal que mapea lenguaje, audio, referencias humanas y sus composiciones en trayectorias físicamente ejecutables para el Unitree G1.
OMG-Data: Un conjunto de datos a gran escala y curado de más de 1,000 horas de movimiento humanoide omni-modal, alineado a una única implementación robótica a través de un riguroso proceso de reajuste y filtrado.
OMG-DiT: Una espina dorsal basada en difusión que soporta un condicionamiento extensible. Demuestra que se pueden añadir nuevas modalidades mediante adaptadores ligeros mientras se reutiliza el prior de movimiento compartido.
Propiedades de Modelo Fundacional: El trabajo establece que la generación de movimiento humanoide exhibe comportamientos similares a los de los modelos fundacionales, incluyendo un escalado predecible con el tamaño del modelo, adaptación eficiente en muestras a nuevas tareas y composicionalidad zero-shot de las señales de control.

Resultados Experimentales

Los autores evaluaron OMG a través de tres modalidades principales y varios escenarios de adaptación:

Texto-a-Movimiento: OMG superó significativamente a las líneas base (GENMO, HYMotion, Kimodo) en calidad de movimiento (FID, Matching Score) y fidelidad de seguimiento (tasa de caídas, violaciones de límites articulares). Por ejemplo, OMG-XL logró un FID de 6.03 frente a los 24.68 de HYMotion.
Audio-a-Movimiento: OMG demostró una alineación de audio (BeatAlign) y una calidad de movimiento superiores en comparación con modelos dedicados de audio-a-movimiento como LODGE y Bailando.
Referencia Humana-a-Movimiento: OMG superó sustancialmente a los métodos de reajuste basados en optimización (GMR, PHC) y basados en aprendizaje (NMR, OmniRetarget) tanto en calidad de movimiento como en fidelidad de seguimiento.
Adaptación Eficiente en Muestras:
- Texto de Pocas Muestras (Few-Shot): Al realizar el ajuste fino en datos no vistos (AMASS-CMU con solo el 1% de los datos), el modelo preentrenado OMG alcanzó un rendimiento comparable al de un modelo entrenado desde cero con el 100% de los datos.
- Nuevas Modalidades: En la teleoperación con puntos clave de Pico, el modelo preentrenado superó consistentemente al entrenamiento desde cero en todos los presupuestos de datos (1%, 10%, 100%).
Comportamiento de Escalamiento: El aumento de los parámetros del modelo de 50M a 500M resultó en mejoras consistentes en la calidad del movimiento (MPJPE), confirmando que la generación de movimiento se beneficia de un mayor aumento de la capacidad del modelo.
Composicionalidad Zero-Shot: El sistema ejecutó con éxito instrucciones complejas combinando texto y audio (por ejemplo, "Levanta las manos" mientras sigue un ritmo específico) sin entrenamiento explícito en tales combinaciones.

Significancia y Reivindicaciones

El artículo posiciona a OMG como un paso concreto hacia los modelos fundacionales para robots humanoides. Los autores afirman que el control humanoide generalista puede avanzar no meramente mejorando los controladores de bajo nivel, sino escalando el "cerebro" de generación de movimiento que intercala la intención humana con la ejecución física.

Las reivindicaciones clave incluyen:

Generalizabilidad: El marco unifica con éxito diversas modalidades de condicionamiento bajo una sola espina dorsal, yendo más allá de las políticas específicas de tareas.
Eficiencia de Datos: El preentrenamiento en un corpus masivo y unificado permite una rápida adaptación a nuevas tareas y modalidades con un mínimo de datos.
Escalabilidad: El sistema exhibe leyes de escalado predecibles, lo que sugiere que se pueden lograr mejoras adicionales mediante modelos y conjuntos de datos más grandes.
Viabilidad en el Mundo Real: El sistema se despliega en tiempo real en un Unitree G1, demostando que la planificación generativa de alto nivel puede emparejarse eficazmente con el seguimiento reactivo para la ejecución física.

Los autores reconocen las limitaciones, señalando que los datos de entrenamiento actuales son principalmente de movimiento en terreno plano y que el sistema actualmente utiliza una jerarquía modular de generador-seguidor en lugar de un sistema totalmente optimizado de extremo a extremo. Sugieren que la adaptación conjunta del generador y el seguidor, o la incorporación de retroalimentación de ejecución, sigue siendo una dirección para trabajos futuros.