Resumo Técnico: OMG: Geração de Movimento Omni-Modal para Controle Humanoide Generalista

Declaração do Problema

O controle de corpo inteiro para humanoides avançou significativamente através do aprendizado por reforço, mas as abordagens existentes permanecem limitadas por duas restrições primárias:

1. Especificidade de Habilidade: A maioria das políticas está vinculada a tarefas e designs de recompensa específicos, tornando-as difíceis de escalar para um controle de propósito geral.
2. Rigidez de Modalidade: Sistemas de rastreamento de movimento, embora escaláveis, reproduzem principalmente movimentos de referência fornecidos e carecem da autonomia para interpretar a intenção humana multimodal de alto nível (ex: linguagem, áudio ou novos inputs de sensores) sem dados de referência explícitos.

Os autores argumentam que alcançar o controle humanoide de propósito geral requer uma estrutura hierárquica que espelhe os sistemas motores biológicos: um "cérebro" escalável capaz de raciocinar com diversas modalidades de condicionamento, situado sobre um "cerebelo" reativo (rastreador de movimento) que executa esses planos. Os desafios centrais para realizar isso são a escassez de dados de movimento humanoide unificados de alta qualidade e a dificuldade de construir um gerador que suporte inputs multimodais composicionais e extensíveis.

Metodologia

O artigo apresenta o OMG (Omni-Modal Motion Generation), um framework composto por um conjunto de dados de grande escala e um modelo unificado baseado em difusão.

1. OMG-Data: Um Corpus Omni-Modal Unificado

Para enfrentar a escassez e heterogeneidade de dados, os autores curaram o OMG-Data, um corpus de mais de 1.174 horas de dados de movimento humanoide unificados no espaço de movimento do Unitree G1. O pipeline envolve:

• Agregação: Combinação de datasets heterogêneos de domínios de computação gráfica e humanoide (ex: AMASS, AIST++, BEAT2, MotionGV).
• Retargeting: Uso de General Motion Retargeting (GMR) para mapear diversas representações de movimento humano (SMPL, SMPL-X, FBX) para a estrutura esquelética do Unitree G1.
• Anotação: Utilização do modelo de visão-linguagem Seed-1.8 para gerar rótulos de texto estruturados (ação e estilo) para segmentos de movimento que careciam deles.
• Filtragem com Simulação no Loop: Execução dos movimentos retargeted em um simulador MuJoCo com um controlador de rastreamento PD. As trajetórias são rejeitadas se resultarem em quedas (definidas por heurísticas de altura da raiz e inclinação) ou violarem limites articulares, garantindo que o dataset contenha apenas trajetórias fisicamente viáveis e seguras.

2. OMG-DiT: Backbone de Difusão Unificado

O modelo central, OMG-DiT, é um Diffusion Transformer projetado para mapear condições multimodais em trajetórias futuras executáveis pelo robô.

• Arquitetura: Opera diretamente no espaço de movimento Unitree G1 (vetores de características de 125 dimensões por frame) sem um tokenizer de movimento aprendido. Utiliza um objetivo de predição de $x$ com um cronograma de ruído de cosseno.
• Mecanismo de Condicionamento:
  • Contexto Global: Linguagem (via encoder T5 congelado) e histórico de movimento são injetados como tokens de contexto global via atenção cruzada (cross-attention).
  • Sinais Alinhados ao Frame: Áudio e movimentos de referência humanos são injetados via adaptadores FiLM (Feature-wise Linear Modulation), que modulam as características de frames específicos.
  • Extensibilidade: Novas modalidades (ex: keypoints do Pico) podem ser incorporadas via adaptadores FiLM com inicialização zero, permitindo que o modelo aprenda novas interfaces sem interromper o prior de movimento pré-treinado.
• Estratégia de Treinamento: O modelo é treinado com Classifier-Free Guidance (CFG) ao descartar aleatoriamente modalidades de condicionamento durante o treinamento. Isso permite a composição zero-shot de modalidades no tempo de inferência (ex: combinar instruções de texto e áudio).

3. Hierarquia de Controle

O OMG funciona como o gerador de alto nível em um sistema em cascata:

• Gerador ($\pi_\phi$): O OMG-DiT prevê trajetórias futuras de corpo inteiro baseadas em inputs multimodais e histórico.
• Rastreador ($\pi_\psi$): Um rastreador de movimento pré-treinado (HoloMotion) converte essas referências em ações executáveis no espaço articular no robô.

Principais Contribuições

1. Framework OMG: Um framework unificado de geração de movimento omni-modal que mapeia linguagem, áudio, referências humanas e suas composições em trajetórias fisicamente executáveis para o Unitree G1.
2. OMG-Data: Um dataset de larga escala e curado de mais de 1.000 horas de movimento humanoide omni-modal, alinhado a uma única embodiment de robô através de um rigoroso pipeline de retargeting e filtragem.
3. OMG-DiT: Um backbone baseado em difusão que suporta condicionamento extensível. Demonstra que novas modalidades podem ser adicionadas via adaptadores leves enquanto reutilizam o prior de movimento compartilhado.
4. Propriedades de Modelo de Fundação: O trabalho estabelece que a geração de movimento humanoide exibe comportamentos de modelos de fundação, incluindo escalabilidade previsível com o tamanho do modelo, adaptação eficiente de amostras para novas tarefas e composicionalidade zero-shot de sinais de controle.

Resultados Experimentais

Os autores avaliaram o OMG através de três modalidades primárias e vários cenários de adaptação:

• Texto-para-Movimento: O OMG superou significativamente os baselines (GENMO, HYMotion, Kimodo) em qualidade de movimento (FID, Matching Score) e fidelidade de rastreamento (Taxa de queda, violações de limite articular). Por exemplo, o OMG-XL alcançou um FID de 6.03 comparado a 24.68 do HYMotion.
• Áudio-para-Movimento: O OMG demonstrou superior alinhamento de áudio (BeatAlign) e qualidade de movimento comparado a modelos dedicados de áudio-para-movimento como LODGE e Bailando.
• Referência Humana-para-Movimento: O OMG superou substancialmente métodos de retargeting baseados em otimização (GMR, PHC) e baseados em aprendizado (NMR, OmniRetarget) tanto em qualidade de movimento quanto em fidelidade de rastreamento.
• Adaptação Eficiente de Amostras:
  • Texto Few-Shot: Ao fazer fine-tuning em dados não vistos (AMASS-CMU) com apenas 1% dos dados, o modelo pré-treinado OMG alcançou desempenho comparável a um modelo treinado do zero com 100% dos dados.
  • Novas Modalidades: Na teleoperação por keypoints do Pico, o modelo pré-treinado superou consistentemente o treinamento do zero em todos os orçamentos de dados (1%, 10%, 100%).
• Comportamento de Escala: Aumentar os parâmetros do modelo de 50M para 500M resultou em melhorias consistentes na qualidade do movimento (MPJPE), confirmando que a geração de movimento se beneficia do aumento da capacidade do modelo.
• Composicionalidade Zero-Shot: O sistema executou com sucesso instruções complexas combinando texto e áudio (ex: "Levante as mãos" enquanto segue um ritmo específico) sem treinamento explícito para tais combinações.

Significância e Alegações

O artigo posiciona o OMG como um passo concreto em direção aos modelos de fundação para robôs humanoides. Os autores alegam que o controle humanoide generalista pode ser avançado não meramente melhorando controladores de baixo nível, mas escalando o "cérebro" de geração de movimento que faz a interface entre a intenção humana e a execução física.

As principais alegações incluem:

• Generalizabilidade: O framework unifica com sucesso diversas modalidades de condicionamento sob um único backbone, indo além de políticas específicas de tarefas.
• Eficiência de Dados: O pré-treinamento em um corpus massivo e unificado permite uma rápida adaptação a novas tarefas e modalidades com dados mínimos.
• Escalabilidade: O sistema exibe leis de escala previsíveis, sugerindo que melhorias adicionais podem ser alcançadas com modelos e datasets maiores.
• Viabilidade no Mundo Real: O sistema é implantado em tempo real em um Unitree G1, demonstrando que o planejamento generativo de alto nível pode ser efetivamente pareado com o rastreamento reativo para execução física.

Os autores reconhecem limitações, observando que os dados de treinamento atuais são primariamente de movimento em terreno plano e que o sistema atualmente utiliza uma hierarquia modular de gerador-rastreador em vez de um sistema end-to-end totalmente otimizado conjuntamente. Eles sugerem que adaptar o gerador e o rastreador conjuntamente, ou incorporar feedback de execução, permanece como uma direção para trabalhos futuros.