💻 computer science

MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation

O MotionWAM é um modelo de ação de mundo de fundação em tempo real que unifica o controle de loco-manipulação de corpo inteiro para humanoides ao aproveitar características intermediárias de denoising de vídeo para prever tokens de movimento coordenados, superando assim as limitações de velocidade e consistência das políticas hierárquicas tradicionais e superando significativamente os modelos de base Vision-Language-Action em tarefas complexas.

Autores originais: Jia Zheng, Teli Ma, Yudong Fan, Zifan Wang, Shuo Yang, Junwei Liang

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jia Zheng, Teli Ma, Yudong Fan, Zifan Wang, Shuo Yang, Junwei Liang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine ensinar um robô a ser um ajudante semelhante a um humano. Geralmente, ensinamos os robôs em duas etapas separadas: primeiro, ensinamos seu "cérebro" (a parte superior do corpo) a agarrar coisas e, depois, ensinamos suas "pernas" (a parte inferior do corpo) a andar e manter o equilíbrio. O problema é que essas duas partes não se comunicam bem. O cérebro diz: "Pegue aquela xícara", e as pernas apenas dizem: "Ok, vou andar para frente para evitar que você caia". Eles não conseguem fazer coisas como chutar uma bola ou pisar em um pedal porque as pernas só têm permissão para fazer "coisas de equilíbrio".

MotionWAM é um novo cérebro de robô que resolve isso ao tratar todo o corpo como uma única equipe coordenada. Veja como funciona, usando algumas analogias simples:

1. O "Diretor de Cinema" vs. O "Roteirista"

A maioria dos cérebros de robôs é como roteiristas. Eles olham para uma imagem e uma frase (como "pegue a caixa") e tentam adivinvar o próximo movimento com base no que já viram antes. Eles não entendem realmente como a física funciona ou como as coisas se movem ao longo do tempo.

O MotionWAM é diferente. É como um Diretor de Cinema que assistiu a milhares de horas de filmes. Antes de dizer ao robô o que fazer, ele executa uma rápida "simulação mental" de como os próximos segundos do filme serão.

O Truque: Em vez de esperar que toda a cena do filme seja totalmente desenhada (o que leva muito tempo), o MotionWAM observa o esboço da cena enquanto ela está sendo desenhada. Ele captura a "vibe" do movimento futuro a partir desse esboço e imediatamente diz ao robô como se mover. É por isso que ele consegue pensar rápido o suficiente para rodar em tempo real.

2. O "Controle Remoto Unificado"

Nos sistemas antigos, o robô tinha dois controles remotos: um para os braços e outro para as pernas. O controle das pernas era muito simples e só sabia andar em linha reta ou virar.

A Inovação do MotionWAM: Ele usa um único controle remoto para todo o corpo. Quando o robô precisa chutar uma bola de futebol, o comando "chute" não é apenas para a perna; é uma instrução única que diz aos braços para se equilibrarem, ao tronco para se inclinar e ao pé para balançar, tudo ao mesmo tempo. Isso permite que o robô faça coisas como pisar em um pedal ou chutar uma bola, o que os antigos sistemas de "dois controles" não conseguiam fazer porque não entendiam que as pernas poderiam fazer parte da tarefa, e não apenas do equilíbrio.

3. O "Acampamento de Treinamento de Três Estágios"

Ensinar um robô dessa forma é difícil, então os pesquisadores usaram um acampamento de treinamento de três etapas:

Estágio 1 (O Amante de Cinema): Eles mostraram ao robô milhares de horas de vídeos do ponto de vista de um humano (como uma GoPro na cabeça). O robô ainda não aprendeu a se mover; ele apenas aprendeu como o mundo parece quando você se move através dele. Ele aprendeu a "física da visão".
Estágio 2 (O Tradutor): Eles ensinaram o robô a traduzir essas habilidades de cinema em movimentos reais de robô. Eles usaram dados de diferentes tipos de corpos de robôs para garantir que o robô entendesse a ideia geral de "movimentação", e não apenas um formato de corpo específico.
Estágio 3 (As Forças Especiais): Finalmente, eles deram ao robô tarefas específicas de prática (como carregar um carrinho ou limpar um quadro) usando um operador humano guiando-o com óculos de VR. Foi aqui que o robô aprendeu a aplicar seu conhecimento de cinema em trabalhos reais e complicados.

Os Resultados

Quando testaram o MotionWAM em nove tarefas difíceis (como chutar uma bola de futebol, carregar um carrinho ou lavar uma lousa), o resultado foi um grande sucesso:

Velocidade: Ele pensa rápido o suficiente para rodar em tempo real (cerca de 5 vezes por segundo), o que é necessário para um robô se manter de pé sem cair.
Taxa de Sucesso: Ele teve sucesso em 76% das tarefas, enquanto os melhores cérebros de robôs anteriores tiveram sucesso em cerca de 44% das vezes.
O Fator "Chute": A maior vitória foi em tarefas que exigiam interação com os pés. Os robôs antigos tentariam contornar a bola; o MotionWAM realmente a chutou.

A Conclusão

O MotionWAM prova que, se você der a um robô um cérebro de "diretor de cinema" que entende como o mundo se move, e permitir que ele controle todo o seu corpo com um plano unificado, ele pode realizar tarefas complexas e humanas muito melhor do que robôs que tratam o andar e o agarrar como problemas separados.

Limitações: O artigo observa que isso foi testado em um modelo de robô específico (o Unitree G1) e que, se o robô perder a visão do objeto que está segurando (porque a câmera está na cabeça), ele pode ficar confuso e parar de funcionar. Ainda não foi testado em outros corpos de robôs.

Resumo Técnico: MotionWAM

Definição do Problema

Os sistemas atuais de loco-manipulação humanoide autônoma dependem predominantemente de um paradigma hierárquico que desacopla a parte superior e inferior do corpo. Nesta configuração, uma política de manipulação de alto nível gera alvos de juntas refinados para os braços, enquanto um controlador de baixo nível rastreia comandos grosseiros da base (velocidade, altura, orientação) para as pernas. Esta arquitetura força o robô a espaços de ação inconsistentes, restringindo as pernas à preservação passiva do equilíbrio e impedindo a interação dos pés direcionada à tarefa (ex: pisar em um pedal ou chutar uma bola).

Embora os Modelos de Ação de Mundo (WAMs - World Action Models) tenham mostrado promessa na manipulação de mesa ao acoplar priors de dinâmica de vídeo a políticas, as implementações existentes são lentas demais para o controle em tempo real. Elas dependem de denoising iterativo sobre latentes de vídeo-ação de alta dimensão, o que cria um gargalo computacional que impede a implantação em malha fechada (closed-loop) em humanoides dinâmicos. O desafio central é implantar os ricos priors de dinâmica dos WAMs em um espaço latente unificado para controle humanoide de corpo inteiro, mantendo simultaneamente a velocidade de inferência em tempo real.

Metodologia: MotionWAM

O MotionWAM é um Modelo de Ação de Mundo (WAM) de ponta a ponta projetado para conduzir a loco-manipulação humanoide autônoma a partir de uma única câmera egocêntrica. Ele substitui a divisão hierárquica superior-inferior por um latente de movimento unificado que prevê tokens de movimento de corpo inteiro cobrindo locomoção, movimento do torso, regulação de altura, interação dos pés e manipulação das mãos simultaneamente.

1. Arquitetura do Modelo

O MotionWAM emprega uma estrutura de Dual-DiT (Transformer de Difusão Duplo):

Video DiT: Inicializado a partir do Cosmos-Predict2.5-2B, este ramo comprime quadros de condicionamento egocêntricos e quadros futuros em latentes. Crucialmente, em vez de esperar pelo denoising completo, o modelo intercepta os estados ocultos ( $h^{\tau_f}_t$ ) da rede de velocidade em um timestep de fluxo fixo próximo ao ruído puro ( $\tau \approx 1$ ). Este regime de "imaginação de tiro único" (one-shot imagination) codifica para onde a cena está indo sem o custo computacional do denoising iterativo.
Motion DiT: Este ramo consome as características intermediárias do Video DiT, juntamente com estados proprioceptivos e tokens de movimento ruidosos, para prever o campo de velocidade para o latente de movimento.
Latente Unificado ( $m_t$ ): O resultado é um latente de movimento unificado composto por:
- Um vetor contínuo ( $m^{cont}_t$ ) para comandos de mão/garra destros.
- Um índice de token discretizado ( $k_t$ ) derivado de um slot escalar ( $\tilde{k}_t$ ), que resume a intenção de locomoção, torso, altura e interação dos pés. Este token é decodificado pelo SONIC, um controlador de corpo inteiro universal, em comandos de junta.

2. Estrutura de Treinamento em Três Estágios

Para adaptar o modelo de mundo de vídeo à dinâmica egocêntrica e ao corpo humanoide específico, os autores propõem uma receita de treinamento progressiva:

Estágio 1: Pré-treinamento de Vídeo Egocêntrico: O Video DiT é treinado sozinho em aproximadamente 2.136 horas de vídeos humanos e de robôs humanoides em primeira pessoa. Isso desloca a distribuição do modelo de mundo para a dinâmica visual de primeira pessoa sem ser limitado pela escassez de dados rotulados com ações.
Estágio 2: Pós-treinamento de Ação Cross-Embodiment: O Motion DiT é anexado e co-treinado em uma mistura heterogênea de dados do Unitree G1 (variando end-effectors e formatos de anotação). O objetivo de vídeo é mantido como um regularizador para evitar que o prior de dinâmica seja sobrescrito, fundamentando o sinal de ação através de diferentes corpos.
Estágio 3: Ajuste Fino de Corpo Inteiro (Whole-Body Fine-Tuning): O modelo completo é ajustado finamente em demonstrações de corpo inteiro teleoperadas coletadas no Unitree G1 alvo. A saída de ação é alternada para tokens de movimento de corpo inteiro unificados, permitindo o controle de ponta a ponta.

Principais Contribuições

Arquitetura MotionWAM: Um WAM em tempo real que condiciona a política nas características de denoising intermediárias de um modelo de mundo de vídeo, permitindo o controle de corpo inteiro em um único espaço de ação.
Latentes de Movimento Unificados: A substituição de políticas desacopladas superior-inferior por tokens de movimento unificados permite que a parte inferior do corpo participe ativamente das tarefas (ex: chutar, pisar) em vez de apenas estabilizar a base.
Aprendizado em Três Estágios: Uma estrutura que adapta progressivamente um modelo de mundo de vídeo de uma dinâmica de vídeo egocêntrica genérica para o aterramento de ação de um corpo específico e, então, para o ajuste fino de tarefas específicas.
Controle de Corpo Inteiro em Tempo Real: O primeiro WAM impulsionado por modelo de mundo de ponta a ponta e em malha fechada, capaz de loco-manipulação humanoide em tempo real, incluindo comportamentos de interação dos pés direcionados à tarefa.

Resultados Experimentais

Os autores avaliaram o MotionWAM em nove tarefas reais do Unitree G1 que exigem controle de cintura, regulação de altura, locomoção agachada, interação dos pés e coordenação corpo-mão.

Desempenho vs. Baselines: O MotionWAM foi comparado contra cinco baselines, incluindo modelos de Visão-Linguagem-Ação (VLA) de última geração (GR00T-N1.7, $\pi_0.5$ ) e ablações customizadas. O MotionWAM alcançou uma taxa de sucesso geral de 76,1%, superando substancialmente o baseline mais forte (76,1% vs. 43,9% para o GR00T-N1.7), representando um ganho absoluto de >30%.
Ganhos Específicos de Tarefa: A diferença de desempenho foi mais significativa em tarefas que exigem coordenação de corpo inteiro, como Kick Soccer (+40%), Load Cart (+40%) e Wipe Board (+45%). Os baselines baseados apenas em VLA colapsaram em tarefas pesadas de locomoção, indicando que priors semânticos sozinhos são insuficientes para o controle de física em malha fechada.
Estudos de Ablação: Remover o Estágio 1 (pré-treinamento egocêntrico) ou o Estágio 2 (aterramento cross-embodiment) resultou em quedas significativas de desempenho (11% e 28%, respectivamente), validando a necessidade da estratégia de treinamento progressivo.
Inferência em Tempo Real: O MotionWAM roda a 4,9 Hz em uma NVIDIA A100. Isso é significativamente mais rápido do que outras políticas baseadas em modelos de mundo (ex: Cosmos Policy a 0,7 Hz) porque evita o denoising iterativo, tornando-o adequado para o controle de equilíbrio humanoide em malha fechada.

Significância e Alegações

O artigo afirma que o MotionWAM demonstra que WAMs pré-treinados em vídeo podem ser estendidos da manipulação de mesa para o controle coordenado de corpo inteiro de humanoides de forma semelhante aos humanos. Ao aproveitar as características de denoising intermediárias, o modelo consegue preencher a lacavra entre os ricos priors de dinâmica de modelos de vídeo de larga escala e os requisitos de tempo real e segurança de humanoides que precisam de equilíbrio. O trabalho sugere que um espaço de ação unificado, condicionado pela dinâmica de mundo de vídeo, é um caminho viável para robôs autônomos que podem usar ativamente todo o seu corpo (incluindo os pés) para interagir com o ambiente, em vez de serem restritos à manipulação da parte superior do corpo.

Limitações

Os autores reconhecem que o ajuste fino do Estágio 3 foi validado apenas no corpo Unitree G1, e a transferibilidade da receita para outras plataformas de hardware permanece não verificada. Além disso, a avaliação não incluiu estudos controlados sobre generalização para novos objetos, pois os objetos de treinamento e teste compartilhavam similaridades visuais. O sistema também depende de uma única câmera egocêntrica, o que leva a modos de falha quando os objetos manipulados saem do campo de visão ou quando o viewpoint se desvia significativamente da distribuição de treinamento.