Resumo Técnico: VENOM - Versatile Embodied Network for Omni-bodied Motion Tracking

Declaração do Problema

Alcançar o rastreamento de movimento corporal completo de nível especialista e expressivo em múltiplos robôs humanoides utilizando apenas dados de demonstração continua sendo um desafio significativo no aprendimento de robôs. As abordagens atuais de cross-embodiment (transversal de corpos) frequentemente desacoplam o controle em segmentos de parte superior e inferior do corpo ou dependem de aprendizado por reforço (RL) com frameworks de ator-crítico assimétricos que exigem informações privilegiadas. Além disso, há uma escassez de conjuntos de dados de controle de baixo nível em larga escala para diversos humanoides, o que limita o treinamento de modelos de fundação versáteis. Os modelos existentes são frequentemente restritos a tarefas de locomoção ou falham em generalizar efetivamente através de diferentes embodiments sem o alinhamento manual dos espaços de observação e ação.

Metodologia

O Conjunto de Dados VENOM

Os autores curaram um novo conjunto de dados de rastreamento de movimento multi-humanoide, o conjunto de dados VENOM, para enfrentar a falta de dados de controle de baixo nível em larga escala.

• Dados de Origem: O conjunto de dados foi gerado usando o framework de treinamento TWIST2 (um pipeline de rastreamento de movimento baseado em RL) para treinar rastreadores especialistas em cinco humanoides diferentes: Unitree G1, Unitree H1, Unitree H1 v2, Fourier N1 e Booster T1 (29 DoF).
• Geração de Dados: Especialistas foram treinados em todo o conjunto de dados AMASS. Para cada movimento, os especialistas geraram um rollout limpo e oito rollouts ruidosos. O ruído foi aplicado aos movimentos de referência no espaço de observação (posição da raiz, orientação, velocidade e posições das articulações).
• Escala: O conjunto de dados compreende aproximadamente 7.705 horas de dados, divididos em clipes de 6 segundos, contendo estados, ações e recompensas.

Arquitetura do Modelo (VENOM)

O VENOM é um rastreador de movimento baseado em GPT (Transformer) projetado para controle de corpo completo em múltiplos humanoides.

• Arquitetura: O controlador central consiste em 8 camadas de transformer com 8 cabeças de atenção e uma dimensão de embedding de 768. Ele utiliza uma arquitetura unificada que não desacopla o controle da parte superior e inferior do corpo.
• Processamento de Entrada: O modelo emprega encoders específicos para processar movimentos de referência:
  • Encoder de Movimento: Codifica o movimento de referência de 1 passo.
  • Encoder de Histórico: Codifica 10 passos de histórico de movimento de referência usando convoluções 1-D.
  • Encoder de Futuro: Codifica o movimento de referência futuro de 1 passo usando um MLP.
• Tratamento de Multi-Embodiment: O modelo utiliza camadas de token embedding distintas e cabeças de ação para cada humanoide. Durante o treinamento, as entradas de todos os humanoides são concatenadas ao longo da dimensão de batch e alimentadas em um decoder transformer compartilhado. Durante a inferência, apenas o módulo de entrada específico e a cabeça de ação correspondentes ao humanoide alvo estão ativos.
• Objetivo de Treinamento: O modelo é treinado usando aprendizado supervisionado para minimizar o Erro Quadrático Médio (MSE) entre as ações previstas e as ações do especialista. É treinado tanto em rollouts limpos quanto ruidosos para melhorar a robustez.

Baselines

O estudo compara o VENOM contra:

1. Baselines TWIST2: Modelos baseados em MLP treinados no conjunto de dados VENOM (seja em um único robô ou em múltiplos robôs) usando o mesmo framework de aprendizado supervisionado.
2. Especialistas de RL: Modelos ator-crítico assimétricos treinados diretamente no ambiente de RL (framework TWIST2), servindo como o limite superior de desempenho.

Principais Resultados

Escalonamento e Arquitetura

• Generalização Multi-Robô: Quando treinados em múltiplos robôs, o baseline MLP do TWIST2 sofreu de transferência negativa, falhando em estabilizar os robôs enquanto rastreavam os movimentos de referência. Em contraste, o Transformer-based VENOM conseguiu generalizar com sucesso entre diferentes embodiments.
• Robustez ao Ruído: O modelo VENOM-noisy (treinado com rollouts ruidosos) demonstrou capacidades de rastreamento de movimento superiores em comparação com modelos treinados apenas com dados limpos. A inclusão de ruído expôs a política a regiões de observação subexploradas, aumentando a robustez.
• Métricas de Desempenho: No Unitree G1, o VENOM-noisy alcançou um erro de rastreamento de articulação RMS de 0,1052 radianos, superando o baseline MLP multi-robô (0,1686) e igualando o desempenho do baseline MLP de robô único (0,1067).

Rastreamento de Movimento e Estabilidade

• Rastreamento de Articulação: Os modelos VENOM superaram consistentemente os baselines MLP multi-robô na precisão de rastreamento de articulação em várias categorias de comportamento (atlético, agachado, dança, salto, locomoção).
• Estabilidade vs. Aprendizado Supervisionado: Embora o VENOM-noisy tenha alcançado altas taxas de sucesso (92–100%) e baixo drift em comparação com outros modelos supervisionados, ele não igualou totalmente a estabilidade de movimento dos especialistas de RL. Os especialistas de RL alcançaram taxas de sucesso mais altas e menores taxas de erro de raiz, sugerindo um compromisso entre a fidelidade do rastreamento de movimento e a estabilidade ao depender exclusivamente de aprendizado supervisionado sem feedback de recompensa.
• Limitações: Todos os modelos, incluindo os especialistas de RL, tiveram dificuldades com movimentos altamente dinâmicos envolvendo fases de voo (ex: saltos, sprints), frequentemente aprendendo comportamentos para manter o contato com o solo para garantir a estabilidade.

Significância e Alegações

O artigo posiciona o VENOM como o primeiro modelo de rastreamento de movimento de corpo completo multi-humanoide que opera sem o desacoplamento do controle das partes superior e inferior do corpo. Suas principais contribuições são:

1. Curadoria de Conjunto de Dados: A criação do conjunto de dados VENOM, um conjunto de dados de multi-embodiment em larga escala gerado via imitação de especialista, que serve como base para treinar rastreadores de movimento versáteis.
2. Viabilidade de Modelo de Fundação: Demonstrar que um modelo de fundação baseado em GPT treinado via aprendizado supervisionado em dados diversos e ruidosos pode alcançar capacidades de rastreamento de movimento de corpo completo transversal de embodiments que superam os tradicionais baselines MLP.
3. Lacuna Supervised vs. RL: Quantificar a lacuna entre o aprendizado supervisionado e os especialistas de RL. Os autores mostram que, embora o aprendizado supervisionado possa recuperar grande parte da capacidade de um especialista, ele atualmente envolve um compromisso na estabilidade do movimento, particularmente para tarefas altamente dinâmicas.

Os autores concluem que, embora o VENOM represente um passo significativo em direção ao controle de baixo nível generalizável, trabalhos futuros devem explorar o treinamento direto de RL para rastreamento de movimento, políticas de retargeting online para lidar com morfologias arbitrárias e horizontes de predição melhorados para movimentos de fase de voo dinâmicos.