🤖 AI

Humanoid-GPT: Scaling Data and Structure for Zero-Shot Motion Tracking

O Humanoid-GPT é um Transformer de estilo GPT em escala de bilhões, treinado em um corpus de movimento unificado de 2 bilhões de quadros, que alcança uma generalização zero-shot sem precedentes e um rastreamento robusto de comportamentos de corpo inteiro altamente dinâmicos, superando rastreadores MLP rasos anteriores limitados pela escassez de dados e pelos compromissos entre agilidade e generalização.

Autores originais: Zekun Qi, Xuchuan Chen, Dairu Liu, Chenghuai Lin, Yunrui Lian, Sikai Liang, Zhikai Zhang, Yu Guan, Jilong Wang, Wenyao Zhang, Xinqiang Yu, He Wang, Li Yi

Publicado 2026-06-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zekun Qi, Xuchuan Chen, Dairu Liu, Chenghuai Lin, Yunrui Lian, Sikai Liang, Zhikai Zhang, Yu Guan, Jilong Wang, Wenyao Zhang, Xinqiang Yu, He Wang, Li Yi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a dançar. No passado, pesquisadores ensinavam robôs mostrando-lhes alguns movimentos de dança específicos e esperando que eles entendessem o resto. Era como ensinar uma criança a nadar mostrando apenas como flutuar em uma piscina; se você pedisse para ela nadar no oceano, ela poderia entrar em pânico.

O artigo apresenta o Humanoid-GPT, um novo sistema que muda o jogo. Em vez de mostrar ao robô alguns movimentos, eles mostraram a ele bilhões de movimentos diferentes. Veja como eles fizeram isso, explicado de forma simples:

1. A "Biblioteca de Tudo" (Escalabilidade de Dados)

Pense nos treinadores de robôs anteriores como tendo um pequeno livro de 10.000 movimentos de dança. Os criadores do Humanoid-GPT construíram uma biblioteca massiva contendo 2 bilhões de clipes de movimento.

A Mistura: Eles não usaram apenas um tipo de dança. Eles combinaram conjuntos de dados de captura de movimento famosos (como uma biblioteca de dançarinos profissionais) com suas próprias gravações de pessoas reais se movimentando.
A Limpeza: Eles filtraram coisas que o robô não conseguia fazer (como sentar em uma cadeira ou nadar) e aceleraram ou desaceleraram os movimentos para fazer o robô aprender a se mover em diferentes velocidades.
O Resultado: O robô não aprendeu apenas "como andar"; ele aprendeu o sentimento do movimento em si.

2. O "Cérebro Inteligente" vs. O "Reflexo Simples" (Estrutura do Modelo)

Robôs antigos usavam um cérebro "raso" (chamado de MLP). Imagine isso como um reflexo: se você vê uma bola, você a pega. Funciona bem para coisas simples, mas o robô fica confuso se a bola for lançada de um jeito estranho ou se o robô estiver dançando enquanto pega a bola.

O Humanoid-GPT usa um Transformer (o mesmo tipo de cérebro de IA usado em chatbots como este com quem você está conversando agora).

Atenção Causal: Esta é uma maneira sofisticada de dizer que o robô olha apenas para o que aconteceu no passado para decidir o que fazer a seguir. Ele não pode espiar o futuro.
A Analogia: Se o robô antigo era um reflexo, o Humanoid-GPT é um coreógrafo. Ele lembra dos últimos passos da dança, entende o ritmo e prevê o próximo movimento suavemente, mesmo que a dança seja complexa ou a música mude repentinamente.

3. A "Aula Magna" de Treinamento (Destilação)

Você não pode simplesmente despejar 2 bilhões de clipes em um único cérebro de uma vez; ele ficaria sobrecarregado. Por isso, os pesquisadores usaram um método de ensino de duas etapas:

Os Especialistas: Primeiro, eles treinaram centenas de robôs "especialistas". Cada especialista aprendeu um grupo específico de movimentos (por exemplo, um especialista só aprendeu a pular, outro só aprendeu a girar).
O Generalista: Depois, eles pegaram todos esses especialistas e ensinaram um único e gigante "Robô Mestre" (Humanoid-GPT) observando-os. O Robô Mestre aprendeu a combinar todas essas habilidades em um único cérebro fluido.

4. A Magia do "Zero-Shot"

A parte mais impressionante é a Generalização Zero-Shot.

O Teste: Mostraram ao robô movimentos de dança que ele nunca tinha visto antes (como um movimento específico de Kung Fu ou uma rotina de dança complexa de um vídeo).
O Resultado: O robô não precisou praticar ou ser retreinado. Ele apenas observou o humano e copiou o movimento perfeitamente de imediato.
Por quê? Porque ele aprendeu os princípios do movimento a partir da enorme biblioteca, não apenas os movimentos específicos. É como um músico que praticou escalas por anos e consegue tocar instantaneamente uma nova música que nunca ouviu antes, em vez de um robô que só conhece uma música específica.

5. Velocidade no Mundo Real

Normalmente, cérebros de IA grandes são lentos. Mas a equipe otimizou o código para que o Humanoid-GPT possa rodar em uma placa de computador padrão (GPU em menos de 1,5 milissegundos.

A Analogia: É como atualizar um caminhão pesado e lento para um carro de Fórmula 1. Mesmo que o carro seja enorme e poderoso, ele é rápido o suficiente para dirigir em tempo real sem atrasos.

Resumo

O Humanoid-GPT prova que, para os robôs se moverem como humanos, você precisa de escala.

Mais Dados: Uma biblioteca massiva de movimentos.
Arquitetura Mais Inteligente: Um cérebro que pode lembrar o contexto e prever o futuro com base no passado.
Melhor Equilíbrio: Garantir que o robô aprenda uma grande variedade de movimentos, não apenas os fáceis.

O resultado é um robô que pode observar um humano dançar, pular ou lutar boxe, e copiar esses movimentos instantaneamente, sem nunca ter sido ensinado aquele truque específico antes.

Resumo Técnico: Humanoid-GPT

Definição do Problema

O rastreamento de movimento humanoide historicamente enfrentou um compromisso fundamental entre agilidade (rastrear movimentos altamente dinâmicos e complexos) e generalização (rastrear estilos ou tarefas não vistos). Os rastreadores de estado da arte atuais dependem tipicamente de Perceptrons Multicamadas (MLPs) rasos treinados em corpora de movimento relativamente pequenos (ordem de $10^4$ trajetórias, $\approx 7,2$ milhões de frames). Esse descompasso de escala leva a um modo de falha persistente: rastreadores que se destacam em domínio próprio frequentemente falham em estilos não vistos, enquanto aqueles com melhor generalização lutam com dinâmicas complexas. O artigo argumenta que isso não é uma limitação fundamental, mas um sintoma de escala de dados insuficiente e designs de treinamento incompatíveis.

Metodologia

Os autores propõem o Humanoid-GPT, um rastreador de movimento humanoide universal e online construído sobre a "ciência do escalonamento". O framework consiste em três componentes principais:

1. Curadoria e Escalonamento de Dados

Construção do Corpus: Os autores agregaram datasets de captura de movimento (mocap) amplamente disponíveis (AMASS, LAFAN1, MotionMillion, PHUMA) e adicionaram gravações próprias em larga escala.
Processamento: Após filtragem rigorosa (removendo interações com objetos como sentar ou nadar) e retargeting para o espaço de juntas de 29-DoF do humanoide Unitree-G1, aplicaram aumento por time-warping.
Escala: O corpus curado final contém 2 bilhões de frames, mais de 200 $\times$ maior que os conjuntos de treinamento de rastreadores anteriores.
Harmonic Motion Embedding (HME): Para gerenciar essa escala e garantir diversidade, os autores introduziram o HME. Esta representação extrai amplitudes e frequências periódicas por junta para agrupar movimentos. Isso permite uma amostragem consciente da diversidade e equilibrada pela distribuição, evitando que o modelo soberajuste (overfitting) a modos de movimento comuns, enquanto garante que comportamentos raros, porém importantes, sejam representados.

2. Arquitetura Escalável

Transformer Causal: Diferente de abordagens anteriores não causais ou baseadas em MLP, o Humanoid-GPT utiliza um Transformer estilo GPT com atenção causal.
Restrição Online: O modelo prevê alvos Proporcional-Derivativos (PD) por junta usando apenas observações passadas e atuais, alinhando-se com restrições de implantação em tempo real.
Pipeline de Destilação:
1. Treinamento de Especialistas: Centenas de especialistas de movimento baseados em PPO são treinados em clusters de movimento específicos derivados do agrupamento HME. Esses especialistas aprendem rastreamento fisicamente fundamentado com recompensas ao nível de keypoints (consistência de posição, velocidade e rotação).
2. Destilação de Generalista: Uma política Transformer única é treinada via DAgger (Dataset Aggregation) para destilar o conhecimento de todos os especialistas. O modelo trata o rastreamento como um problema de modelagem de sequência, recebendo um histórico de estados proprioceptivos e poses de referência como entrada para prever ações.

3. Otimização de Engenharia

Para atender aos requisitos de controle em tempo real, apesar do grande tamanho do modelo, os autores otimizaram o pipeline de implantação usando ONNX, TensorRT e uma arquitetura de streaming em C++. Isso alcança uma latência de inferência end-to-end de menos de 1,5ms em uma GPU NVIDIA RTX 4090.

Principais Contribuições

Escala Sem Precedentes: O primeiro rastreador humanoide treinado em um corpus retargeted de 2 bilhões de frames, demonstrando que o escalonamento de dados e capacidade de modelo desbloqueia capacidades anteriormente inalcançáveis por MLPs rasos.
Generalização Zero-Shot: O sistema alcança rastreamento robusto zero-shot em movimentos altamente dinâmicos e não vistos (ex: danças complexas, artes marciais, rolar para levantar) sem qualquer ajuste fino específico para a tarefa.
Harmonic Motion Embedding (HME): Uma ferramenta de aprendizado de representação novel que quantifica a diversidade de movimento e permite amostragem equilibrada, abordando o problema da "cauda longa" em grandes datasets.
Leis de Escalonamento (Scaling Laws): O artigo fornece evidência empírica de leis de escalonamento para rastreamento humanoide, mostrando que o desempenho (estabilidade e precisão) melhora previsivelmente com o aumento de dados e capacidade de modelo, enquanto MLPs saturam precocemente.

Resultados

Simulação: No Unitree-G1 dentro do MuJoCo, o Humanoid-GPT (2B tokens, 80M parâmetros) alcançou uma Taxa de Sucesso de Rastreamento (SR) de 92,58% e um Erro Médio de Posição por Junta (MPJPE) significativamente menor em comparação com baselines como GMT, TWIST e Any2Track.
Implantação no Mundo Real: O modelo foi implantado em um robô físico Unitree-G1. Ele rastreou com sucesso movimentos diversos e não vistos (incluindo as danças "Can Do Can Go!", "Gokuraku Joudo" e "PokerFace") em tempo real.
Capacidades Zero-Shot: O robô executou comportamentos complexos não vistos no treinamento, como jogar basquete, lutar boxe, ajudar a mover caixas e rolar para levantar.
Comparação: Enquanto os baselines (MLP/TCN) mostraram retornos decrescentes ou overfitting ao escalar os dados, o Humanoid-GPT demonstrou melhoria contínua. A arquitetura Transformer manteve precisão e estabilidade superiores mesmo com subconjuntos de dados menores em comparação com MLPs maiores.

Significância e Alegações

O artigo afirma que o Humanoid-GPT estabelece uma nova fronteira de desempenho para o controle de corpo inteiro (whole-body control). Ao tratar o rastreamento de movimento como um problema de modelagem de sequência generativa escalado por dados e arquitetura, os autores demonstram que o compromisso entre agilidade e generalização é superável.

O trabalho sugere que:

Escala é a receita: Dados e modelos maiores, combinados com objetivos de treinamento apropriados (atenção causal, equilíbrio de diversidade), desbloqueiam novas capacidades na IA incorporada (embodied AI).
Generalização é alcançável: Um único modelo pode lidar com um vasto espectro de dinâmicas humanas, indo além das restrições de rastreadores especializados de pequena escala.
Base para AGI: Esta abordagem representa um passo em direção a agentes incorporados de propósito geral capazes de executar comportamentos robustos sob tarefas, estilos e ambientes não vistos, espelhando as tendências de escalonamento vistas em modelos de linguagem e visão.

Os autores posicionam o Humanoid-GPT não apenas como um rastreador melhor, mas como um passo fundamental em direção à Inteligência Artificial Geral (AGI) para agentes incorporados, onde a generalização é alcançada através da escala, em vez de heurísticas criadas manualmente.