Commanding Humanoid by Free-form Language: A Large Language Action Model with Unified Motion Vocabulary

---

1. O Problema

O controle de corpo inteiro de robôs humanoides baseado em comandos de linguagem natural livre (free-form) é um desafio crítico para a interação humano-robô e a inteligência corporal geral. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado em tarefas de manipulação robótica e navegação, aplicá-los ao controle de humanoides enfrenta obstáculos significativos:

• Complexidade Dinâmica: Humanoides possuem alto grau de liberdade e dinâmicas complexas, tornando difícil garantir que ações geradas por texto sejam fisicamente executáveis.
• Escassez de Dados: Diferente da manipulação robótica, não existem grandes conjuntos de dados de movimentos de humanoides fisicamente executáveis e anotados com texto.
• Compromisso (Trade-off) Existente: Métodos atuais tendem a sacrificar ou a diversidade do movimento ou a plausibilidade física.
  • Mimetismo de Movimento: Retargeting de dados humanos para robôs introduz erros cinemáticos e de projeção.
  • Abordagens End-to-End: Frequentemente falham em lidar com perturbações do mundo real, resultando em comportamentos frágeis.
  • Distilação: Muitas vezes comprimem a semântica da linguagem, enfraquecendo a conexão entre o comando e a ação.

2. Metodologia: Humanoid-LLA

Os autores propõem o Humanoid-LLA, um modelo de ação de grande linguagem que mapeia comandos expressivos diretamente para ações de corpo inteiro executáveis. A arquitetura integra três componentes principais:

A. Vocabulário de Movimento Unificado (Unified Motion Vocabulary)

Para resolver a escassez de dados e o desalinhamento entre humanos e robôs, os autores criam um espaço latente discreto compartilhado:

• Tokenização VQ-VAE: Utilizam um Vector Quantized Variational Autoencoder (VQ-VAE) com particionamento implícito.
• Reconstrução Cruzada: Ao contrário de métodos anteriores que quantizam apenas movimentos de robô, este modelo treina um tokenizador que recebe pares de movimentos humanos e seus equivalentes retargetados para humanoides.
• Objetivo: Garantir que o mesmo token discreto corresponda ao mesmo primitivo de movimento tanto no espaço humano quanto no robótico. Isso cria uma "língua de movimento" compacta e reutilizável.

B. Destilação de Ação Orientada a Vocabulário

Esta etapa preenche a lacuna entre os tokens discretos e o controle físico contínuo:

• Política Professor (Teacher): Treina-se um controlador de rastreamento privilegiado em simulação para seguir trajetórias de referência densas com alta fidelidade física.
• Política Estudante (Student): O comportamento do professor é destilado em um controlador orientado a vocabulário. Em vez de receber trajetórias contínuas, o controlador recebe uma sequência de tokens de movimento.
• Resultado: O robô executa ações baseadas nos tokens selecionados pelo modelo de linguagem, mantendo robustez dinâmica e estabilidade de contato.

C. Modelo de Ação de Grande Linguagem (LLA) com Ajuste Fino

O núcleo do sistema é um LLM treinado em duas etapas para gerar os tokens de movimento:

1. Ajuste Fino Supervisionado (SFT):
   • Utiliza grandes conjuntos de dados de movimento humano-texto.
   • Introduz uma estratégia de Cadeia de Pensamento (Chain-of-Thought - CoT): O modelo é incentivado a decompor comandos abstratos em passos lógicos antes de gerar os tokens de movimento (ex: "Andar em figura de oito" $\rightarrow$ "Curva para esquerda" + "Curva para direita").
2. Ajuste Fino por Aprendizado por Reforço (RLFT):
   • Utiliza o algoritmo GRPO (Group Relative Policy Optimization).
   • Recompensas: O modelo é recompensado não apenas pela semântica, mas pela executabilidade física.
   • Recompensa de Fidelidade Física: Combina termos de distribuição (para garantir diversidade e realismo) e termos de rastreamento (para garantir que o controlador possa executar a sequência no simulador).
   • Isso injeta priors físicos no processo de geração de tokens, evitando comportamentos conservadores ou fisicamente impossíveis.

3. Principais Contribuições

1. Humanoid-LLA: O primeiro modelo de ação de linguagem livre (free-form text-to-humanoid) que mapeia linguagem natural diretamente para ações executáveis de corpo inteiro, sem depender de retargeting cinemático pós-processado.
2. Vocabulário Unificado Humano-Humanoide: Um espaço latente aprendido via tokenização VQ-VAE cruzada que mitiga a escassez de dados e o desajuste de embodiment, permitindo que o LLM aprenda com dados humanos abundantes e aplique em robôs.
3. Framework de Ajuste Fino em Duas Etapas: Combina SFT com CoT para compreensão semântica profunda e RLFT com feedback físico para garantir robustez e estabilidade na execução real.

4. Resultados e Avaliação

O modelo foi avaliado em simulação e em robôs reais (Unitree G1 e Booster T1).

• Métricas de Geração: O Humanoid-LLA superou os baselines (como UH-1, LangWBC, RLPF) em métricas de alinhamento linguagem-movimento (R-Precision) e similaridade de distribuição (FID), demonstrando maior diversidade e naturalidade.
• Métricas Físicas: Alcançou uma taxa de sucesso de 87,6% na execução de tarefas, superando significativamente os métodos existentes (que variaram entre 68% e 80%).
• Erro de Rastreamento: Apresentou erros de posição (MPJPE) e velocidade menores, indicando maior estabilidade e precisão física.
• Generalização: O modelo demonstrou capacidade de generalizar para comandos abstratos e termos não vistos durante o treinamento (ex: "marcha militar", "abraçar um amigo"), graças à capacidade de raciocínio do CoT.

5. Significado e Impacto

Este trabalho representa um avanço significativo na robótica de humanoides ao resolver o dilema entre expressividade linguística e fidelidade física.

• Ponte Semântico-Física: Ao unificar o vocabulário de movimento e usar feedback físico no treinamento do LLM, o sistema elimina a necessidade de intermediários cinemáticos frágeis.
• Viabilidade de Implantação: A validação em hardware real demonstra que a abordagem é robusta o suficiente para sair da simulação, abrindo caminho para robôs humanoides que podem seguir instruções complexas e naturais em ambientes não estruturados.
• Escalabilidade: A metodologia de usar dados humanos abundantes para treinar controladores de robôs através de um vocabulário unificado oferece um caminho escalável para o desenvolvimento de inteligência corporal geral.

Em resumo, o Humanoid-LLA estabelece um novo estado da arte ao permitir que robôs humanoides compreendam e executem comandos de linguagem livre com a mesma naturalidade e segurança física que um humano, superando as limitações de precisão e diversidade dos métodos anteriores.