Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots

Título: Aprendizado de Controle Corporal Completo Multi-Modal para Robôs Humanoides do Mundo Real

1. Problema

O desenvolvimento de controladores robustos e versáteis para humanoides bipedes enfrenta um desafio fundamental: a falta de uma interface unificada para comandar comportamentos corporais diversos.

• Fragmentação Atual: Abordagens tradicionais exigem controladores manuais e separados para habilidades distintas (ex: um para caminhar, outro para ficar em pé, outro para manipulação ou imitação). Isso limita a versatilidade, dificulta a extensão para novas tarefas e impede a reutilização fluida entre tarefas.
• Diversidade de Modos de Entrada: As tarefas podem ser definidas por comandos de velocidade, alvos de efetuadores finais, demonstrações em vídeo ou dados de captura de movimento (MoCap). A maioria dos sistemas possui pipelines de processamento distintos para cada modalidade, o que complica o desenvolvimento e a transferência de políticas da simulação para o hardware real.
• Desafio de Robustez: O controlador precisa lidar com atualizações dinâmicas de comandos, entradas ruidosas, parâmetros de simulação imprecisos e perturbações externas, mantendo o equilíbrio e a execução suave.

2. Metodologia

Os autores propõem o Controlador Humanoide Mascarado (MHC - Masked Humanoid Controller), uma política aprendida via Reinforcement Learning (RL) que oferece uma interface representacional unificada.

• Abstração Unificada (Mascaramento):

  • O MHC representa comportamentos alvo como trajetórias de pose futuras com mascaramento opcional.
  • Um "diretiva de movimento" ($d$) é definida como uma sequência de poses mascaradas. As dimensões mascaradas (não especificadas) são definidas como zero, e o controlador deve "preencher as lacunas" (inferir os movimentos dos membros não especificados) para manter o equilíbrio e a coerência.
  • Isso permite que o mesmo controlador aceite desde comandos de joystick (apenas velocidade do tronco) até imitação corporal completa (MoCap).

• Arquitetura da Rede:

  • Utiliza uma rede LSTM (Long Short-Term Memory) recorrente.
  • Entradas: Estado proprioceptivo atual do robô ($s_t$) e o próximo passo da diretiva de movimento ($d_i$).
  • Processamento: A diretiva é codificada em um embedding de 160 dimensões, concatenada com o estado e processada por duas camadas LSTM de 64 unidades.
  • Saída: Um offset para cada junta atuada, que é somado aos valores da diretiva para gerar os setpoints do controlador PD (Proporcional-Derivativo) para os motores.

• Treinamento e Currículo:

  • O treinamento ocorre em simulação (MuJoCo com o modelo Digit V3) usando o algoritmo PPO.
  • Geração de Dados: Utiliza um conjunto diversificado de MoCap (AMASS, Reallusion), vídeos e trajetórias otimizadas, retargetadas para a cinemática do Digit via Inverse Kinematics (IK).
  • Currículo de 3 Estágios:
    1. Locomoção: Foco em equilíbrio básico e comandos de raiz (velocidade), com perturbações torácicas instantâneas.
    2. Estabilidade: Aumento da duração dos episódios e aplicação de perturbações contínuas para forçar a recuperação de quedas.
    3. Diretivas Corporais Completas: Introdução de diretivas totalmente especificadas (imitação completa) e parcialmente especificadas (ex: apenas membros superiores, ou locomoção + membros superiores).
  • Randomização de Domínio: Parâmetros físicos (massa, atrito, ruído de sensores) são randomizados para garantir robustez e facilitar a transferência Sim-to-Real.
  • Função de Recompensa: Combina recompensas de tarefa (seguir comando), estilo (postura natural), regularização (suavidade) e uma Recompensa de Rastreamento específica para as juntas não mascaradas.

3. Principais Contribuições

1. Interface Unificada Multi-Modal: O MHC é o primeiro controlador a suportar nativamente uma ampla gama de modos de entrada (velocidade, vídeo, MoCap, joystick) através de uma única representação de diretiva mascarada, eliminando a necessidade de alternar entre múltiplos controladores.
2. Aprendizado de "Preenchimento de Lacunas": O sistema aprende a inferir movimentos corporais não especificados (ex: balanço dos braços ou movimento das pernas) de forma estável e coerente com o comando de alto nível.
3. Transferência Sim-to-Real Eficiente: Demonstração bem-sucedida no robô real Digit V3, executando tarefas complexas como locomoção, boxe e manipulação de caixas (loco-manipulação) sem ajuste fino extensivo no mundo real.
4. Validação de Currículo: Evidência experimental de que o treinamento por currículos é superior ao treinamento direto em todas as tarefas, especialmente em locomoção e imitação.

4. Resultados

Os experimentos foram realizados em simulação e no robô real Digit V3.

• Comparação com Baselines:
  • O MHC superou controladores de referência (baselines) como "OffsetBlind" e "OffsetAware" em todas as métricas.
  • Taxa de Falha: O MHC alcançou uma taxa de falha de 0,45% em tarefas de imitação, comparado a 4,8% do melhor baseline e 49,2% do baseline mais simples.
  • Erro de Posição: O MHC apresentou o menor erro médio de posição dos efetuadores finais (EMEPE) e menor deriva da raiz (Root Drift).
• Desempenho em Locomoção e Equilíbrio:
  • Em tarefas de caminhada e permanência em pé sob perturbações de força (até 100N), o MHC demonstrou desempenho competitivo com o controlador State-of-the-Art (SaW) existente, mantendo o equilíbrio e seguindo comandos com precisão.
• Generalização:
  • Modelos treinados em conjuntos de dados maiores generalizaram melhor para conjuntos de dados não vistos.
  • O MHC conseguiu executar movimentos complexos (ex: golpes de boxe, smashes de tênis) que não estavam explicitamente no conjunto de treinamento, demonstrando capacidade de generalização.
• Resultados no Mundo Real:
  • No robô Digit V3, o MHC executou com sucesso tarefas como andar, bater em um saco de pancadas e realizar locomoção com manipulação de caixa.
  • A taxa de falha no mundo real foi de 5%, e o erro de posição foi ligeiramente maior que na simulação, mas ainda considerado uma transferência de alto sucesso para comportamentos não triviais.

5. Significado e Impacto

Este trabalho representa um avanço significativo na robótica humanóide ao demonstrar que é possível criar um único controlador de baixo nível capaz de lidar com a complexidade de múltiplas modalidades de entrada e comportamentos corporais completos.

• Simplificação de Desenvolvimento: Remove a necessidade de engenheiros criarem e integrarem múltiplos controladores especializados, acelerando o desenvolvimento de aplicações robóticas.
• Versatilidade Prática: Permite que sistemas de alto nível (como IA generativa ou interfaces de usuário) comandem o robô de forma intuitiva (ex: "caminhe até lá enquanto segura este objeto" ou "imita este movimento de dança") sem se preocupar com a coordenação interna das juntas.
• Ponte Sim-Real: Oferece uma metodologia robusta para transferir políticas complexas de simulação para hardware real, abordando desafios de dinâmica e ruído através de randomização e currículos cuidadosos.

Em resumo, o MHC estabelece um novo paradigma para o controle de humanoides, onde a flexibilidade na especificação de tarefas e a robustez na execução são alcançadas através de uma representação unificada e aprendizado por reforço estruturado.