Toward Hardware-Agnostic Quadrupedal World Models via Morphology Conditioning

Resumo Técnico: Modelos de Mundo Quadrúpedes Agnósticos ao Hardware via Condicionamento de Morfologia

1. O Problema: O "Sorteio de Hardware" (Hardware Lottery)

O artigo identifica uma limitação fundamental nos atuais Modelos de Mundo (World Models - WMs) e no Aprendizado por Reforço (RL) na robótica: a especialização excessiva em hardware.

• Falta de Generalização: Modelos treinados em um robô específico (ex: Boston Dynamics Spot) falham catastropicamente em outro (ex: Unitree Go1) devido a discrepâncias nas propriedades cinemáticas e dinâmicas.
• Ineficiência e Risco: Adaptar um modelo para uma nova configuração de robô (mudança de comprimento de membros, massa ou atuadores) exige coletar milhões de novas amostras e treinar um modelo do zero.
• Limitação da Identificação Implícita: Métodos atuais tentam inferir a morfologia do robô implicitamente a partir do histórico de interações (variáveis latentes). Isso cria um "atraso de adaptação" (adaptation lag), onde o robô precisa se mover (potencialmente de forma insegura) para que o modelo aprenda suas próprias propriedades físicas antes de poder controlar efetivamente.

2. Metodologia: O Framework QWM

Os autores propõem o Quadrupedal World Model (QWM), uma arquitetura que desacopla a dinâmica do ambiente da morfologia do robô, permitindo que um único modelo generalize para múltiplos robôs quadrúpedes.

Principais Componentes da Arquitetura:

• Codificação Explícita de Morfologia (PME - Physical Morphology Encoder):

  • Em vez de inferir a morfologia, o sistema extrai explicitamente parâmetros físicos do arquivo de descrição do robô (USD/URDF).
  • Os parâmetros são normalizados e incluem:
    • Cinemática e Topologia: Comprimentos das pernas (quadril, coxa, canela) e configuração das juntas (ex: joelhos em "X" vs. estilo "cão").
    • Geometria: Dimensões da base de suporte (polígono de estabilidade).
    • Dinâmica: Massa total (escala logarítmica) e distribuição de massa (razão massa do tronco).
    • Atuação: Densidade de torque dos atuadores.
  • Esses vetores de morfologia ($\mu$) são injetados diretamente no modelo.

• Modelo de Mundo Condicionado à Morfologia:

  • Baseado no DreamerV3, mas modificado com uma arquitetura de dupla torre no codificador:
    1. Torre Dinâmica: Processa dados proprioceptivos de alta frequência (velocidade, posição das juntas).
    2. Torre Estática: Processa o vetor de morfologia $\mu$.
  • As representações são fundidas e, crucialmente, o vetor $\mu$ é injetado em cada passo de tempo na célula recorrente (GRU) do modelo de transição. Isso libera o estado recorrente ($h_t$) da tarefa de memorizar propriedades estáticas, permitindo que ele foque puramente no estado dinâmico (velocidade, contato).

• Normalização Adaptativa de Recompensa (ARN):

  • Robôs diferentes possuem escalas de recompensa drasticamente diferentes (ex: um Spot gera recompensas ~350, enquanto um Unitree gera ~25).
  • O QWM utiliza um normalizador baseado em quantis (Exponential Moving Average) para equilibrar os sinais de aprendizado entre diferentes morfologias, evitando que robôs com recompensas maiores dominem o treinamento.

3. Contribuições Principais

1. Primeiro Modelo de Mundo para Generalização Zero-Shot em Morfologias: Demonstração de que é possível treinar um único modelo que controla robôs nunca vistos durante o treinamento, sem ajuste fino (fine-tuning) ou período de aquecimento.
2. Desacoplamento de Morfologia e Dinâmica: Prova empírica de que injetar explicitamente parâmetros físicos desconecta a identidade estática do robô do estado dinâmico latente, resolvendo o problema do "atraso de adaptação".
3. Transferência Sim-to-Real Robusta: O modelo treinado em simulação com múltiplos robôs foi implantado com sucesso em robôs físicos reais (ANYmal-D e Unitree Go1) sem qualquer modificação nos pesos do modelo.
4. Infraestrutura de Simulação Heterogênea: Desenvolvimento do Hetero-Isaac, permitindo o treinamento simultâneo de uma frota heterogênea de robôs em paralelo, algo não suportado nativamente por frameworks padrão.

4. Resultados Experimentais

• Treinamento em Frota Heterogênea: O QWM foi treinado simultaneamente em 7 robôs (ANYmal B/C/D, Unitree A1/Go1/Go2/B2, Boston Dynamics Spot).

  • Estabilidade: O QWM convergiu rapidamente e manteve estabilidade, enquanto modelos base (DreamerV3, PPO) falharam ou apresentaram instabilidade devido à mistura de dinâmicas conflitantes.
  • Ablação: A remoção da normalização de recompensa (ARN) impediu totalmente o aprendizado. A remoção da codificação explícita (PME) resultou em desempenho subótimo, confirmando que a identificação implícita é insuficiente.

• Generalização Zero-Shot (Simulação):

  • Interpolação: O modelo controlou com sucesso robôs mantidos de fora do treinamento (Unitree Go1 e ANYmal-D), alcançando desempenho comparável a especialistas treinados apenas nesses robôs.
  • Extrapolação (Limites): O modelo falhou no Unitree B2 (um robô muito mais pesado e com geometria distinta), demonstrando que a generalização é limitada ao suporte da distribuição de treinamento (interpolação), não sendo um motor de física universal.

• Desempenho no Mundo Real:

  • O QWM foi implantado em um ANYmal-D e um Unitree Go1 reais.
  • Ambos os robôs realizaram locomoção estável e seguiram comandos de velocidade com erro de rastreamento de ~10% em relação a controladores especialistas, sem nenhuma interação física prévia com esses robôs específicos durante o treinamento.
  • Não houve quedas em 20 tentativas (10 por robô).

• Análise de Desacoplamento: Visualizações de PCA e t-SNE dos estados latentes mostraram que:

  • O estado determinístico ($h_t$) agrupa claramente os robôs por identidade (morphology).
  • O estado estocástico ($z_t$) é agnóstico à morfologia, focando apenas no estado dinâmico atual, validando a eficácia da arquitetura de condicionamento.

5. Significado e Impacto

Este trabalho representa um passo significativo rumo a agentes robóticos gerais (Generalists). Ao tratar a morfologia como um parâmetro de entrada explícito e não como uma variável latente a ser descoberta, o QWM elimina a necessidade de re-treinamento para cada variação de hardware.

• Segurança: Elimina o risco de "quebrar" robôs reais durante um período de adaptação online.
• Escalabilidade: Permite o desenvolvimento de uma única política de controle para frotas heterogêneas de robôs.
• Futuro: Abre caminho para modelos de mundo universais que podem controlar qualquer corpo articulado (de bípedes a manipuladores), desde que a morfologia seja conhecida e a distribuição de treinamento seja suficientemente diversa.

Em resumo, o QWM transforma o modelo de mundo de um especialista "travado em hardware" para um generalista fundamentado na física, capaz de entender como qualquer robô com uma dada morfologia se move, apenas lendo suas especificações de engenharia.