Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching

Título: Adaptação de Simulador para Aprendizado Sim-to-Real de Locomoção em Robôs de Pernas via Correspondência de Distribuição Proprioceptiva

1. O Problema

O aprendizado por reforço (RL) baseado em simulação (Sim-to-Real) é o paradigma dominante para treinar controladores de alta performance em robôs com morfologias complexas, como sistemas de pernas. No entanto, a transferência para o mundo real enfrenta o "gap sim-to-real" devido a discrepâncias dinâmicas entre o simulador e o hardware.

As abordagens tradicionais para quantificar e corrigir esse gap apresentam limitações significativas:

• Dinâmica Aleatória (DR): Torna a política robusta, mas não fecha o gap, muitas vezes resultando em comportamentos conservadores e ineficientes.
• Correspondência de Trajetória (State-Matching): Métodos existentes comparam trajetórias de estado (posição da base, velocidades, juntas) entre simulação e hardware. Isso exige:
  • Alinhamento temporal preciso.
  • Condições iniciais controladas.
  • Sensores externos caros (como sistemas de captura de movimento - MoCap) para obter o estado verdadeiro da base.
  • Robôs instáveis (como quadrúpedes) sofrem com a divergência rápida de trajetórias devido a pequenas diferenças iniciais, tornando a comparação ponto a ponto pouco confiável.

O objetivo deste trabalho é desenvolver uma abordagem prática que adapte o próprio simulador para corresponder ao comportamento do hardware, sem a necessidade de MoCap, alinhamento temporal ou correspondência de estados privilegiados.

2. Metodologia

A proposta central é utilizar a Correspondência de Distribuição Proprioceptiva como função objetivo para a adaptação do simulador.

A. Métrica de Custo (Wasserstein Distributional Metric)
Em vez de comparar trajetórias ponto a ponto, o método trata os dados de rolagem (rollouts) como distribuições estatísticas de observações proprioceptivas (posições e velocidades das juntas) e ações.

• Métrica: Utiliza a Distância de Wasserstein (Earth Mover's Distance).
• Aproximação 1D: Para evitar o custo computacional alto da distância de Wasserstein em alta dimensão, o método calcula a distância de Wasserstein 1D marginalmente para cada dimensão de cada junta e média os resultados.
• Vantagens:
  • Não requer alinhamento temporal ou reset de estado.
  • Captura características de longo prazo (padrões de marcha, estatísticas de contato, atraso de atuadores).
  • Funciona apenas com dados de juntas disponíveis no robô (propriocepção), eliminando a necessidade de sensores externos.

B. Modificações do Simulador
O método otimiza parâmetros do simulador para minimizar o custo de distribuição. Três tipos de modificações são explorados:

1. Parâmetros Estáticos: Identificação de parâmetros físicos fixos (ex: atrito das juntas, inércia/armadura).
2. Modelo de Delta de Ação (Action-Delta): Uma rede neural que adiciona uma correção residual à ação de saída da política (na taxa da política).
3. Modelo de Atuador Residual (Residual Actuator): Uma rede neural que adiciona um torque residual diretamente à saída do controlador PD de baixo nível (na taxa de simulação, 1kHz). Este modelo oferece maior expressividade para capturar dinâmicas não modeladas, como saturação de torque e atrito complexo.

C. Otimização
Como a função de custo é uma "caixa preta" (envolve execução de simulação e coleta de trajetórias), o método utiliza otimização baseada em amostragem, especificamente o CMA-ES (Covariance Matrix Adaptation Evolution Strategy), para ajustar os parâmetros do simulador.

3. Contribuições Principais

1. Métrica Prática e Robusta: Introdução de uma métrica baseada em distribuição de Wasserstein que elimina a necessidade de MoCap e alinhamento temporal, superando métodos de correspondência de estado em cenários ruidosos.
2. Pipeline de Adaptação Eficiente: Demonstração de que é possível adaptar o simulador e melhorar o desempenho real com menos de 5 minutos de dados de hardware.
3. Validação em Múltiplos Cenários: O método foi testado em três níveis de complexidade:
   • Identificação de parâmetros físicos conhecidos.
   • Adaptação a dinâmicas não paramétricas (mola na junta).
   • Transferência para tarefas desafiadoras (caminhada bípede em robô quadrúpede).
4. Superioridade do Modelo Residual: Demonstração de que o modelo de atuador residual, combinado com a métrica de distribuição, supera modelos de parâmetros estáticos e modelos de delta de ação em tarefas complexas.

4. Resultados Experimentais

Os experimentos foram realizados no robô quadrúpede Unitree Go2.

• Sim-to-Sim (Ablação):

  • Em cenários ideais (sem ruído), a métrica de Wasserstein recuperou parâmetros físicos com precisão comparável aos métodos de correspondência de estado privilegiada.
  • Em cenários ruidosos (simulando atrasos e ruídos de atuadores), a métrica de Wasserstein superou significativamente a correspondência de estado baseada apenas em observações (MatchO), mantendo erros de parâmetro baixos mesmo com ruído alto, enquanto os métodos tradicionais falhavam drasticamente.
  • O modelo de Atuador Residual treinado com a métrica de Wasserstein produziu as melhores políticas ajustadas (fine-tuned), superando modelos estáticos e de delta de ação.

• Sim-to-Real (Hardware):

  • Cenário da Mola (Spring Joint): Ao adicionar uma mola física na junta da perna traseira, a política original falhou (desvio > 2m). Após 5 minutos de coleta de dados e ajuste do simulador, a política ajustada reduziu o desvio para ~0,4m (erro de ~20%).
  • Caminhada Bípede: Uma tarefa desafiadora onde o robô caminha apenas nas pernas traseiras. A política original apresentava grande desvio no mundo real. O ajuste via atuador residual reduziu o desvio em até 50%, permitindo uma locomoção estável e precisa.

5. Significado e Conclusão

Este trabalho demonstra que a correspondência de distribuições proprioceptivas é uma rota prática e eficaz para a adaptação de simuladores em robótica de pernas.

• Viabilidade: Permite a transferência Sim-to-Real sem infraestrutura cara (MoCap) e com dados limitados.
• Generalidade: O método é aplicável a qualquer robô ou tipo de modificação de simulador.
• Limitações Identificadas: O artigo reconhece que a abordagem assume que a transferência inicial gera dados informativos. Em casos onde o robô falha catastróficamente (ex: queda) no mundo real, a distribuição de dados de falha é caótica e difícil de corresponder, o que pode levar o otimizador a encontrar soluções degeneradas (simular a queda sem corrigir a causa raiz).

Em suma, o método oferece um caminho robusto para fechar o gap sim-to-real, permitindo comportamentos complexos em hardware físico através da adaptação direta da dinâmica do simulador baseada em dados reais limitados.