Asymmetric physics enables efficient learning in quadrupedal robot swarms

Resumo Técnico: Física Assimétrica Permite Aprendizado Eficiente em Enxames de Robôs Quadrúpedes

Declaração do Problema
Embora coletivos de animais naveguem em ambientes obstruídos por meio de coordenação local, reproduzir essa capacidade em enxames de robôs físicos permanece um desafio significativo. O aprendizado de ponta a ponta oferece um caminho potencial, mas escalá-lo para enxames incorporados é dificultado pela ineficiência do aprendizado por reforço (RL) padrão baseado em amostragem. Essa ineficiência surge quando a percepção visual, interações densas entre robôs e locomoção rica em contatos precisam ser aprendidas simultaneamente. Especificamente, para plataformas com alto nível de contato, como robôs quadrúpedes, o espaço de estado-ação conjunto cresce rapidamente com o número de agentes, e a natureza descontínua de contatos e colisões cria gradientes instáveis para o RL de modelo livre. Além disso, políticas treinadas em robôs únicos frequentemente falham ao generalizar para cenários multi-robô densos porque carecem de exposição às complexas interações locais necessárias para ceder passagem, pausar e resolver congestionamentos.

Metodologia
Os autores propõem uma estrutura de treinamento de ponta a ponta que utiliza física assimétrica para permitir um aprendizado eficiente. A inovação central é a separação da física usada para a geração de comportamento da física usada para o aprendizado:

1. Separação de Física Assimétrica:

   • Rollout de Avanço (Alta Fidelidade): Um simulador de alta fidelidade e não diferenciável (Isaac Gym) modela o movimento quadrúpede realista, contatos, colisões e interações robô-ambiente. Isso garante que os comportamentos gerados sejam fundamentados na realidade física.
   • Retropropagação (Surrogates Diferenciáveis): Em vez de diferenciar através da complexa e não diferenciável dinâmica de contato, o sistema utiliza modelos substitutos (surrogates) simples e diferenciáveis para fornecer gradientes suaves para a otimização da política.
     • Um modelo de massa pontual aproxima a dinâmica de interação e navegação multi-robô.
     • Um modelo de corpo rígido aproxima a dinâmica de locomoção quadrúpede, focando nas forças de reação do solo.
   • Essa abordagem permite a extração de sinais de otimização de primeira ordem a partir de interações em larga escala sem a instabilidade associada à diferenciação através de dinâmicas de contato descontínuas.

2. Pilha de Política Hierárquica:
   A estrutura treina uma pilha de controle hierárquica:

   • Política de Navegação de Alto Nível: Mapeia observações de câmera de profundidade e informações de objetivo para comandos de velocidade. Ela opera sem comunicação explícita, mapas globais ou conhecimento dos estados de outros robôs.
   • Política de Locomoção de Baixo Nível: Converte comandos de velocidade em ações de nível de junta para as pernas do quadrúpede.

3. Regime de Treinamento:
   O sistema é treinado em ambientes multi-robô compartilhados onde até 512 quadrúpedes interagem simultaneamente. Essa interação densa é crucial para aprender comportamentos de enxame emergentes que não poderiam ser adquiridos através do treinamento isolado de um único robô.

Principais Resultados

• Escalabilidade: A estrutura treina com sucesso uma única política descentralizada para controlar até 512 quadrúpedes em ambientes ricos em obstáculos (ex: florestas densas, labirintos, pontes estreitas) em simulação.
• Implantação no Mundo Real: A política aprendida foi implantada em seis quadrúpedes físicos Unitree Go2 em cinco cenários do mundo real (floresta, ponte estreita, fenda de largura de um único robô, pavilhão obstruído, sala densa de obstáculos) sem ajuste fino adicional. Cada robô dependeu exclusivamente de uma câmera de profundidade frontal.
• Comportamentos Emergentes: Sem programação explícita ou comunicação, os robôs exibiram comportamentos de coordenação complexos, incluindo:
  • Evitação preditiva de agentes próximos.
  • Ceder a passagem pelo lado direito em encontros frontais.
  • Pausar em áreas abertas antes de gargalos.
  • Seguir paredes sob percepção limitada.
• Comparação de Desempenho:
  • Vs. Heurísticas: A política aprendida produziu trajetórias mais suaves e espaçamento inter-robô mais consistente comparado a algoritmos de enxame padrão e controladores baseados em potencial de binagem de profundidade.
  • Vs. Transferência de Agente Único: Políticas treinadas apenas em robôs únicos falharam em escalar, resultando em passagens desordenadas e menores taxas de conclusão em enxames densos.
  • Vs. RL Padrão (PPO): A abordagem de aprendizagem de física diferenciável (DPL) alcançou a recompensa final da Otimização de Política Próxima (PPO) usando apenas 2% das amostras de treinamento. A DPL também demonstrou controle de velocidade e taxas de sucesso superiores na navegação de passagens estreitas (até 0,5 m de largura) onde o PPO falhou.

Significância e Alegações
O artigo afirma fornecer a primeira demonstração de navegação de enxame baseada em visão em robôs quadrúpedes sob detecção descentralizada, locomoção rica em contato e interação multi-robô densa. A principal significância não reside nos comportamentos específicos em si, mas no princípio de treinamento que os possibilita:

• Eficiência: Ao separar a simulação de avanço de alta fidelidade da otimização de surogate diferenciável, o método transforma a interação em larga escala de um gargalo de amostragem em um sinal de treinamento eficiente.
• Generalização: A abordagem demonstra que o treinamento visual de ponta a ponta eficiente em ambientes compartilhados pode produzir políticas de controle descentralizadas e escaláveis que se generalizam para hardware real sem infraestrutura de comunicação ou planejamento centralizado.
• Aplicabilidade Mais Ampla: Os autores sugerem que essa separação da física de avanço realista e da física surogate diferenciável pode informar métodos de treinamento para outros sistemas incorporados ricos em contato, como robôs de esteira e outras plataformas pernas.

O trabalho reconhece limitações, notando desafios em interações físicas e cenários de becos sem saída em labirintos, e identifica direções futuras, como a integração de entradas RGB, canais de comunicação explícitos e transferência de política para diferentes morfologias de robôs.