Quadruped Parkour Learning: Sparsely Gated Mixture of Experts with Visual Input

1. Problema e Motivação

O artigo aborda o desafio de fazer robôs quadrúpedes realizarem "parkour" (locomoção dinâmica em terrenos complexos com descontinuidades grandes, como degraus elevados e obstáculos) utilizando entrada visual.

• Limitação Atual: As abordagens de aprendizado por reforço (RL) existentes para parkour geralmente utilizam arquiteturas de Perceptron Multicamada (MLP) sequencial com camadas densamente ativadas. Essas redes tendem a ser ineficientes em termos de escalabilidade e desempenho quando o número de parâmetros aumenta, pois todos os parâmetros são ativados a cada inferência.
• Objetivo: Investigar a aplicação de arquiteturas de Mistura de Especialistas (MoE) com portão esparsamente ativado (Sparsely Gated MoE) no domínio da robótica baseada em visão. O objetivo é explorar o "computo condicional", onde apenas um subconjunto de parâmetros é ativado durante a inferência, permitindo maior capacidade de modelagem sem o custo computacional proporcional de uma rede densa equivalente.

2. Metodologia

Os autores propõem um framework de aprendizado por reforço (RL) que integra percepção visual e arquitetura MoE.

• Arquitetura do Agente (MoE):
  • O agente utiliza uma rede com três camadas sequenciais, onde a camada intermediária é uma camada MoE.
  • A camada MoE consiste em 16 especialistas ($n=16$), dos quais apenas 4 são ativados a cada passo de tempo ($k=4$) através de um mecanismo de portão (gating) esparsamente ativado.
  • O portão utiliza uma função de perda de balanceamento de carga (load balancing loss) para garantir que os especialistas não colapsem em um único grupo, promovendo a diversidade e a especialização.
• Treinamento em Duas Fases (Two-Phase Training):
  • Fase 1 (Simulação com Informação Privilegiada): O agente é treinado em um simulador (Isaac Gym) com acesso a informações privilegiadas (como posição exata do centro de massa, coeficientes de atrito, força dos motores e mapas de elevação gerados por "scandots"). O observador inclui dados proprioceptivos e de percepção (scandots).
  • Fase 2 (Estimativa e Visão Realista): O agente treinado na Fase 1 atua como professor. Um aluno é treinado para estimar as informações privilegiadas e substituir os mapas de elevação por imagens de profundidade reais codificadas por uma Unidade Recorrente Gated (GRU). Isso fecha a lacuna sim-real (sim-to-real gap).
• Pipeline de Visão:
  • Para lidar com a diferença entre imagens de profundidade simuladas e reais, o pipeline de treinamento na Fase 2 aplica ruído, artefatos, desfoque gaussiano e recorte nas imagens de profundidade, simulando as imperfeições do sensor Intel RealSense D435f.
• Algoritmo: Utiliza-se o algoritmo Proximal Policy Optimization (PPO) com uma função de recompensa que inclui rastreamento de velocidade, orientação, penalidades por colisão e estabilidade.

3. Principais Contribuições

1. Framework MoE para Parkour: Introdução de uma arquitetura MoE com portão esparsamente ativado especificamente para controle de parkour baseado em visão em robôs quadrúpedes.
2. Integração de Percepção Profunda: Incorporação de uma pipeline de câmera de profundidade (depth camera) no framework de RL, permitindo navegação em terrenos não estruturados sem mapas pré-definidos.
3. Desenvolvimento Robusto no Mundo Real: Implementação e teste bem-sucedido no robô Unitree Go2, demonstrando capacidade de superar obstáculos desafiadores (caixas de 32 cm, 80% da altura do robô) em condições reais, incluindo iluminação variável e terrenos irregulares.
4. Análise de Especialização: Demonstração de que os especialistas da rede desenvolvem padrões de especialização cíclica (relacionados ao ciclo de marcha) e sensibilidade a diferentes modalidades de entrada (ex: um especialista focado em dados de profundidade).

4. Resultados Experimentais

Os experimentos foram realizados no robô Unitree Go2 e em simulação, comparando a política MoE com várias políticas MLP sequenciais.

• Desempenho em Obstáculos (Caixa de 32cm):
  • A política MoE alcançou 100% de sucesso (10/10 tentativas).
  • A política MLP "Grande" (com o mesmo número de parâmetros ativos na inferência que o MoE) teve apenas 50% de sucesso (5/10).
  • A política MLP "Extra-Grande" (com o mesmo número total de parâmetros que o MoE, mas densa) teve 90% de sucesso, mas com movimentos mais instáveis ("scrambling") e maior tempo de recuperação.
• Eficiência Computacional:
  • Para atingir desempenho comparável ao MoE, a rede MLP densa precisou ser escalada para o tamanho total de parâmetros do MoE.
  • No entanto, essa rede MLP densa foi 14,3% mais lenta na inferência em comparação com o MoE, demonstrando a vantagem da computação condicional (esparsidade).
• Análise de Especialistas:
  • A análise dos pesos dos especialistas revelou que a maioria segue um padrão cíclico (alinhado com a marcha do robô), enquanto um especialista específico (índice 7) mostrou baixa utilização e alta sensibilidade a dados de profundidade, sugerindo especialização em lidar com informações visuais estáticas ou não cíclicas.

5. Significado e Conclusão

O trabalho demonstra que as arquiteturas Sparsely Gated MoE oferecem um compromisso favorável entre desempenho e eficiência computacional para o controle de robôs dinâmicos.

• Escalabilidade: Permite aumentar a capacidade do modelo (número total de parâmetros) sem aumentar linearmente o custo de inferência, algo crucial para robôs com recursos computacionais limitados a bordo.
• Robustez: A combinação de MoE com técnicas de randomização de domínio (ruído, estimativa de parâmetros físicos) é essencial para a transferência bem-sucedida de simulação para o mundo real (Sim-to-Real).
• Futuro: O estudo sugere que a especialização orgânica dos especialistas pode ser explorada ainda mais, possivelmente vinculando arquiteturas específicas de especialistas a tipos específicos de obstáculos ou fases do ciclo de locomoção.

Em resumo, o artigo valida que a aplicação de técnicas avançadas de LLMs (como MoE) na robótica de locomoção pode superar as arquiteturas tradicionais de MLP, oferecendo maior robustez em tarefas complexas de parkour com menor custo computacional.