Rapid co-design of Buoyancy-assisted robots for Challenging Locomotion using Gaussian Evolutionary Specialists

Resumo Técnico: Co-design Rápido de Robôs Assistidos por Flutuabilidade usando Especialistas Evolutivos Gaussianos

Definição do Problema

O artigo aborda o desafio do co-design de robôs, que envolve a otimização conjunta da morfologia do robô (estrutura física) e das políticas de controle para alcançar um desempenho de tarefa inalcançável por qualquer um dos componentes isoladamente. Especificamente, os autores focam no Buoyancy-Assisted Light Legged Unit (BALLU), um robô bípede que utiliza balões de hélio para compensar o peso.

A dificuldade central reside no custo computacional do processo de co-design. Trata-se de um problema de otimização de dois níveis:

1. Loop Externo: Busca o espaço de design da morfologia.
2. Loop Interno: Para cada candidato de morfologia, um controlador robusto deve ser treinado (tipicamente via Aprendizado por Reforço, RL).

As abordagens existentes enfrentam gargalos significativos:

• Treinamento de RL Repetitivo: Treinar uma nova política do zero para cada candidato de morfologia é computacionalmente proibitivo.
• Políticas Universais: O pré-treinamento de uma única política "universal" condicionada aos parâmetros da morfologia para permitir avaliação zero-shot falha devido ao colapso da diversidade comportamental. A política converge para uma estratégia de locomoção única e subótima porque gradientes conflitantes de diversas morfologias acabam sendo neutralizados pela média durante o treinamento.
• Mistura de Especialistas (MoE) de Ponta a Ponta: Embora as arquiteturas MoE teoricamente permitam especialistas especializados, elas sofrem de colapso de representação neste contexto. O roteador falha em diferenciar os especialistas precocemente no treinamento, fazendo com que todos os especialistas convirjam para comportamentos semelhantes, tornando a mistura ineficaz.

Metodologia: Especialistas Evolutivos Gaussianos (GES)

Os autores propõem os Especialistas Evolutivos Gaussianos (GES), um framework que desacopla o particionamento do espaço de design do aprendizado de políticas de controle para capturar explicitamente comportamentos diversos sem os modos de falha das políticas universais ou das políticas MoE de ponta a end.

Mecanismo Central:
O GES mantém um conjunto de $K$ políticas especialistas, cada uma associada a um território Gaussiano (definido por uma média $\mu_k$ e uma covariância diagonal $\Sigma_k$) sobre o espaço de parâmetros de design. O framework opera em um loop iterativo consistindo de três fases até que o espaço de design seja suficientemente coberto (95% de cobertura de Monte Carlo):

1. Inicialização:

   • $K$ centros Gaussianos são inicializados no espaço de design normalizado usando Amostragem de Ponto Mais Distante (FPS) seguida de Relaxação de Lloyd para garantir uma cobertura dispersa e de preenchimento de espaço.
   • Cada especialista é inicializado como um MLP aleatório.

2. Evolução Iterativa de Território:

   • Treinar (Train): Cada especialista $\pi_k$ amostra designs de seu território Gaussiano atual e treina via Otimização de Política Próxima (PPO), retomando de checkpoints anteriores para reter comportamentos aprendidos.
   • Sondar (Probe): Candidatos de design são amostrados próximos às fronteiras ($2\sigma$) de todos os territórios Gaussianos. Esses candidatos são avaliados por todos os $K$ especialistas. Cada candidato é atribuído competitivamente ao especialista que alcança a maior pontuação de desempenho da tarefa ($J$).
   • Reajustar (Refit): Os parâmetros Gaussianos ($\mu_k, \Sigma_k$) para cada especialista são atualizados para refletir a média e a covariância dos designs que ele "venceu" na fase de sondagem. Isso permite que os territórios se expandam e se adaptem com base no desempenho empírico.

3. Integração de Co-Design:

   • Uma vez concluído o treinamento, os especialistas servem como avaliadores zero-shot para o loop de otimização de design externo (ex: Otimização Bayesiana).
   • Para um novo design candidato, um roteador geométrico seleciona o especialista mais próximo com base na verossimilhança Gaussiana, e o desempenho do especialista é avaliado diretamente, eliminando a necessidade de re-treinamento.

Principais Contribuições

1. Identificação de Modos de Falha: O artigo identifica o colapso da diversidade comportamental como um modo de falha anteriormente não reconhecido de políticas universais no co-design de robôs, onde as políticas convergem para uma única estratégia independentemente da morfologia. Também destaca como o colapso de representação prejudica o treinamento de MoE de ponta a end.
2. Framework GES: A proposta de um framework de dois estágios que utiliza a evolução iterativa de território Gaussiano para resolver ambos os problemas de colapso. Ao desacoplar o particionamento da especialização, o GES garante que cada especialista treine em uma região estável e bem definida do espaço de design.
3. Validação de Hardware: Implementação bem-sucedida de um design otimizado pelo GES em hardware físico, demonstrando uma melhoria significativa nas capacidades de travessia de obstáculos.

Resultados

O método foi validado na plataforma BALLU em simulação (Isaac Lab) e em hardware.

• Desempenho de Simulação:

  • Travessia de Obstáculos (Espaço 2D): O GES alcançou uma melhoria de desempenho médio de 25,5% sobre uma política universal monolítica (MLP de ponta a end) e 8,62% sobre um MoE de ponta a end. Os designs do GES superaram obstáculos de até 54 cm, comparado a 38 cm para a política universal.
  • Travessia de Obstáculos (Espaço 3D): O GES mostrou um ganho de pico de 31,7% sobre a política universal, com uma melhoria média de 18,8%.
  • Escalada de Rampas: O GES melhorou o desempenho médio em aproximadamente 13% em relação aos baselines em espaço 2D.
  • Eficiência: O GES reduziu o tempo total de wall-clock do co-design em 37% (de ~100 horas para ~63 horas) ao substituir o custoso re-treinamento de RL pela avaliação direta.

• Resultados de Hardware:

  • Um BALLU co-projetado (otimizado para $GCR=0,86, SPCF=0,008$) superou com sucesso um obstáculo de 24 cm.
  • Isso representa uma melhoria de 3x sobre o design baseline, que conseguia superar apenas um obstáculo de 8 cm.
  • Os resultados confirmam que as melhorias de morfologia descobertas em simulação transferem-se efetivamente para a plataforma física, apesar dos gaps sim-to-real.

• Análise Comportamental:

  • Diferente dos baselines, os especialistas do GES mantiveram a diversidade comportamental. Visualizações mostraram que diferentes especialistas controlando o mesmo design de robô produziam trajetórias de pés e estratégias qualitativamente distintas para superar obstáculos.
  • O baseline MoE de ponta a end sofreu colapso de representação, distribuindo designs igualmente entre especialistas, enquanto o GES estabeleceu partições rígidas onde cada especialista dominava seu respectivo subspace.

Significância e Alegações

O artigo afirma que o GES fornece uma solução escalável e eficiente para o co-design de robôs ao superar as limitações fundamentais de políticas universais e arquiteturas MoE padrão. Ao capturar explicitamente comportamentos diversos através da evolução de território Gaussiano, o GES permite a descoberta de morfologias de robôs de alto desempenho que seriam perdidas por avaliadores colapsados. O framework é apresentado como agnóstico à plataforma, embora a validação atual seja específica para robôs pernas assistidos por flutuabilidade. Os autores observam que o método assume um número fixo de especialistas e um espaço de design contínuo e limitado, identificando estes como áreas para adaptação futura.