Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion

Resumo Técnico: RL com Mistura de Especialistas para Locomoção de Pernas com Tolerância a Falhas

Definição do Problema
Robôs de pernas são cada vez mais vitais para a exploração planetária e operações remotas devido à sua capacidade de atravessar terrenos não estruturados. No entanto, o implante de longa duração nesses ambientes expõe o hardware à degradação e falhas de atuadores, o que pode comprometer severamente a mobilidade. Embora o Aprendizado por Reforço (RL) tenha demonstrado robustez na locomoção de pernas, políticas monolíticas convencionais lutam para representar eficientemente as diversas estratégias de controle exigidas para diferentes condições de falha. Uma única rede tentando codificar percepção de terreno, locomoção padrão e múltiplos comportamentos distintos de recuperação de falhas frequentemente sofre de interferência representacional e redução da eficiência de aprendizado, particularmente conforme a complexidade da tarefa aumenta.

Metodologia
Os autores propõem uma arquitetura de controle modular consciente de falhas que utiliza explicitamente informações de diagnóstico de falhas para ativar especialistas de controle especializados. Diferente das abordagens padrão de Mistura de Especialistas (MoE) que dependem de uma rede de roteamento aprendida para inferir o modo de operação, este framework utiliza informações de falha explícitas para selecionar o especialista apropriado.

O pipeline de controle consiste em três componentes principais:

1. Política de Mistura de Especialistas Consciente de Falhas: A rede de política utiliza um codificador compartilhado para processar observações proprioceptivas (velocidades lineares/angulares da base, projeção de gravidade, posições/velocidades das juntas) e mapas de altura de terreno visuais. Em vez de um mecanismo de roteamento aprendido, o sistema emprega um mecanismo de seleção one-hot baseado na condição de falha diagnosticada $k$. Isso ativa um especialista específico $\pi_k$ adaptado a esse modo de falha, mantendo os outros especialistas inativos. Este design reduz o custo de inferência ativa ($C_{active} = C_{enc} + C_k$) em comparação ao roteamento denso ($C_{dense} = C_{enc} + \sum C_k$).
2. Estimativa de Estado: Para lidar com a quebra de suposições baseadas em modelos durante falhas severas (ex: arrasto do corpo), o framework emprega um estimador de estado baseado em aprendizado. Esta rede neural prevê diretamente a velocidade linear da base a partir de observações de sensores (incluindo aceleração do IMU) sem depender de modelagem explícita de contato, acomodando mudanças dinâmicas induzidas por falhas de atuadores.
3. Detecção de Falhas: Uma rede neural dedicada ($f_{fault}$) é treinada como um problema de aprendizado supervisionado para identificar a condição atual de falha de atuador a partir de uma janela temporal de histórico proprioceptivo. Este módulo fornece a distribuição categórica dos estados de falha usada para acionar o especialista correspondente.

O sistema foi treinado usando Proximal Policy Optimization (PPO) dentro do framework IsaacLab em um robô Unitree Go2. A função de recompensa inclui objetivos orientados à tarefa (rastreamento de velocidade, altura/orientação da base) e termos de regularização (energia das juntas, suavidade). Crucialmente, termos de recompensa específicos são dinamicamente ativados ou desativados com base no número de pernas falhas ($n_f$) para adaptar o objetivo de aprendizado à severidade da falha.

Principais Contribuições

• Política MoE Consciente de Falhas: A proposta de um framework de RL modular onde especialistas especializados são explicitamente condicionados a falhas de atuadores diagnosticadas, eliminando a necessidade de uma função de roteamento aprendida e permitindo computação condicional.
• Eficiência sob Restrições: Uma avaliação demonstrando que políticas modulares mantêm desempenho de locomoção competitivo mesmo com capacidade de rede significativamente reduzida (variantes Small), superando baselines monolíticos de tamanho comparável.
• Reprodutibilidade: O lançamento do código associado para fornecer um baseline reproduzível para a comunidade.

Resultados
Experimentos foram conduzidos em simulação e em um robô Unitree Go2 real em quatro cenários: Sem Falha (No Fail), Falha na Frente Esquerda (LF Fail), Falha na Traseira Esquerda (LH Fail) e falha simultânea na Traseira Esquerda + Traseira Direita (LH+RH Fail).

• Comparação de Desempenho: A arquitetura MoE proposta superou consistentemente os baselines de PPO monolíticos em todos os cenários de falha. Embora o desempenho tenha sido comparável em condições nominais, a vantagem da abordagem MoE tornou-se progressivamente mais evidente conforme a severidade da falha aumentava. No cenário mais severo (LH+RH Fail), onde a locomoção requer comportamentos de arrasto distintos do trote padrão, a política MoE alcançou recompensas cumulativas substancialmente maiores.
• Sensibilidade à Capacidade de Rede: Quando a capacidade da rede foi reduzida (de arquiteturas Large para Small), o baseline monolítico sofreu uma degradação significativa de desempenho. Em contraste, a arquitetura MoE manteve um desempenho robusto, com sua variante "Small" alcançando resultados comparáveis ao baseline monolítico "Large". Isso sugere que a especialização estruturada permite um aprendizado eficaz mesmo com menos parâmetros ativos.
• Validação no Mundo Real: O framework foi implantado com sucesso em um robô físico, demonstrando travessia bem-sida de terreno rochoso em condições nominais, locomoção de três pernas (LH Fail) e locomoção de arrasto de duas pernas (LH+RH Fail).

Significância e Limitações
O artigo afirma que a especialização explícita condicionada à falha oferece uma alternativa superior ao simples aumento do tamanho do modelo para locomoção tolerante a falhas. A arquitetura é particularmente significativa para plataformas robóticas com restrição de computação, como as usadas em exploração espacial, onde os recursos embarcados são limitados. Ao desacoplar comportamentos específicos de falha em especialistas dedicados, o sistema alcança alta robustez sem o overhead computacional de uma rede monolítica massiva.

Os autores reconhecem modestamente uma limitação quanto à eficiência de amostragem. Como as redes de especialistas não compartilham todos os parâmetros, as estimativas de gradiente de política são mais ruidosas, pois cada especialista é atualizado apenas em trajetórias de sua condição de falha específica. Embora os experimentos atuais (usando ~4.096 agentes por condição de falha) tenham sido suficientes, escalar para um número maior de condições de falha pode exigir ambientes de simulação adicionais ou estratégias de compartilhamento de parâmetros mais sofisticadas.