Robust and Efficient MuJoCo-based Model Predictive Control via Web of Affine Spaces Derivatives

Resumo Técnico: Controle Preditivo de Modelo Baseado em MuJoCo Robusto e Eficiente via Derivadas de Teia de Espaços Afins

Definição do Problema
O MuJoCo é um simulador de física amplamente adotado na robótica, frequentemente utilizado dentro de frameworks de Controle Preditivo de Modelo (MPC) para otimizar ações futuras por meio de rollouts repetidos. A biblioteca de código aberto MuJoCo MPC (MJPC) facilita isso ao fornecer algoritmos prontos para uso. No entanto, o MJPC atualmente depende exclusivamente de Diferenciação Finita (FD) para computar as derivadas necessárias para planejadores baseados em gradiente (ex: iLQG). A FD estima derivadas perturbando cada dimensão de entrada independentemente, o que faz com que o custo computacional escale linearmente com a dimensionalidade dos espaços de estado e ação. Em sistemas de alto grau de liberdade (DOF) ou cenas complexas com dinâmicas de contato ricas, isso resulta em centenas ou milhares de chamadas ao simulador por avaliação de derivada, criando um gargalo que impede o desempenho em tempo real. Embora a Diferenciação Automática (AD) ofereça uma alternativa, as derivadas exatas em MPC frequentemente sofrem de instabilidade numérica devido às sensibilidades agudas e mal condicionadas das dinâmicas não lineares ao longo de horizontes curtos.

Metodologia
Este artigo introduz a integração de derivadas de Teia de Espaços Afins (WASP - Web of Affine Spaces) no MJPC como um substituto direto para a FD. O WASP é uma abordagem baseada em coerência que computa sequências de derivadas aproximadas reaproveitando informações de avaliações anteriores relacionadas.

• Mecanismo Central: Em vez de computar derivadas do zero, o WASP formula a estimativa de derivada como um problema de mínimos quadrados restrito. Ele busca um Jacobiano aproximado que resida dentro de um subespaço afim definido por um único produto Jacobiano-vetor (JVP) recém-computado, enquanto se alinha com informações em cache de iterações anteriores.
• Integração: Os autores implementaram o WASP diretamente no código-fonte do MuJoCo (linguagem C) ao lado das implementações existentes de FD. No pipeline do MJPC, instâncias de WASP são criadas para cada passo de tempo no horizonte de planejamento. Essas instâncias mantêm matrizes tangentes e matrizes de JVP aproximadas ($\hat{\Delta}F$) que são atualizadas incrementalmente.
• Parametrização: Para equilibrar precisão e eficiência, a implementação expõe dois parâmetros ajustáveis: frac (controlando o número mínimo de JVPs em relação ao máximo) e tol (controlando o limiar para correspondência do ângulo e da norma dos JVPs reais). Os usuários podem ajustá-los via GUI do MJPC, permitindo um continuum entre a FD completa (máxima precisão/custo) e derivadas altamente aproximadas (custo mínimo).

Principais Contribuições

1. Primeira Aplicação de WASP a MPC Baseado em Dinâmica: Embora o WASP tenha sido avaliado anteriormente em funções baseadas em cinemática, este trabalho estende sua aplicação à simulação física completa dentro de MPC, abordando os desafios da dinâmica de contato e não linearidades.
2. Implementação de Código Aberto: Os autores lançaram uma versão totalmente integrada e de código aberto do MJPC com derivadas WASP, permitindo que a comunidade experimente este substituto direto sem modificar o código-fonte central do simulador.
3. Avaliação Abrangente: O estudo avalia o WASP através de um conjunto diversificado de dez tarefas de locomoção (incluindo quadrúpedes, bípedes, humanoides e robôs aéreos) com diferentes complexidades e padrões de contato.

Resultos
A avaliação compara o MPC baseado em WASP contra tanto o MPC baseado em FD quanto planejadores baseados em amostragem estocástica (ex: Predictive Sampling, Cross-Entropy Method).

• Aceleração vs. FD: Quando usado com planejadores baseados em derivadas como o iLQG, o WASP alcançou um aumento de velocidade de 1,26x a 2,08x no tempo de computação de derivada do modelo em comparação com a FD em todas as tarefas. Em termos de tempo total de planejamento, o iLQG baseado em WASP foi consistentemente mais rápido que o iLQG baseado em FD.
• Desempenho vs. Amostragem: Em tarefas ricas em contato (ex: escalada de quadrúpede, equilíbrio de bípede), o iLQG baseado em WASP superou significativamente os planejadores baseados em amostragem estocástica. Enquanto os métodos de amostragem frequentemente falharam em completar as tarefas (indicado por violações de limites de junta ou quedas), o iLQG baseado em WASP alcançou acelerações de até 4,0x em relação aos planejadores de amostragem, mantendo a execução bem-sucedida da tarefa.
• Desempenho da Tarefa: Em vários casos (ex: Quadrotor, Swimmer), o controle baseado em WASP rendeu um desempenho de tarefa ligeiramente melhor (menor custo) que a FD. Os autores especulam que erros de aproximação leves podem atuar como um regularizador, suavizando gradientes agudos e auxiliando na fuga de mínimos locais.
• Robustez: A análise de sensibilidade revelou que o WASP é robusto a variações de parâmetros, embora a precisão da transição de estado (fracx) seja mais crítica do que a precisão do controle (fracu) para manter a estabilidade.

Significância e Alegações
O artigo afirma que as derivadas WASP oferecem um equilíbrio convincente entre eficiência e robustez para configurações de controle iterativo. Ao substituir a FD pelo WASP, o MJPC pode sustentar as taxas de atualização rápidas exigidas para a robótica em tempo real, particularmente em sistemas de alto DOF, onde a FD é proibitivamente cara. O trabalho demonstra que derivadas aproximadas baseadas em coerência são não apenas computacionalmente superiores, mas também podem aumentar a confiabilidade do controle em ambientes complexos e ricos em contato. Os autores posicionam isso como um passo para expandir as alternativas práticas à diferenciação finita na robótica, reduzindo a barreira para a adoção de derivadas aproximadas estruturadas em pilhas de MPC em tempo real.

Limitações
Os autores observam que todos os experimentos foram conduzidos em simulação, principalmente em benchmarks de locomoção, e que a transferência sim-to-real permanece uma questão em aberto. Além disso, tanto os planejadores baseados em FD quanto em WASP tiveram dificuldades com tarefas de manipulação ricas em contato, sugerindo que as limitações residem na própria arquitetura de MPC baseada em gradiente de horizonte curto, e não no método de aproximação de derivada. Finalmente, os parâmetros de precisão requerem atualmente ajuste manual, embora os autores sugiram que trabalhos futuros possam explorar esquemas de seleção adaptativa.