Resumo Técnico: Aceleração e Escalonamento de Aprendizado por Reforço Guiado por MPC para Locomoção e Manipulação Humanoide

1. Declaração do Problema

O controle de movimento humanoide enfrenta uma dicotomia entre o Controle Preditivo de Modelo (MPC) e o Aprendizado por Reforço (RL). O MPC oferece predição fundamentada na física e tratamento explícito de restrições, mas frequentemente enfrenta dificuldades com o processamento em tempo real e a robustez à incompatibilidade de modelos. Por outro lado, o RL permite habilidades de corpo inteiro robustas e ágeis através de simulações de larga escala, mas muitas vezes carece da estrutura física e das capacidades de planejamento de longo horizonte inerentes ao MPC.

Embora existam abordagens híbridas, integrar o MPC dentro do loop de treinamento do RL apresenta desafios significativos:

• Sobrecarga Computacional: Resolver repetidamente problemas de MPC durante o treinamento é demorado.
• Gargalos de Escalonamento: Solvers de MPC baseados em GPU existentes costumam paralelizar entre ambientes, mas falham em paralelizar efetivamente através do horizonte de predição, deixando as recursões sequenciais como um gargalo.
• Custos de Memória e Compilação: Formulações tradicionais de Programação Quadrática (QP) esparsas para MPC exigem a construção de problemas e compilação simbólica demoradas, levando ao uso elevado de VRAM que escala mal com o tamanho do problema.
• Escopo Limitado: A maioria dos frameworks híbricos foca primariamente em locomoção, deixando a loco-manipulação (locomoção e interação com objetos simultâneas) subexplorada, apesar do alto valor dos modelos físicos para essas tarefas.

2. Metodologia

O framework proposto, MPC-RL, desacopla os papéis do MPC e do RL: o MPC atua como um guia durante o tempo de treinamento para gerar recompensas estruturadas, enquanto a política aprendida opera sem o MPC no momento da implantação.

A. Guia de MPC de Dinâmica Centroidal (CD-MPC)

Em vez de usar o MPC para controle direto, o sistema utiliza um modelo de Dinâmica Centroidal (CD) para gerar referências preditivas para o agente de RL.

• Modelo: O CD-MPC rastreia o Centro de Massa (CoM), o momento linear centroidal ($l_G$) e o momento angular centroidal ($k_G$). Ele lida com dinâmicas variantes no tempo incorporando conjuntos de contato ativos (pés para locomoção; pés e mãos para loco-manipulação).
• Extração de Marcos (Landmarks): Em vez de forçar a política a rastrear o próximo passo imediato do MPC (o que descarta a estrutura de longo horizonte), o sistema extrai um conjunto de marcos preditivos da trajetória completa do MPC em intervalos de tempo específicos ($\delta_\ell$).
• Ponderação de Confiança de Predição: A função de recompensa compara o CoM realizado contra esses marcos. Uma programação de ponderação monotônica de horizonte ($\alpha_0 > \alpha_1 > \dots$) é aplicada, dando grande peso aos marcos de horizonte próximo (que são mais confiáveis) e diminuindo o peso dos marcos de horizonte distante (que estão sujeitos a incompatibilidade de modelo e erro de integração). Isso cria um sinal de recompensa limitado que funde a orientação de longo horizonte com o rastreamento agudo de curto prazo.

B. $\pi$nMPC: Solver Paralelo no Horizonte e Livre de Construção

Para tornar o CD-MPC viável para o treinamento de RL massivamente paralelo, os autores introduzem o $\pi$nMPC, um solver de lote (batched) para GPU.

• Arquitetura: Ele estende a estrutura ADMM paralela no horizonte do trabalho anterior ($\pi$MPC) para lidar com dinâmicas variantes no tempo (essencial para robôs de pernas com sequências de contato alteradas).
• Inovações Principais:
  1. MPC de Forma de Velocidade: O solver otimiza sobre incrementos de entrada em vez de entradas absolutas, elevando o estado para incluir entradas anteriores.
  2. Divisão de Variáveis: Um esquema de divisão inovador introduz variáveis auxiliares para desacoplar a dinâmica das restrições. Isso permite que as atualizações do ADMM sejam executadas em paralelo em todo o horizonte de predição na GPU, em vez de sequencialmente.
  3. Livre de Construção: O solver opera diretamente sobre matrizes de estado variantes no tempo ($A_k, B_k, e_k$) sem montar um QP esparso ou exigir geração de código simbólico/compilação a cada passo. Isso reduz significativamente o uso de VRAM e elimina atrasos de pré-compilação.
• Implementação: Realizado tanto em PyTorch quanto em JAX, suportando grandes tamanhos de lote (até 4096 ambientes) e longos horizontes (até $N=400$).

C. Treinamento e Implantação

• Algoritmo: O PPO (Proximal Policy Optimization) é usado com uma arquitetura ator-crítico assimétrica.
• Observações: O ator (implantado no hardware) recebe apenas propriocepção e comandos. O crítico (apenas para treinamento) é privilegiado com as referências preditas de CoM e momento angular do MPC.
• Recompensas: A recompensa total combina a regularização padrão (limites articulares, altura do pé) com os termos de guia de marcos do MPC (CoM, velocidade, momento angular, posicionamento de pés e forças de reação do solo).

3. Principais Contribuições

1. Formulação de Recompensa de MPC Estruturada: Um mecanismo de recompensa inovador usando ponderação de confiança de predição para extrair orientação de movimento e dinâmica de longo horizonte das trajetórias de MPC centroidal, validado através de estudos de ablação sobre comprimento de horizonte e taxas de atualização.
2. Solver $\pi$nMPC: Um solver de MPC em lote para GPU, livre de construção e eficiente em memória, que alcança a execução paralela no horizonte para dinâmicas variantes no tempo, superando os gargalos de escalabilidade dos solvers baseados em QP existentes.
3. Extensão para Loco-Manipulação: A primeira demonstração de RL guiado por MPC para loco-manipulação humanoide, transferida com sucesso para o hardware para empurrar cargas pesadas (até 290 kg).

4. Resultados

A. Escalonamento do Solver

• Desempenho: O $\pi$nMPC escala favoravelmente em GPUs comparado a solvers de última geração (Consensus ADMM, qpth, qpax, CusADi).
• Eficiência: Ao contrário do CusADi, que requer horas de compilação simbólica e alta RAM, o $\pi$nMPC opera sem compilação. Ele permanece viável para longos horizontes ($N=400$) e grandes lotes onde outros solvers esgotam a VRAM ou tornam-se proibitivamente lentos.
• Implementação: A variante JAX é computacionalmente mais rápida, enquanto a variante PyTorch oferece menor overhead de memória durante o treinamento de RL.

B. Locomoção Humanoide

• Rastreamento de Velocidade: O MPC-RL supera consistentemente o Pure RL no rastreamento de velocidade de translação, incluindo comandos fora da distribuição.
• Recuperação de Empurrão: O framework demonstra robustez superior, recuperando-se de empurrões de até 450 N (dependendo da configuração), significativamente maior que a linha de base do Pure RL (300 N).
• Hiperparâmetros: Um horizonte de $N=10$ (aprox. 0,7s, um ciclo de marcha) com uma taxa de atualização de 10 Hz rendeu o melhor equilíbrio entre desempenho e eficiência de treinamento. Horizontes mais longos não geraram melhorias monotônicas.
• Design de Recompensa: A programação de ponderção de marcos "decaída" (tapered) superou os designs de "próximo passo" e "média" tanto em precisão de rastreamento quanto em recuperação de empurrão.

C. Loco-Manipulação

• Validação em Hardware: A política foi implantada no robô Westwood Robotics Themis V2.
• Capacidade: O robô conseguiu empurrar um carrinho com uma carga útil de 290 kg (639 lbs), representando 829% da massa corporal do robô.
• Comparação: Em simulação, a política guiada por MPC alcançou melhor rastreamento de velocidade e capacidade de empuxo comparado ao Pure RL, que frequentemente estagnava. As recompensas estruturadas do MPC forneceram a orientação física necessária para a interação de força que o Pure RL teve dificuldade em descobrir apenas através da exploração.

5. Significância e Alegações

O artigo afirma que a otimização preditiva pode servir como uma ferramenta de treinamento prática e uma fonte de estrutura física para aprender comportamentos humanoides com eficiência de treinamento competitiva.

• Praticidade: O framework evita a necessidade de MPC em tempo real na implantação, baseando-se em uma política aprendida que é robusta a distúrbios (ex: pesos desconhecidos, empurrões).
• Eficiência: Ao introduzir o $\pi$nMPC, os autores demonstram que a orientação de MPC de longo horizonte é computacionalmente viável dentro do paralelismo massivo do treinamento de RL moderno, removendo a barreira da "construção de problemas demorada".
• Generalização: O sucesso em loco-manipulação sugere que a orientação por MPC não se limita à locomoção, mas é crítica para tarefas que exigem interações de força complexas e consistência dinâmica.

Limitações e Trabalho Futuro:
Os autores reconhecem que a abordagem atual depende de dinâmicas centroidais de ordem reduzida com cronogramas de contato prescritos. Trabalhos futuros visam estender o framework para modos de contato mais ricos usando MPC não linear e investigar solvers aumentados por redes neurais para uma orientação ainda mais eficiente durante o tempo de treinamento.