Cost-Matching Model Predictive Control for Efficient Reinforcement Learning in Humanoid Locomotion

Resumo Técnico: Controle Preditivo por Modelo com Correspondência de Custos para Aprendizado por Reforço Eficiente em Locomoção de Humanoides

1. Problema e Contexto

A locomoção de robôs humanoides apresenta desafios significativos devido a contatos intermitentes, alto grau de liberdade e restrições de segurança rigorosas. O Controle Preditivo por Modelo (MPC) é o paradigma dominante para essa tarefa, pois permite a otimização online com restrições explícitas. No entanto, existem duas limitações principais:

1. Compromisso entre Fidelidade e Computação: Modelos simplificados (como dinâmicas centróides) são necessários para tempos de execução em tempo real, mas ignoram efeitos de alta fidelidade (como acoplamento inercial e realização de contato), exigindo um ajuste manual extensivo de pesos de custo para garantir robustez.
2. Ineficiência do Aprendizado por Reforço (RL) Tradicional: Métodos híbridos de MPC-RL que tentam aprender os parâmetros do controlador geralmente exigem a resolução repetida do problema de otimização do MPC dentro do loop de aprendizado ("solve-in-the-loop"). Isso torna o treinamento computacionalmente proibitivo, especialmente para sistemas complexos e críticos em tempo real.

O objetivo deste trabalho é desenvolver uma abordagem de aprendizado que preserve a estrutura de otimização com restrições do MPC, mas que elimine a necessidade de resolver o problema de otimização durante o treinamento, permitindo um aprendizado eficiente baseado em gradientes.

2. Metodologia: Cost-Matching MPC (CM-MPC)

Os autores propõem uma nova estrutura chamada Cost-Matching MPC (CM-MPC). A ideia central é aprender os parâmetros do MPC ($\theta$) minimizando a discrepância entre o valor predito pelo modelo e o retorno real medido, sem resolver o problema de otimização do MPC a cada passo de gradiente.

Componentes Principais:

• Formulação do Problema: O controle é hierárquico. Um planejador não linear de MPC (baseado em dinâmicas centróides) gera referências de trajetória, enquanto um controlador de baixo nível (PD) executa os torços. O foco é na parametrização da camada de MPC.
• Função Valor Induzida pelo MPC ($Q^{MPC}_\theta$): Em vez de resolver o problema de otimização (5) para obter a política, o método define uma função valor baseada em uma "rolagem" (rollout) direta do modelo preditivo parametrizado ao longo de segmentos de ação registrados.
  • Inclui penalidades diferenciáveis para violações de restrições (atrito, limites de junta, etc.) diretamente na avaliação do custo, permitindo que o modelo aprenda mesmo com discrepâncias entre o modelo e a realidade.
• Retorno Medido ($Q^{meas}$): Calculado a partir de trajetórias reais (ou de simulação de alta fidelidade) coletadas durante a execução do sistema, representando o custo acumulado de longo prazo.
• Objetivo de Correspondência de Custos: O algoritmo ajusta os parâmetros $\theta$ para minimizar o erro quadrático médio entre a estimativa do MPC ($Q^{MPC}_\theta$) e o retorno real ($Q^{meas}$):
  $$\min_\theta \mathbb{E}_D [(Q^{MPC}_\theta - Q^{meas})^2]$$
• Eficiência Computacional: Como a avaliação de $Q^{MPC}_\theta$ é feita apenas através de uma simulação direta (rollout) do modelo e não da resolução de um problema de otimização quadrático (QP), o cálculo do gradiente escala linearmente com o horizonte de previsão, tornando o treinamento viável.

Algoritmo de Treinamento (On-Policy):

1. Coleta de dados executando o controlador MPC atual com parâmetros $\theta_j$.
2. Para amostras da trajetória, calcula-se o retorno real ($Q^{meas}$) e a estimativa do modelo ($Q^{MPC}_\theta$) usando os mesmos segmentos de ação.
3. Atualização dos parâmetros via descida de gradiente estocástica para reduzir a diferença entre os dois valores.

3. Contribuições Chave

1. Framework de Aprendizado Eficiente: Introdução de um método de correspondência de custos que elimina a necessidade de resolver o problema de otimização do MPC dentro do loop de aprendizado, reduzindo drasticamente o custo computacional do treinamento.
2. Generalidade e Aplicação: O método é genérico para problemas de controle ótimo com restrições (OCPs) e foi validado especificamente em locomoção de humanoides usando dinâmicas centróides.
3. Implementação de Código Aberto: O framework foi disponibilizado publicamente, facilitando a reprodução e extensão da pesquisa.
4. Garantias de Segurança: O método mantém a capacidade de lidar com restrições duras (hard constraints) durante a implantação online, enquanto usa penalidades suaves (soft penalties) apenas durante a fase de treinamento para permitir a exploração e aprendizado.

4. Resultados Experimentais

O método foi validado em simulação de alta fidelidade utilizando a plataforma humana comercial Unitree G1.

• Convergência e Diagnóstico:
  • O erro quadrático médio (MSE) entre a estimativa do MPC e o retorno real diminuiu rapidamente durante o treinamento.
  • Os pesos de custo aprendidos mostraram ajustes significativos: os pesos do custo terminal aumentaram (atuando como uma aproximação de "custo de cauda" para compensar o horizonte curto do MPC), e os pesos de regularização de torque aumentaram para suavizar as ações de controle.
• Robustez a Perturbações:
  • O controlador CM-MPC aprendido foi testado contra um baseline com parâmetros manualmente ajustados sob a aplicação de pulsos de força lateral e torque de guinada.
  • Recuperação: O CM-MPC recuperou-se mais rápido (tempo de acomodação reduzido em 31,25%) e com menos esforço de controle e "jitter" (oscilação) do que o baseline.
  • Compromisso Inteligente: O controlador aprendeu a relaxar o rastreamento estrito de referências de momento em favor de estabilizar o corpo inteiro e rejeitar perturbações, demonstrando uma política mais robusta.
• Métricas Estatísticas: Em seis ensaios de perturbação, o CM-MPC apresentou melhorias consistentes no RMS de erro pós-perturbação, pico de erro e erro absoluto integral (IAE), confirmando uma melhor compensação de erros de modelagem.

5. Significado e Conclusão

Este trabalho demonstra que é possível alinhar a eficiência computacional do aprendizado por reforço com a segurança e estrutura do controle predivo por modelo. Ao evitar a resolução repetida de otimizações complexas durante o treinamento, os autores conseguem "aprender" os parâmetros ideais de um controlador MPC que compensa automaticamente as discrepâncias entre modelos simplificados e a realidade física.

A abordagem Cost-Matching oferece uma via prática para melhorar o desempenho de locomoção de humanoides em cenários com incertezas de modelo e perturbações externas, mantendo a capacidade de garantir restrições de segurança críticas durante a operação online. Isso representa um avanço significativo na viabilidade de implantação de controladores baseados em aprendizado para robótica dinâmica complexa.