Resumo Técnico: Controle Preditivo Não Linear Amortizado

Definição do Problema

O Controle Preditivo Não Linear (NMPC) oferece uma estrutura poderosa para o controle ótimo com restrições, mas enfrenta um gargalo computacional significativo. A cada instante de amostragem, o NMPC exige a resolução de um programa quadrático não linear (NLP) restrito em tempo real. Para modelos de planta não lineares, o tempo de resolução por passo pode ser ordens de magnitude maior do que para sistemas lineares, tornando frequentemente a implementação em tempo real inviável em hardware com recursos limitados ou em taxas de amostragem elevadas. Embora esquemas de Iteração em Tempo Real (RTI) melhorem a eficiência ao realizar uma única iteração do tipo Newton, o custo computacional ainda pode ser proibitivo. Além disso, o MPC não linear explícito é geralmente intratável.

Avanços recentes em aprendizado de máquina, especificamente a "otimização amortizada", propõem substituir o solver online por um aproximador de função treinado offline. No entanto, um grande desafio nesta abordagem é preservar as garantias de malha fechada, como a satisfação de restrições e a estabilidade, quando a aproximação aprendida desvia da solução exata.

Metodologia

Os autores propõem uma estrutura para sistemas não lineares afins em entrada (sistemas onde a dinâmica é afim na entrada de controle, $x_{k+1} = f(x_k) + G(x_k)u_k$) que aproxima o movimento de controle ótimo resolvendo um Programa Quadrático (QP) dependente do estado online. A inovação principal é uma arquitetura de rede de correção residual de camada única que separa o aprendizado dos parâmetros do problema da aplicação das restrições.

1. Formulação de QP Paramétrico

Para sistemas afins em entrada, o mapa de estado de um passo é afim na entrada de controle $u_0$. Os autores formulam um pequeno QP para otimizar o primeiro movimento de controle $u_0$:

• Objetivo: Uma função de custo quadrática $\frac{1}{2}u_0^\top H(x_0) u_0 + c(x_0, r)^\top u_0$, onde $H$ e $c$ dependem do estado atual e da referência.
• Restrições:
  • Restrições Rígidas (Hard Constraints): Limites de entrada e restrições afins em entrada (ex: limites de torque) são aplicados diretamente.
  • Restrições Flexíveis (Soft Constraints): Limites de estado para o próximo passo são modelados como restrições flexíveis usando variáveis de folga para garantir que o QP permaneça viável.
• Tamanho: O QP resultante possui significativamente menos variáveis de decisão ($n_u + n_s$) em comparação com o horizonte total do NLP ($(N+1)n_x + N n_u$).

2. Arquitetura de Rede de Correção Residual

Em vez de aprender a sequência completa de controle ou todos os parâmetros do QP do zero, a rede aprende apenas as correções residuais de uma base analítica:

• Base Analítica: Derivada da linearização da dinâmica do sistema e da função de custo em torno do estado atual. Isso fornece estimativas iniciais para o fator de Cholesky da Hessiana ($L_{an}$) e o vetor de custo linear ($c_{an}$).
• Rede Neural ($\phi_\psi$): Recebe o estado concatenado e a referência como entrada e prevê as correções ($\Delta L, \Delta c$).
• Mecanismo de Correção:
  • O fator de Cholesky completo é $L_{full} = L_{an} + \Delta L$.
  • Os elementos da diagonal são processados através de uma função softplus para garantir a positividade estrita, assegurando que a Hessiana resultante $H_{full} = L_{full}L_{full}^\top$ seja definida positiva.
  • O vetor de custo completo é $c_{full} = c_{an} + \Delta c$.

3. Solver Diferenciável e Treinamento

• Inferência Online: Os parâmetros corrigidos definem um pequeno QP, que é resolvido online por uma camada de ponto interno diferenciável. Isso garante que a saída $u_0^*$ satisfaça as restrições do QP por construção.
• Treinamento Offline: A rede é treinada em um conjunto de dados de soluções ótimas de NLP (geradas por um solver como o IPOPT) usando uma função de perda híbrida:
  1. Imitação Supervisionada ($L_{sup}$): Penaliza o desvio da primeira ação de controle prevista em relação à solução ótima do NLP.
  2. Estacionaridade KKT ($L_{KKT}$): Penaliza a violação da condição de estacionaridade do NLP completo.
  3. Complementaridade de Fischer-Burmeister ($L_{FB}$): Penaliza violações das condições de complementaridade para restrições de desigualdade.
  4. Regularização ($L_{reg}$): Mantém as correções aprendidas próximas à base analítica.

Principais Contribuições

1. Arquitetura de Correção Residual: Uma abordagem inovadora onde uma rede neural aprende apenas as correções para uma base de QP derivada analiticamente, em vez da solução completa. Isso aproveita a estrutura conhecida de sistemas afins em entrada.
2. Satisfação de Restrições via Camadas Diferenciáveis: Ao incorporar um solver de QP diferenciável dentro da rede, o método garante que a primeira ação de controle satisfaça as restrições rígidas, abordando um modo comum de falha no aprendizado baseado em controle.
3. Função de Perda Híbrida: O objetivo de treinamento combina imitação supervisionada com resíduos KKT e penalidades de complementaridade, melhorando o desempenho e a viabilidade em comparação com o puro aprendizado por imitação.
4. Escalabilidade: A abordagem reduz o problema de otimização online de um complexo NLP para um pequeno QP com uma matriz de custo dependente do estado, reduzindo drasticamente a complexidade computacional.

Resultados Experimentais

O método foi validado em um braço robótico planar de três elos com rastreamento de extremidade do efetuador cartesiano, sujeito a restrições de posição, velocidade e aceleração de junta, além de torque.

• Desempenho: A política amortizada alcançou um custo de malha fechada médio dentro de 4,7% do ótimo do IPOPT de horizonte total. Em contraste, o esquema RTI padrão (acados) divergiu em 12% dos cenários e foi 17,5% pior em média, enquanto um MLP direto (sem a camada de QP) divergiu em 27% dos cenários e violou significativamente as restrições rígidas.
• Satisfação de Restrições: O QP amortizado satisfez os limites rígidos de torque e aceleração com precisão numérica. As restrições de estado flexíveis foram violadas apenas levemente durante transientes (0,7% dos passos).
• Velocidade Computacional:
  • IPOPT: ~120 ms de tempo de resolução mediana.
  • RTI (acados): ~2,4 ms de tempo de resolução mediana.
  • QP Amortizado: 0,116 ms de tempo de resolução mediana.
  • Isso representa um ganho de velocidade de ~21x sobre o RTI e um ganho de ~1800x sobre o solver de NLP completo.

Significância

O artigo afirma que esta abordagem oferece uma rota prática para implantar NMPC em hardware com recursos limitados ou em altas taxas de amostragem sem sacrificar a satisfação de restrições. Ao desacoplar o aprendizado do panorama de custo (via rede) da aplicação das restrições (via solver de QP), o método alcança ganhos de velocidade de ordens de magnitude sobre os solvers tradicionais de NLP, mantendo um desempenho de rastreamento comparável ao da solução ótima. O uso de uma função de perda híbrida combinando aprendizado supervisionado com resíduos KKT é destacado como um fator chave para alcançar superioridade em viabilidade e confiabilidade em comparação com métodos que simplesmente ajustam dados ou aprendem pontos de partida (warm-starts).