Policy Optimization for Unknown Systems using Differentiable Model Predictive Control

Resumo Técnico: Otimização de Políticas para Sistemas Desconhecidos usando Controle Preditivo Modelar Diferenciável

1. Problema Abordado

O artigo aborda o desafio de otimizar políticas de controle baseadas em Modelo Preditivo de Controle (MPC) quando a dinâmica do sistema real é desconhecida ou apenas aproximada.

• Contexto: A otimização de políticas visa encontrar parâmetros $\theta$ que minimizem uma função de custo de desempenho ao longo do tempo. Quando o controlador é um MPC, ele utiliza um modelo interno para prever trajetórias futuras e tomar decisões.
• Desafio Principal: A maioria dos métodos existentes assume que o modelo de dinâmica do sistema é exato. Na prática, modelos são imperfeitos (incertos). Se a otimização depender exclusivamente de um modelo incorreto (abordagem baseada em modelo), o desempenho em malha fechada pode ser subótimo ou instável. Por outro lado, abordagens puramente baseadas em dados (sem modelo) garantem convergência, mas frequentemente sofrem com transientes lentos e ineficiência na amostragem.
• Objetivo: Desenvolver um algoritmo de otimização que combine a velocidade inicial de métodos baseados em modelo com a garantia de convergência de métodos livres de modelo, mesmo na presença de incertezas no modelo.

2. Metodologia Proposta

Os autores propõem um framework híbrido que integra otimização baseada em modelo (usando gradientes diferenciáveis) e otimização de ordem zero (baseada em dados), seguindo uma abordagem de "caixa cinzenta".

• Formulação do Problema:

  • O sistema real evolui segundo uma dinâmica desconhecida $f$, mas um modelo aproximado $g$ está disponível.
  • O objetivo é minimizar um custo $C(x, u)$ ao longo de um horizonte, sujeito às restrições do sistema e do MPC.
  • Como o problema é não suave (devido às restrições e à natureza do MPC), os autores utilizam o conceito de Jacobiano Conservador (Bolte & Pauwels, 2021) e pontos críticos de Goldstein $\delta$ para lidar com a não diferenciabilidade.

• Componentes do Algoritmo:

  1. Estimativa de Gradiente Baseada em Modelo:

     • Utiliza o modelo aproximado $g$ para calcular uma direção de atualização $\mathbf{d}_{k,1} = J_C(\theta_k)$.
     • Envolve a diferenciação automática através da solução do problema de otimização do MPC (que é formulado como um Programa Quadrático - QP).
     • É eficiente, mas pode levar a pontos estacionários incorretos se o modelo $g$ for muito impreciso.

  2. Estimativa de Gradiente Livre de Modelo (Ordem Zero):

     • Utiliza uma aproximação suavizada da função de custo $C_\delta(\theta)$ via amostragem aleatória.
     • Emprega um estimador de um ponto (one-point estimator) para obter uma direção $\mathbf{d}_{k,2} = J_{C_\delta}(\theta_k, v_k)$ baseada apenas em avaliações de função (dados reais).
     • Garante convergência teórica sob condições fracas, mas é computacionalmente mais lento e ruidoso.

  3. Combinação Híbrida (Esquema de Atualização):

     • A direção de atualização final é uma combinação convexa:
       $$\mathbf{d}_k = \eta_k \mathbf{d}_{k,1} + (1 - \eta_k) \mathbf{d}_{k,2}$$
     • O parâmetro $\eta_k \in [0, 1]$ pondera a confiança no modelo.
     • Estratégia de Decaimento: O algoritmo é projetado para começar com alto $\eta_k$ (confiando no modelo para transientes rápidos) e diminuir $\eta_k$ ao longo das iterações, permitindo que a correção baseada em dados (ordem zero) domine no final, garantindo a convergência para um ponto crítico do problema real.

• Garantias Teóricas:

  • Sob suposições de que as funções são definíveis e Lipschitz contínuas, o algoritmo converge para um ponto crítico de Goldstein Fritz-John $\delta$ do problema original, mesmo com modelos imperfeitos.

3. Contribuições Principais

1. Framework Híbrido Robusto: Introdução de um método que suavemente transita entre otimização baseada em modelo e livre de modelo, oferecendo o melhor dos dois mundos: velocidade inicial e convergência garantida.
2. Análise de Convergência para MPC Não Suave: Aplicação de ferramentas de análise de funções definíveis e Jacobianos conservadores para provar a convergência em um cenário onde o controlador (MPC) é não suave e o modelo é incerto.
3. Mecanismo de Ponderação Adaptativa: A proposta de um esquema onde a confiança no modelo ($\eta_k$) decai com o tempo, permitindo que o algoritmo "aprenda" a corrigir os erros do modelo à medida que mais dados são coletados.
4. Validação em Sistema Não Linear Complexo: Demonstração prática em um modelo de quadricóptero de 12 dimensões, um cenário desafiador para controle não linear.

4. Resultados Experimentais

Os experimentos foram realizados em um modelo de quadricóptero não linear de 12 dimensões (posição, velocidade, ângulos de Euler e velocidades angulares). O modelo utilizado para o MPC foi uma linearização identificada via mínimos quadrados, que é uma aproximação imperfeita da dinâmica real.

• Comparação de Desempenho:
  • Método Puramente Baseado em Modelo ($\eta_k = 1$): Mostrou rápida melhoria inicial, mas tornou-se instável e falhou em convergir devido aos erros do modelo.
  • Método Puramente Livre de Modelo ($\eta_k = 0$): Convergiu consistentemente, mas a uma taxa significativamente mais lenta.
  • Método Híbrido Proposto: Alcançou o melhor desempenho. Beneficiou-se da rápida transiente inicial do modelo e da correção de longo prazo dos dados reais.
• Qualidade da Política:
  • A trajetória gerada pelo controlador treinado com o método híbrido foi qualitativamente muito semelhante àquela obtida com um modelo perfeito (não linear exato).
  • Custo Final: O custo obtido foi 1084.91, comparado a 1081.3 para o caso com conhecimento perfeito do modelo. Isso representa uma subotimalidade de menos de 1%, demonstrando que o método aprendeu parâmetros quase ótimos apesar da incerteza do modelo e do ruído dos gradientes.

5. Significado e Impacto

Este trabalho é significativo porque resolve um gargalo fundamental no aprendizado de controle: a dependência de modelos precisos para otimização de políticas.

• Robustez vs. Eficiência: O método oferece uma solução prática para sistemas onde a modelagem física exata é difícil ou cara, permitindo o uso de modelos aproximados sem sacrificar a garantia de convergência.
• Aplicabilidade: É particularmente relevante para robótica e sistemas autônomos complexos (como drones), onde restrições de segurança e não linearidades são críticas.
• Futuro: O trabalho abre caminho para o desenvolvimento de controladores que aprendem online, ajustando seus parâmetros de desempenho mesmo quando o modelo interno do sistema evolui ou é imperfeito, mantendo garantias teóricas de estabilidade e otimalidade.

Em resumo, o artigo apresenta uma ponte teórica e prática entre o controle baseado em modelo e o aprendizado por reforço, demonstrando que a combinação inteligente de gradientes diferenciáveis e estimativas de ordem zero pode superar as limitações de ambas as abordagens isoladas.