On Building Myopic MPC Policies using Supervised Learning

1. Problema e Motivação

O Controle Preditivo Baseado em Modelo (MPC) é amplamente utilizado, mas sua necessidade de resolver problemas de otimização online a cada instante de amostragem impõe uma carga computacional pesada, muitas vezes inviável para sistemas embarcados com recursos limitados.

Uma abordagem comum para mitigar isso é o MPC Explícito Aproximado ou o uso de Aprendizado Supervisionado para aprender uma política de controle (mapeamento estado-ação) a partir de dados gerados offline. No entanto, essas técnicas apresentam desafios:

• Garantias de Desempenho: Ao substituir a otimização online por uma rede neural treinada, perdem-se as garantias de estabilidade e desempenho inerentes ao MPC tradicional.
• Rigidez: Se os parâmetros do controlador mudarem online (ex: restrições, custos, dinâmica do modelo), uma política pré-treinada torna-se obsoleta ou insegura.
• Horizonte Curto: Reduzir o horizonte de previsão do MPC para diminuir o custo computacional (controladores míopes) geralmente degrada severamente o desempenho, a menos que se tenha acesso à função de "custo-futuro" (cost-to-go) ótima.

O problema central é como construir um controlador MPC míope (com horizonte de previsão curto, como 1 passo) que mantenha o desempenho de um MPC de horizonte longo, sem a necessidade de resolver otimizações complexas online, e que seja robusto a mudanças de parâmetros.

2. Metodologia Proposta

Os autores propõem uma abordagem alternativa ao aprendizado de políticas: em vez de aprender a política (ação ótima), o modelo aprende a função de valor ótima (custo-futuro ótimo, $V^*(x)$) usando aprendizado supervisionado.

A. Estrutura do Controlador Míope

O controlador online resolve um problema de otimização de um único passo (horizonte $N=1$):
$$\min_{u} \ell(x, u) + V(x^+)$$
Sujeito a: $x^+ = f(x, u)$
Onde $V(x^+)$ é a função de valor aproximada que representa o custo futuro a partir do próximo estado. Se $V$ for a função de valor ótima, essa abordagem é equivalente ao MPC de horizonte infinito (Princípio da Otimalidade de Bellman).

B. Aprendizado Supervisionado da Função de Valor

O conjunto de dados de treinamento é gerado offline resolvendo problemas de MPC de horizonte longo para diversos estados iniciais, gerando tuplas $(x_i, u^*_i, V^*(x_i))$.

O artigo critica o uso exclusivo da perda de Erro Quadrático Médio (MSE) para treinar a função de valor, pois um bom ajuste estatístico (baixo MSE) não garante que a função aprendida preserve a estrutura de otimalidade necessária para o controle.

C. Restrição de Propriedade de Descida (Descent Property)

A contribuição metodológica central é a introdução de uma restrição de descida no problema de treinamento supervisionado. A função de valor aprendida $V(x; \theta)$ deve satisfazer:
$$V(f(x_i, u^*_i); \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$$
Isso garante que, ao aplicar a ação ótima, o custo futuro do estado sucessor seja estritamente menor (ou igual) ao custo atual mais o custo imediato.

• Objetivo: Forçar a função aprendida a comportar-se como uma Função de Lyapunov de Controle (CLF), garantindo estabilidade e desempenho, mesmo que o erro quadrático médio (MSE) global seja maior do que em um modelo sem restrição.
• Vantagem sobre ADP/RL: Diferente de métodos de Aprendizado por Reforço que usam dados de laço fechado, este método usa dados "puros" de solução ótima offline (tuplas estado-ação-valor).

3. Contribuições Principais

1. Mudança de Paradigma: Propõe aprender a função de valor (custo-futuro) em vez da política de controle para guiar um MPC míope online.
2. Restrição de Descida: Introduz uma restrição de otimização no treinamento supervisionado para garantir que a função de valor aprendida satisfaça a propriedade de descida, melhorando a estabilidade do sistema em malha fechada.
3. Adaptabilidade Online: Demonstra que, ao usar uma função de valor aproximada, o controlador online (que resolve o problema de 1 passo) pode se adaptar a mudanças em tempo real (como restrições de estado alteradas ou taxas de amostragem diferentes), algo impossível com políticas pré-treinadas fixas.
4. Geração de Dados: Utiliza esquemas de aumento de dados baseados em sensibilidade paramétrica para gerar eficientemente grandes conjuntos de dados de treinamento $(x, u^*, V^*)$.

4. Resultados e Exemplo Ilustrativo

O método foi testado em um exemplo de referência de um Reator Contínuo de Tanque Agitado (CSTR).

• Configuração: Comparação entre um MPC de horizonte longo (N=140) e um MPC míope (N=1) usando uma função de valor aproximada por uma Rede de Funções de Base Radial (RBF).
• Cenário 1 (Apenas MSE): O modelo treinado apenas para minimizar o MSE apresentou um erro baixo (0.0515) nos dados de treinamento. No entanto, em simulação de malha fechada, o controlador míope falhou em convergir para o ponto de ajuste, exibindo comportamento cíclico e perda de desempenho.
• Cenário 2 (MSE + Restrição de Descida): O modelo treinado com a restrição adicional apresentou um MSE maior nos dados de treinamento (0.8199), indicando um ajuste estatístico "pior". Contudo, em simulação de malha fechada, o controlador míope convergiu perfeitamente para o ponto de ajuste, com desempenho comparável ao MPC de horizonte longo.
• Robustez a Mudanças: O controlador míope com a função de valor aprendida foi capaz de lidar com:
  • Redução do tempo de amostragem (de 3s para 0.1s).
  • Ajuste nas restrições de estado (apertamento do conjunto viável).
  • O MPC de horizonte longo foi reconfigurado para lidar com essas mudanças, e o controlador míope seguiu o desempenho ótimo, provando sua capacidade de adaptação online.

5. Significado e Conclusão

O trabalho demonstra que, no contexto de aprendizado de controladores para MPC, a precisão estatística (MSE) não é sinônimo de desempenho de controle.

A chave para o sucesso é a estrutura da função aprendida. Ao impor a propriedade de descida durante o treinamento supervisionado, garante-se que a função de valor aproximada preserve as propriedades de estabilidade necessárias. Isso permite:

1. Reduzir drasticamente o custo computacional online (resolvendo apenas um passo de otimização).
2. Manter garantias de desempenho e estabilidade.
3. Manter a flexibilidade de adaptação a mudanças de parâmetros do sistema, superando as limitações de métodos de "clonagem de comportamento" (aprendizado direto de política).

Em suma, o artigo oferece uma ponte robusta entre o aprendizado de máquina e o controle ótimo, permitindo a implementação eficiente de estratégias de controle avançado em sistemas embarcados.