Model-Agnostic Meta Learning for Differentiable MPC

Resumo Técnico: Aprendizado de Meta-Modelo Agnóstico para MPC Diferenciável

Formulação do Problema
O Controle Preditivo Baseado em Modelo (MPC) é uma técnica de controle robusta, porém seu desempenho depende fortemente de modelos de sistema precisos e funções de custo bem ajustadas. Embora a otimização de políticas baseada em gradiente tenha surgido como um método principiado para ajustar parâmetros de MPC (como matrizes de custo e restrições) para melhorar o desempenho em malha fechada, ela enfrenta duas limitações primárias:

1. Gargalo Computacional: O ajuste tradicional em malha fechada requer múltiplas iterações para convergir, o que é computacionalmente caro e muitas vezes intratável para implementações de hardware devido ao tempo de execução e aos overheads de reset do sistema.
2. Falta de Generalização: Controladores otimizados para condições de treinamento específicas frequentemente sofrem overfitting e apresentam degradação significativa de desempenho quando aplicados a tarefas não vistas ou trajetórias de referência variáveis.

Abordagens existentes que utilizam Meta-Aprendizado (especificamente o Aprendizado de Meta-Modelo Agnóstico, ou MAML) no controle têm focado amplamente em adaptar o modelo do sistema para reduzir a lacuna sim-to-real. Este artigo aborda a lacuna de adaptar o próprio controlador (especificamente as definições de objetivo e restrição do MPC) para novas tarefas de forma rápida.

Metodologia
Os autores propõem um novo framework que integra o Aprendizado de Meta-Modelo Agnóstico (MAML) com MPC diferenciável e identificação de sistema online. O objetivo central é aprender um conjunto "generalizado" de hiperparâmetros de MPC ($\bar{p}$) tal que, para qualquer nova tarefa (trajetória de referência $r$), um conjunto de parâmetros específicos da tarefa ($p_r$) possa ser derivado com interação mínima (um único passo de gradiente descendente).

A metodologia consiste em três componentes principais:

1. Framework de MPC Diferenciável: Os autores utilizam o framework de otimização de política onde o custo e as restrições do MPC são tratados como variáveis treináveis. Eles empregam a metodologia de Backpropagation-MPC (BP-MPC) para calcular os gradientes do custo em malha fechada em relação aos parâmetros do MPC. Isso permite o treinamento de ponta a ponta, apesar da natureza não suave do problema de otimização.
2. Identificação de Sistema Online: Para lidar com imprecisões do modelo, o framework integra um estimador de mínimos quadrados recursivos (RLS). Em cada iteração, os parâmetros do sistema ($\theta$) são atualizados com base em dados de trajetória do mundo real ($x, u$). Isso serve a um duplo propósito: refinar o modelo preditivo usado na linearização do MPC e reduzir o viés nas estimativas de gradiente usadas para a otimização da política.
3. Adaptação MAML: O algoritmo MAML é adaptado para o cenário de MPC.
   • Loop Interno (Inner Loop): Para um conjunto de referências de treinamento $\mathcal{R}$, o algoritmo calcula parâmetros específicos da tarefa $p_r(\bar{p})$ realizando uma única atualização de gradiente sobre a função de custo completa $C_{full}(r, \bar{p}, \theta_r)$.
   • Loop Externo (Outer Loop): O parâmetro generalizado $\bar{p}$ é atualizado para minimizar a soma dos custos alcançados por esses parâmetros adaptados.
   • Aproximação: Para evitar o custo computacional de calcular derivadas de segunda ordem exatas (Hessianas) exigidas pelo gradiente exato do MAML, os autores empregam uma aproximação Quasi-Newton BFGS. Isso permite que o gradiente do meta-objetivo seja estimado usando apenas informações de primeira ordem e interações do sistema.

Principais Contribuições

• MAML para Otimização de Política de MPC: O artigo introduz a primeira aplicação de MAML especificamente para adaptar as definições de objetivo e restrição de controladores MPC, em vez de apenas o modelo do sistema.
• Identificação de Sistema Integrada: O pipeline otimiza concomitantemente o modelo preditivo e os hiperparâmetros do MPC. Os autores demonstram que a identificação de sistema não apenas melhora a precisão da predição, mas também aumenta a qualidade das estimativas de gradiente para o ajuste da política.
• Framework Validado em Hardware: A abordagem é implementada e testada em um sistema físico de Bola sobre Placa (BoP), demonstrando viabilidade em um cenário do mundo real com restrições de hardware.

Resultos Experimentais
O método proposto foi validado em um banco de testes de Bola sobre Placa utilizando trajetórias circulares e quadradas para treinamento, e uma trajetória em forma de oito para testar tarefas não vistas.

• BP-MPC vs. Baselines: O esquema BP-MPC (combinando otimização de política e identificação de sistema) superou significativamente os controladores MPC não treinados, LQR e PID. Especificamente, reduziu os erros de rastreamento em 10% adicionais em comparação com um MPC com parâmetros pré-identificados, mas sem ajuste de política.
• Impacto da Identificação de Sistema: Os experimentos mostraram que a inclusão da identificação de sistema online reduziu os custos em malha fechada por um fator de dois em comparação ao BP-MPC sem identificação de sistema. Mesmo com um modelo pré-identificado, o refinamento online proporcionou reduções de custo adicionais (melhoria de 33–44% sobre os baselines).
• Desempenho de Meta-Aprendizado: Os parâmetros inicializados via MAML ($\bar{p}$) demonstraram adaptabilidade superior. Quando aplicados a referências não vistas (a trajetória em forma de oito) sem treinamento adicional, o controlador inicializado por MAML resultou em erros de rastreamento menores do que um MPC padrão não treinado. Além disso, a inicialização MAML forneceu um ponto de partida robusto que exigiu menos episódios para convergir para o desempenho ideal em comparação com a inicialização aleatória ou nominal.

Significância e Alegações
O artigo afirma que este framework aborda com sucesso os gargalos computacionais do ajuste tradicional em malha fechada. Ao alavancar o MAML, o sistema pode se adaptar a novas tarefas com "overhead mínimo", exigindo apenas uma fração do custo computacional e das interações de sistema necessários para um retreinamento completo.

Os autores enfatizam que sua abordagem permite o design de "controladores MPC altamente adaptáveis" que mantêm um desempenho excepcional através de diversas tarefas. Crucialmente, eles observam que, embora o MAML forneça uma inicialização robusta, ele não torna as atualizações online redundantes; a combinação da inicialização MAML e o subsequente ajuste BP-MPC produz os melhores resultados. O trabalho é apresentado como um passo para tornar o ajuste de MPC baseado em gradiente prático para implementações de hardware onde o overhead de reset e o tempo de execução são restrições críticas.