Constrained Performance Boosting Control for Nonlinear Systems

Resumo Técnico: Controle de Impulsionamento de Desempenho com Restrições para Sistemas Não Lineares

Definição do Problema
O artigo aborda o desafio de projetar controladores de alto desempenho para sistemas não lineares estáveis sujeitos a restrições de estado e de entrada. Embora os controladores de Redes Neurais (NN) tenham demonstrado um desempenho empírico impressionante na aproximação de políticas de feedback complexas, eles frequentemente carecem de garantias formais quanto à estabilidade de malha fechada e à satisfação de restrições. Abordagens existentes para garantir a estabilidade, como o Controle de Modelo Interno (IMC) e parametrizações de Youla não lineares, permitem o "projeto por estabilidade" (stability-by-design), mas tipicamente tratam as restrições como secundárias, recorrendo frequentemente a termos de penalidade inspirados em barreiras aplicados de forma ad-hoc na função de perda. Esses métodos baseados em penalidades exigem um ajuste delicado e não impõem as restrições de forma sistemática, podendo levar a violações excessivas de restrições ou a um comportamento excessivamente conservador. Por outro lado, métodos de imposição de restrições em tempo real (ex: Controle Preditivo Baseado em Modelo, filtros de segurança) introduzem uma complexidade computacional e camadas arquiteturais significativas. O problema central é desenvolver um procedimento de treinamento offline que aumente o desempenho enquanto preserva sistematicamente a arquitetura de projeto por estabilidade e lida com restrições convexas de estado e de entrada sem modificar a estrutura do controlador.

Metodologia: ADMM-PB
Os autores propõem o ADMM-PB (Alternating Direction Method of Multipliers for Performance Boosting - Método de Multiplicadores de Direção Alternada para Impulsionamento de Desempenho), um procedimento de aprendizado que estende o framework de Impulsionamento de Desempenho (PB) não restrito. A metodologia baseia-se nos seguintes componentes fundamentais:

1. Parametrização por Projeto de Estabilidade: O controlador é parametrizado como um operador neural estável $\mathcal{M}(\theta)$ (ex: uma Rede de Equilíbrio Recorrente) dentro da arquitetia IMC. Isso garante que, para qualquer valor de parâmetro $\theta$, o sistema de malha fechada resultante seja $\ell_p$-estável, independentemente da convergência do algoritmo de treinamento.
2. Reformulação do Problema: O problema de Controle Ótimo Não Linear (NOC) de horizonte finito é reformulado através da introdução de variáveis auxiliares (cópias) para as trajetórias de estado e entrada ($X_p, U_p$). Isso desacopla a otimização dos parâmetros da imposição das restrições.
3. Divisão por ADMM (Splitting): O processo de treinamento alterna entre dois passos:
   • Atualização de Parâmetros ($\theta$-step): Uma atualização dos parâmetros do controlador baseada em descida de gradiente. Este passo minimiza a perda de desempenho mais um termo de penalidade quadrática que mede o descompasso entre as trajetórias de rollout geradas por $\theta$ e as variáveis de cópia auxiliares. Crucialmente, este passo mantém a estrutura exata do treinamento PB não restrito original, não exigindo modificação na arquitetura do controlador.
   • Passo de Projeção ($X_p, U_p$-step): Um passo de viabilidade onde as trajetórias auxiliares são projetadas sobre os conjuntos convexos de estados e entradas admissíveis. Esta é uma projeção euclidiana de forma fechada que impõe restrições rígidas (hard constraints).
4. Atualização da Variável Dual: Multiplicadores de Lagrange são atualizados para conduzir os resíduos primais (a diferença entre as trajetórias de rollout e as projetadas) em direção a zero.

Principais Contribuições

• Tratamento Sistemático de Restrições: O artigo introduz um mecanismo sistemático para lidar com restrições convexas de estado e de entrada durante o treinamento offline de controladores neurais, indo além da dependência de termos de penalidade suaves (soft penalties).
• Preservação de Garantias de Estabilidade: O método proposto garante que a garantia de estabilidade de malha fechada, inerente à parametrização estável escolhida, seja preservada em cada iteração da rotina ADMM. Essa garantia é independente da convergência do algoritmo ADMM ou do critério de terminação.
• Objetivos Desacoplados: A abordagem separa claramente o treinamento de parâmetros orientado ao desempenho, o tratamento de restrições por projeção e a preservação da estabilidade.
• Implementação Prática: Os autores fornecem diretrizes práticas para o ajuste de hiperparâmetros (tamanhos de passo, critérios de terminação) e analisam a complexidade computacional, observando que o custo adicional é dominado pelo passo de projeção, que é linear nas dimensões de estado/entrada para conjuntos convexos simples.

Resultados
A eficácia do ADMM-PB é validada em dois exemplos de referência:

1. Robô de Massa Pontual: Um robô navegando em um plano 2D com um obstáculo circular e restrições de velocidade. Comparado a um baseline utilizando penalidades suaves inspiradas em barreiras, o ADMM-PB alcançou violações de restrição significativamente menores. Enquanto o baseline baseado em penalidades podia alcançar uma convergência mais rápida para a origem com pesos de penalidade baixos, ele resultava em altas violações de restrição. O ADMM-PB ofereceu um melhor equilíbrio, produzindo trajetórias mais consistentes em diversos cenários com menos violações, embora apresentasse um comportamento ligeiramente mais conservador. O método também demonstrou uma dinâmica de treinamento mais suave em comparação com a abordagem baseada em penalidades.
2. Sistema de Três Tanques: Um exemplo clássico de controle usado para demonstrar o ADMM-PB como uma camada de refinamento. Partindo de um controlador PB treinado com penalidades suaves, o ADMM-PB foi utilizado para reduzir ainda mais as violações de restrição (especificamente em limites de entrada e variações de entrada) sem degradar o desempenho do controle. Isso confirmou a capacidade do método de refinar soluções existentes sem alterar a arquitetura subjacente.

Significância e Alegações
O artigo alega que o ADMM-PB fornece uma maneira natural e eficaz de incorporar restrições no treinamento de controladores neurais estáveis sem comprometer a propriedade de "projeto por estabilidade". Os autores enfatizam que, embora o método melhore a satisfação de restrições e os equilíbrios de desempenho em comparação com métodos baseados em penalidades, ele não garante a otimalidade global ou a satisfação absoluta de restrições durante a fase de teste, caso as iterações do ADMM não convirjam totalmente ou se as perturbações tiverem suporte ilimitado. A garantia de estabilidade está estritamente ligada à parametrização do controlador, não à convergência do treinamento. O trabalho posiciona o ADMM-PB como uma ferramenta prática de treinamento offline que faz a ponte entre o controle neural flexível e o tratamento rigoroso de restrições, oferecendo uma alternativa estruturada à otimização em tempo real ou a designs complexos baseados em certificados. Os autores reconhecem que as garantias teóricas de convergência para este cenário específico de ADMM não convexo e baseado em rollout permanecem uma área aberta para pesquisas futuras.