Learning Neural Controllers with Optimality and Stability Guarantees Using Input-Output Dissipativity

Resumo Técnico: Aprendizado de Controladores Neurais com Garantias de Otimalidade e Estabilidade Usando Dissipatividade de Entrada-Saída

Definição do Problema
O aprendizado profundo tem mostrado promessa na resolução de tarefas de controle não linear complexas em robótica, transporte e sistemas de potência. No entanto, esses métodos tipicamente carecem de garantias formais para propriedades críticas, como a estabilidade. Embora abordagens baseadas em aprendizado usando síntese indutiva guiada por contraexemplos (por exemplo, via solvers SMT) possam verificar a estabilidade para controladores neurais, elas frequentemente falham em fornecer garantias de otimalidade para um horizonte infinito. Métodos existentes frequentemente otimizam o desempenho sobre trajetórias de amostras finitas, levando a designs "míopes" que não asseguram a otimalidade de longo prazo ou a estabilidade global. O desafio central abordado neste artigo é projetar controladores neurais que garantam simultaneamente a estabilidade assintótica e a otimalidade em relação a funções de custo definidas pelo usuário para sistemas não lineares gerais.

Metodologia
Os autores propõem um framework baseado na teoria da dissipatividade de entrada-saída, uma generalização da teoria de Lyapunov que utiliza funções de armazenamento e funções de taxa de suprimento para caracterizar a dissipação de energia em pares de entrada-saída.

1. Estrutura Teórica:

   • O sistema é modelado como $\dot{x} = f(x) + g(x)u$.
   • Os autores definem uma função de armazenamento $V(x)$ (análoga a uma função de Lyapunov) e uma função de taxa de suprimento $w(x, u)$ em uma forma Quadrática-Armazenamento-Resistiva (QSR): $w(x, u) = x^\top Q(x)x + 2x^\top S(x)u + u^\top R(x)u$.
   • Estabilidade: Se o sistema for dissipativo com $w(x, u) < 0$ sob uma lei de controle específica, o sistema em malha fechada é estável. O artigo deriva uma lei de controle estruturada $\pi(x) = -R(x)^{-1}S(x)^\top x$ que garante estabilidade se desigualdades matriciais específicas (envolvendo $\Delta(x) = S(x)R(x)^{-1}S(x)^\top - Q(x)$) forem definidas positivas.
   • Otimalidade: Os autores provam que esta lei de controle estruturada é a solução ótima para um problema de controle ótimo de horizonte infinito. O funcional de custo associado é derivado das funções de armazenamento e taxa de suprimento aprendidas. Além disso, eles mostram que, se condições de regularidade adicionais forem atendidas, o funcional de custo torna-se uma forma quadrática não linear, permitindo que o controlador seja moldado em direção a objetivos específicos definidos pelo usuário.

2. Algoritmo de Aprendizado (Síntese Indutiva Guiada por Contraexemplos):

   • Parametrização Neural: A função de armazenamento $V(x)$ e as funções matriciais $Q(x), S(x), R(x)$ são parametrizadas por redes neurais de alimentação direta (feed-forward).
   • Redução de Dimensionalidade: Uma contribuição técnica fundamental é uma reformulação da condição de dissipatividade. Em vez de amostrar sobre o espaço conjunto estado-entrada (o que é difícil para entradas de alta dimensão), os autores derivam uma condição (Proposição 8) que depende apenas do espaço de estados $x$. Isso envolve uma desigualdade matricial $M(x) \succ 0$ derivada via complemento de Schur, reduzindo significativamente a dimensionalidade da amostragem.
   • Loop de Treinamento: O treinamento emprega uma abordagem híbrida:
     • Aprendiz (Learner): Otimiza os parâmetros da rede neural usando funções de perda derivadas das condições de dissipatividade (positividade definida de $V$, $R$ e $\Delta$, e a desigualdade matricial $M$).
     • Verificador (Verifier): Utiliza solvers de Satisfatibilidade de Teorias Modais (especificamente o dReal) e Gradiente Projetado (PGD) para verificar formalmente as condições sobre a região de interesse.
     • Contraexemplos: Se o verificador encontrar uma violação, o contraexemplo é adicionado ao conjunto de treinamento para refinar as redes neurais. Este loop continua até que as garantias formais sejam satisfeitas.

Principais Contribuições

• Framework Inovador: Um novo método para projetar controladores neurais que fornece garantias prováveis de estabilidade e otimalidade de horizonte infinito ao aprender a dissipatividade de entrada-saída.
• Garantias Teóricas: Prova de que a lei de controle derivada estabiliza qualquer sistema que compartilhe a mesma propriedade de dissipatividade e é a solução ótima para um problema de controle ótimo com um funcional de custo aprendido.
• Redução de Dimensionalidade: Uma reformulação da condição de dissipatividade que reduz o espaço de amostragem do produto estado-entrada para o espaço de estados sozinho, tornando o aprendizado de sistemas de múltiplas entradas mais eficiente.
• Modelagem de Custo (Cost Shaping): Um mecanismo para moldar o funcional de custo aprendido para corresponder aos objetivos definidos pelo usuário, unindo a otimalidade teórica e o desempenho prático.

Resultados Experimentais
O framework foi validado em três ambientes de referência: um Circuito Elétrico, um Pêndulo Invertido (controle estático e dinâmico) e uma Barra sobre um Carrinho (Rod on a Cart).

• Baselines: O método foi comparado com Funções de Lyapunov de Controle Neural (NCLF), Neural ODEs (NODE) e uma variante sem modelagem de custo (OURS-NCFS).
• Estabilidade: Ao contrário do NODE, que falhou em estabilizar o sistema em alguns cenários apesar de custos de treinamento menores, o método proposto forneceu garantias de estabilidade formal verificadas pelo dReal.
• Otimalidade: O método proposto (OURS) alcançou consistentemente custos cumulativos menores que o NCLF e, em vários casos (ex: Circuito Elétrico, Pêndulo Invertido), igualou ou superou o NODE enquanto mantinha a estabilidade.
• Caso Linear: No experimento do Circuito Elétrico (um sistema linear), o controlador aprendido replicou com sucesso a solução teórica do Regulador Quadrático Linear (LQR), demonstrando a capacidade do framework de recuperar soluções ótimas conhecidas.

Significância e Alegações
O artigo alega que sua principal significância reside na unificação de garantias de estabilidade e otimalidade dentro de um framework de aprendizado. Ao alavancar a teoria da dissipatividade, os autores argumentam que sua abordagem supera as limitações do treinamento puramente baseado em trajetórias (que carece de garantias de horizonte infinito) e do aprendizado tradicional baseado em Lyapunov (que frequentemente carece de certificados explícitos de otimalidade). A capacidade de aprender diretamente as funções de taxa de suprimento e de armazenamento permite que o controlador herde propriedades de otimalidade que podem ser moldadas em direção a objetivos específicos definidos pelo usuário. Os autores observam que, embora o aprendizado dessas funções sob restrições rígidas permaneça desafiador, sua reformulação e síntese guiada por verificação fornecem um caminho robusto para o controle neural seguro e ótimo.