Resumo Técnico: Margens de Estabilidade de Controladores de Redes Neurais

Declaração do Problema

Controladores de redes neurais (NN) padrão treinados via aprendizado por reforço (RL) frequentemente carecem de garantias quanto à estabilidade em malha fechada, o que limita sua implementação em domínios críticos de segurança, como o aeroespacial, onde órgãos reguladores exigem métricas de robustez específicas. Embora trabalhos recentes tenham abordado a verificação e síntese de controladores de NN para estabilidade assintótica, há uma lacuna em métodos que possam treinar controladores de NN para maximizar recompensas de desempenho enquanto aderem estritamente aos requisitos clássicos de robustez, especificamente as margens de disco.

O artigo aborda o problema de otimização restrita de treinar um controlador de rede neural $K$ para maximizar uma recompensa cumulativa esperada sobre uma trajetória, sujeito à restrição de que o sistema em malha fechada permaneça estável para uma classe de plantas $\mathcal{M}_\alpha$. Esta classe representa uma planta Linear Invariante no Tempo (LTI) nominal interconectada com incertezas (tanto LTI quanto não lineares) limitadas por uma margem de disco $D(\alpha, \sigma)$. A margem de disco é escolhida porque considera variações simultâneas de ganho e fase, oferecendo uma garantia de robustez mais rigorosa do que as margens clássicas de ganho e fase isoladamente.

Metodologia

1. Modelagem do Sistema

Os autores modelam a arquitetura de controle como uma interconexão de uma planta LTI nominal e um controlador de rede neural, ambos sujeitos a blocos de incerteza.

• Planta: A planta nominal é LTI. A incerteza é modelada como um bloco multiplicativo de entrada $H_{\Delta p}$, onde a incerteza $\Delta_p$ é limitada em norma $L_2$ por $\alpha$.
• Controlador: A rede neural é modelada como uma Rede Neural Implícita Recorrente (RINN). Ela consiste em um sistema LTI $G_k$ interconectado com funções de ativação estáticas e elemento a elemento $\phi$ (ex: tanh, ReLU). Esta formulação permite que o controlador possua memória (dinâmica) e abrange várias arquiteturas, incluindo redes feedforward e residuais.
• Caracterização da Incerteza: Tanto a incerteza da planta $\Delta_p$ quanto as funções de ativação do controlador $\phi$ são caracterizadas usando Restrições Quadráticas Integrais (IQCs). A incerteza $\Delta_p$ satisfaz uma IQC de limite de setor relacionada à sua norma $L_2$, enquanto as funções de ativação satisfazem IQCs de setor e de restrição de inclinação.

2. Certificação de Estabilidade

A principal contribuição teórica é uma condição para certificar que um controlador RINN específico satisfaz a margem de disco $D(\alpha, \sigma)$.

• O sistema em malha fechada é reformulado como um sistema LTI interconectado com um bloco de incerteza composto contendo $\Delta_p$ e $\phi$.
• Utilizando uma abordagem de função de Lyapunov combinada com a teoria de IQC, os autores derivam uma condição de Desigualdade Matriz Linear (LMI) (Lema 3.1). Esta condição envolve encontrar uma matriz $X$ definida positiva e matrizes multiplicadoras diagonais $\Lambda_p$ e $\Lambda_k$ de modo que uma desigualdade matricial específica seja satisfeita.
• A aplicação direta desta LMI para treinamento é computacionalmente intratável porque a desigualdade é bilinear nos parâmetros do controlador $\theta$ e na matriz de Lyapunov $X$.

3. Algoritmo de Treinamento com Projeção

Para sintetizar um controlador que maximize a recompensa enquanto satisfaz a restrição de estabilidade, os autores propõem um algoritmo de treinamento iterativo (Algoritmo 1) que alterna entre duas etapas:

1. Etapa de Aprendizado por Reforço: Uma etapa padrão de RL (ex: Otimização de Política Próxima - PPO) atualiza os parâmetros do controlador $\theta$ para maximizar a recompensa. Os parâmetros resultantes $\theta'$ podem violar a margem de estabilidade.
2. Etapa de Imposição da Margem de Estabilidade: Se $\theta'$ não satisfizer a margem, ele é projetado de volta para o conjunto de controladores estabilizadores.
   • Para tornar esta projeção convexa, os autores utilizam uma mudança de variáveis (inspirada em [8]) para transformar os parâmetros do controlador $\theta$ e a matriz de Lyapunov $X$ em novas variáveis $\hat{\theta}$ (incluindo matrizes $S, R, N_A, \dots$).
   • Neste espaço transformado, a condição de estabilidade torna-se afim em $\hat{\theta}$, permitindo que a projeção seja formulada como um Programa Semidefinido (SDP).
   • O algoritmo resolve um SDP para encontrar o $\hat{\theta}$ válido mais próximo de $\hat{\theta}'$, então reconstrói os parâmetros do controlador $\theta$ a partir da solução.
   • O algoritmo também alterna o multiplicador $\Lambda_p$ para reduzir o conservadorismo, tentando certificar a margem diretamente antes de recorrer à projeção total caso a certificação falhe.

Principais Contribuições

• Estrutura de Treinamento: Um novo método para treinar controladores de redes neurais que impõe explicitamente restrições de margem de disco durante o processo de aprendizado por reforço.
• Formulação Matemática: A derivação de condições LMI para a certificação de margem de disco de controladores RINN usando IQCs para a incerteza da planta e as funções de ativação.
• Projeção Convexa: O desenvolvimento de uma etapa de projeção computacionalmente tratável via mudança de variáveis e SDP, permitindo a imposição de restrições de estabilidade não convexas dentro de um loop de treinamento baseado em gradiente.
• Generalização: A abordagem estende-se para além de controladores estáticos para controladores dinâmicos (recorrentes) e lida com incertezas descritas por IQCs, cobrindo tanto dinâmicas LTI quanto não lineares variantes no tempo.

Resultados Experimentais

O método foi avaliado em uma simulação de uma haste flexível sobre um carrinho, um sistema com dinâmica complexa.

• Comparadores: O método proposto (SM-RINN) foi comparado contra:
  • Uma Rede Neural Recorrente Implícita não restrita (U-RINN).
  • Uma Rede Neural Totalmente Conectada (FCNN) padrão.
  • Um controlador LTI treinado com as mesmas restrições de estabilidade.
• Restrições: Todos os controladores restritos (SM-RINN e LTI) foram exigidos a satisfazer uma margem de disco com $\alpha = 0.353$ e $\sigma = 0$, correspondendo a limites inferiores de 3 dB de margem de ganho e 20° de margem de fase.
• Desempenho:
  • Os controladores não restritos (U-RINN e FCNN) alcançaram as maiores recompensas (~3000), mas não oferecem garantias de estabilidade.
  • O SM-RINN restrito alcançou uma recompensa de aproximadamente 2250.
  • O controlador LTI restrito alcançou a menor recompensa (~1500).
• Compromisso (Trade-off): Os resultados demonstram o típico compromisso entre desempenho e robustez. No entanto, o SM-RINN superou significativamente o controlador LTI restrito (uma melhoria de ~50% na recompensa) enquanto mantinha exatamente as mesmas garantias de robustez.

Significância e Alegações

O artigo afirma que este método permite o uso de redes neurais em aplicações críticas de segurança onde agências reguladoras exigem margens de estabilidade. Ao integrar restrições de robustez diretamente no loop de treinamento via projeção SDP, os autores mostram que controladores de NN podem alcançar métricas de desempenho (recompensa) superiores aos controladores lineares tradicionais, satisfazendo simultaneamente os mesmos requisitos rigorosos de robustez. O trabalho preenche a lacuna entre a flexibilidade do aprendizado profundo e as garantias de segurança exigidas pela teoria de controle clássica.