Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

Resumo Técnico: Aprendizado de Controlador Ótimo Local para uma Classe de Sistemas Não Lineares via Exploração Supervisionada por Impulsos

Formulação do Problema
O artigo aborda o desafio de aprender políticas de controle ótimo para uma classe de sistemas não lineares de segunda ordem utilizando Programação Dinâmica Aproximada (ADP) em tempo contínuo. Embora a ADP e o Aprendizado por Reforço (RL) ofereçam estruturas poderosas para resolver problemas de controle ótimo aproximando a solução da equação de Hamilton-Jacobi-Bellida (HJB), existe um gargalo crítico para sistemas não lineares: a necessidade de persistência de excitação (PE).

Na ADP em tempo contínuo, a PE é necessária para garantir a convergência dos pesos da rede neural do crítico para seus valores ideais. No entanto, impor a PE tipicamente induz grandes desvios no estado. Para sistemas não lineares, tais desvios são problemáticos porque a função de valor ótima é frequentemente aproximada por uma linearização local da dinâmica. Se a trajetória do estado for levada para longe demais do equilíbrio pelo sinal de excitação, a aproximação linear local torna-se inválida, o que pode levar à instabilidade do sistema ou ao "escape finito", onde a trajetória deixa a região de validade. Métodos existentes como o aprendizado concorrente dependem de dados offline ricos, que nem sempre estão disponíveis. O objetivo deste trabalho é aprender uma política de controle localmente ótima para o modelo linearizado dentro de uma vizinhança onde a aproximação linear é válida, restringindo estritamente a trajetória do estado.

Metodologia
Os autores propõem uma estrutura de exploração confinada supervisionada por impulsos que integra a ADP em tempo contínuo com uma camada supervisora de controle impulsivo. A metodologia central envolve os seguintes componentes:

1. Modelo do Sistema e Linearização Local: O sistema é modelado como $\dot{x} = F(x) + G(x)u$, onde o termo de deriva $F(x)$ é decomposto em uma parte linear $Ax$ e termos não lineares de ordem superior $\phi(x)$. O objetivo de controle é aprender a política ótima para a aproximação LTI (Tempo-Invariante Linear) local $\dot{x} = Ax + Bu$ dentro de uma pequena vizinhança $S_1$ da origem.
2. Estrutura ADP: Uma rede neural crítica aproxima a função de valor ótima $J^*(x) \approx \hat{W}^T \sigma(x)$. Os pesos $\hat{W}$ são atualizados online usando uma lei de gradiente normalizada para minimizar o resíduo de Bellman. Um sinal de excitação persistente $u_{PE}$ é adicionado à entrada de controle para satisfazer a condição de PE necessária para a convergência dos pesos.
3. Camada Supervisora Impulsiva: Para evitar que o estado saia da região válida $S_1$ devido ao sinal de excitação, a estrutura emprega entradas de frenagem impulsivas. Essas entradas são modeladas como funções delta de Dirac aplicadas em instantes de tempo específicos $t = \tau_k$.
   • Mecanismo: A entrada impulsiva atua instantaneamente sobre o estado de velocidade ($x_2$), resetando-o para zero ($x_2^+ = 0$) enquanto deixa o estado de posição ($x_1$) inalterado.
   • Efeito: Esta ação de "frenagem" reduz o valor de uma função de Lyapunov $V(x) = x_1^2 + x_2^2$, garantindo que o estado pós-salto permaneça dentro do conjunto confinado $S_1$.
4. Formulação de Autômato Híbrido: O sistema de malha fechada é modelado como um autômato híbrido com quatro modos discretos:
   • $q_1, q_2$: Evolução contínua com controle ADP ativo e adaptação de pesos (dentro do conjunto interno $S_2$ e no anel externo $S_1 \setminus S_2$, respectivamente).
   • $q_3$: Regime de fronteira onde a trajetória atinge $\partial S_1$.
   • $q_4$: Fase de recuperação pós-frenagem onde o controle e a adaptação de pesos são suspensos, e o sistema evolui autonomamente sob dinâmica não forçada até reentrar em $S_2$.
   • Transições: Guardas disparados pelo estado determinam quando ocorre a frenagem impulsiva (quando a trajetória atinge $\partial S_1$ com velocidade externa) e quando o sistema alterna entre modos de aprendizado ativo e recuperação.

Principais Contribuições

• Exploração Supervisionada por Impulsos: O artigo introduz um mecanismo inovador onde a frenagem impulsiva atua como uma restrição supervisora para impor invariância de conjunto. Diferente do RL com restrição de segurança que frequentemente impõe restrições rígidas sobre as entradas de controle, esta abordagem utiliza resets discretos para confinar o estado, permitindo uma excitação agressiva necessária para o aprendizado sem violar a validade local do modelo linear.
• Dinâmica Híbrida para Aprendizado: O trabalho estabelece uma estrutura teórica combinando ADP em tempo contínuo com resets impulsivos disparados pelo estado. Prova-se que o sistema híbrido resultante de malha fechada torna o conjunto de exploração confinada $S_1$ positivamente invariante.
• Garantias Teóricas: Os autores fornecem uma prova de que o mapa de frenagem impulsiva é não-expansivo em relação à função de Lyapunov, garantindo que o estado nunca escape de $S_1$. Além disso, argumentam que o tempo entre impulsos consecutivos é limitado por um valor positivo, descartando o fenômeno de Zeno.

Resultados de Simulação
A estrutura proposta foi validada em um sistema mecânico não linear (um sistema massa-mola-amortecedor com não linearidades cúbicas).

• Confinamento: Os resultados de simulação demonstram que a trajetória do estado permanece estritamente confinada dentro do conjunto $S_1$ durante todo o processo de aprendizado. Sempre que a trajetória se aproximava da fronteira devido ao sinal de excitação, a frenagem impulsiva era acionada, resetando a velocidade e puxando o estado de volta para o interior.
• Convergência: Os pesos do crítico convergiram para valores que se aproximam dos pesos ótimos derivados da equação de Riccati algébrica para o modelo linear local. Os pesos permaneceram constantes durante as fases de recuperação (modo $q_4$) e foram atualizados durante as fases de exploração.
• Comparação: Uma simulação comparativa sem a camada supervisora impulsiva mostrou que a trajetória deixou a região de validade linear, levando à instabilidade do sistema e ao escape finito, destacando assim a necessidade do mecanismo de confinamento.

Significância e Alegações
O artigo afirma que esta abordagem consegue unir a necessidade de excitação persistente em ADP com o requisito de validade local em controle não linear. Ao confinar a exploração a uma vizinhança onde a aproximação linear é válida, o método permite o aprendizado de um controlador localmente ótimo que, de outra forma, seria inalcançável devido ao risco de grandes desvios de estado.

Os autores observam modestamente que o trabalho atual assume o conhecimento da dinâmica linear local e que as entradas impulsivas são idealizadas. Eles identificam como direções futuras a extensão da estrutura para cenários sem modelo (model-free), sistemas de maior dimensão e validação experimental utilizando aproximações práticas de entradas impulsivas (ex: feedback de alto ganho ou freios solenoides). O trabalho distingue-se do "RL seguro" ao focar especificamente no confinamento para validade de aprendizado, em vez de restrições de segurança gerais, utilizando o controle impulsivo como uma ferramenta supervisora específica para este fim.