Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

Resumo Técnico: Relearn LQR

1. Problema Investigado

O artigo aborda o problema de controle ótimo Linear Quadrático (LQR) em sistemas lineares com dinâmica desconhecida (matrizes de estado $A^\star$ e entrada $B^\star$ não são conhecidas). O desafio central é desenvolver uma estratégia de aprendizado e controle baseada em dados que seja:

• On-policy (Em política): O controlador é aplicado ao sistema real enquanto é iterativamente otimizado, utilizando dados gerados pela própria política atual (diferente de métodos off-policy que usam dados históricos independentes).
• Com Certificados de Estabilidade: A maioria das abordagens baseadas em dados foca na convergência do custo ou no "regret" (arrependimento), mas falha em fornecer garantias formais de estabilidade para o sistema de malha fechada inteiro, que inclui a dinâmica do sistema, o processo de aprendizado (identificação) e o processo de otimização (atualização do ganho).

O objetivo é projetar um esquema que aprenda simultaneamente os parâmetros do sistema e o ganho de controle ótimo, garantindo que o sistema permaneça estável durante todo o processo de adaptação.

2. Metodologia: Relearn LQR

Os autores propõem um algoritmo chamado Relearn LQR (REcursive LEARNing policy gradient for LQR), que integra três processos em um único esquema de malha fechada:

1. Coleta de Dados e Excitação:

   • O sistema real é atuado com uma lei de controle de realimentação de estado atual: $u_t = K_t x_t + d_t$.
   • Um sinal de dithering (perturbação de excitação) $d_t$ é adicionado intencionalmente para garantir a Persistência de Excitação (PE), essencial para a identificação precisa dos parâmetros. Este sinal é gerado por um oscilador exógeno.
   • Amostras de estado e entrada $(x_t, u_t)$ são coletadas em tempo real.

2. Processo de Aprendizado (Identificação):

   • Utiliza um mecanismo de Mínimos Quadrados Recursivos (RLS) para reconstruir progressivamente as matrizes desconhecidas $(A^\star, B^\star)$.
   • O parâmetro estimado $\theta_t = [A_t \ B_t]^\top$ é atualizado iterativamente com base nos novos dados coletados.

3. Processo de Otimização (Controle):

   • Utiliza um método de Gradiente de Política Direta.
   • O ganho de controle $K_t$ é atualizado usando o gradiente da função de custo LQR, mas calculado com base nas matrizes estimadas $(A_t, B_t)$ em vez das verdadeiras.
   • A atualização segue a regra: $K_{t+1} = K_t - \gamma \nabla_K J(K_t, \theta_t)$.

Estrutura do Sistema:
O esquema é modelado como um sistema dinâmico não-linear interconectado com duas escalas de tempo:

• Dinâmica Rápida: Evolução do estado do sistema e das matrizes de covariância do RLS (que convergem rapidamente para um equilíbrio dependente do sinal de dither).
• Dinâmica Lenta: Evolução do ganho de controle $K_t$ e da estimativa de parâmetros $\theta_t$.

3. Contribuições Principais

• Esquema On-Policy com Estabilidade Formal: Diferente de abordagens off-policy ou métodos que exigem reinicialização do sistema para testes, o Relearn LQR opera online no sistema real. A principal contribuição é a prova formal de estabilidade exponencial para todo o sistema interconectado (aprendizado + controle + dinâmica).
• Análise via Teoria de Média (Averaging Theory): Os autores utilizam a teoria de sistemas de duas escalas de tempo e a teoria de média para analisar a estabilidade. Eles demonstram que o sistema original pode ser aproximado por um "sistema médio" (averaged system) que possui um equilíbrio exponencialmente estável.
• Convergência Exata: O método garante não apenas que o sistema se estabilize, mas que converge exponencialmente para:
  1. O ganho de controle ótimo $K^\star$.
  2. A estimativa exata das matrizes do sistema $(A^\star, B^\star)$.
  3. Um estado que oscila em torno da origem com amplitude controlável pelo sinal de dither.
• Adaptabilidade a Mudanças: O esquema é projetado para lidar com parâmetros variantes no tempo e perturbações, restaurando a optimalidade dinamicamente sem necessidade de reiniciar o processo de aprendizado.

4. Resultados e Simulações

A eficácia do método foi validada através de simulações numéricas em um problema de controle de aeronave (dinâmica longitudinal de uma aeronave altamente manobrável):

• Cenário Nominal: O algoritmo foi aplicado a um sistema com parâmetros fixos. Os resultados mostraram a convergência exponencial do erro de custo e do erro de estimação de parâmetros para zero. O estado do sistema estabilizou-se oscilando em torno da origem devido ao sinal de dither.
• Cenário com Parâmetros Variáveis (Drifting): Foi simulado um cenário onde as matrizes do sistema mudam suavemente ao longo do tempo (usando uma função sigmoidal).
  • O algoritmo demonstrou capacidade de rastreamento adaptativo.
  • Quando os parâmetros mudaram, os erros aumentaram temporariamente, mas o sistema se adaptou rapidamente, retornando à convergência para o novo ótimo e novas matrizes verdadeiras, sem necessidade de reinicialização.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica na literatura de controle baseado em dados e Aprendizado por Reforço (RL):

• Segurança em Tempo Real: A maioria dos métodos de RL on-policy não oferece garantias de estabilidade para o sistema físico durante o aprendizado, o que é arriscado em aplicações críticas (como aviação ou robótica). O Relearn LQR fornece um "certificado de estabilidade".
• Integração de Tarefas: Ao contrário de abordagens que separam fases de identificação e controle, este método funde as tarefas, permitindo que o controle e o aprendizado ocorram simultaneamente de forma segura.
• Fundamento Teórico Robusto: A aplicação rigorosa da teoria de Lyapunov e da teoria de média para sistemas não-lineares interconectados estabelece um novo padrão para a análise de estabilidade em algoritmos de controle adaptativo baseados em dados.

Em resumo, o artigo apresenta uma solução teoricamente fundamentada e praticamente eficaz para controlar sistemas lineares desconhecidos de forma segura e otimizada, sendo particularmente relevante para aplicações onde a estabilidade do sistema durante o aprendizado é inegociável.