LC-SAC: Lyapunov-Constrained Soft Actor-Critic via Koopman Operator Theory for Trajectory Tracking and Stabilization

Resumo Técnico: LC-SAC: Soft Actor-Critic com Restrição de Lyapunov via Teoria do Operador de Koopman

Definição do Problema
O Aprendizado por Reforço (RL) demonstrou sucesso em tomadas de decisão sequenciais complexas, mas enfrenta obstáculos significativos quando aplicado a sistemas físicos críticos para a segurança. Algoritmos de RL padrão priorizam a maximização da recompensa, frequentemente produzindo políticas que induzem oscilações ou divergência unbounded (sem limite) do estado devido a transientes impulsionados pela exploração e erros de aproximação de função. Embora métodos baseados em Lyapunov ofereçam uma rota fundamentada para a estabilidade, as abordagens existentes sofrem de limitações recorrentes: a dificuldade de construir funções de Lyapunov válidas em ambientes desconhecidos e de alta dimensão; a ineficiência de amostragem de aprendizado de Lyapunov on-policy; e a carga computacional de resolver projeções ou otimizações restritas a cada atualização de passo. Além disso, os certificados de Lyapunov aprendidos carecem frequentemente de garantias de validade global, e a imposição de restrições pode desestabilizar o aprendizado se não for implementada rigorosamente.

Metodologia
Os autores propõem o LC-SAC (Soft Actor-Critic com Restrição de Lyapunov), um framework que integra a Teoria do Operador de Koopman com RL off-policy para fornecer garantias de estabilidade sem treinar redes auxiliares de Lyapunov. A metodologia consiste em três componentes primários:

1. Aprendizado de Modelo Offline via EDMD:
   Em vez de aprender a dinâmica diretamente no espaço de estados original, o sistema aprende um substituto linear elevado da dinâmica do erro ($e_t = x_t - x_{ref,t}$) usando Decomposição de Modos Dinâmicos Estendida (EDMD). Um dicionário de observáveis (variáveis de estado combinadas com Funções de Base Radial) eleva a dinâmica não linear para um modelo de controle afim linear: $z_{t+1} \approx A z_t + B u_t$, onde $z = g(e)$.

2. Construção de CLF de Forma Fechada:
   Usando as matrizes $A$ e $B$ identificadas, os autores resolvem a Equação de Riccati Algébrica Discreta (DARE) para obter uma solução estabilizadora única $P \succ 0$. Isso gera uma Função de Lyapunov de Controle (CLF) quadrática de forma fechada: $V(z) = z^\top P z$. Para garantir que a CLF seja bem definida para modelos elevados de maior dimensão (especificamente quadrotors 3D e cartpoles), três refinamentos estruturais são introduzidos:

   • Normalização do raio espectral: Escalonamento da matriz $A$ se seu raio espectral $\rho(A) > 1$ para garantir a estabilidade antes de resolver a DARE.
   • Custo LQR fisicamente significativo: Definição dos custos de estado ($Q$) baseada em estados de erro físicos.
   • Âncora de viés de valor: Imposição de $V(0)=0$ subtraindo um termo de viés $V_{bias} = g(0)^\top P g(0)$, corrigindo centros de RBF não nulos na origem.

3. Otimização de Política Online com Restrição de CVaR:
   A atualização do ator SAC é aumentada com uma penalidade Lagrangiana que impõe a condição de decréscimo de Lyapunov. Em vez de penalizar a violação média, o método agrega a cauda do pior caso das violações usando um objetivo de Valor em Risco Condicional (CVaR) (visando os 25% superiores de violações). O loss do ator torna-se:
   $$L_\pi = J_{SAC} + \lambda (L_{CVaR}^v - \zeta)$$
   onde $L_{CVaR}^v$ é a média das piores violações de um passo de Lyapunov, $\lambda$ é uma variável dual atualizada via ascensão projetada, e $\zeta$ é uma tolerância. Isso concentra a pressão da restrição em eventos de instabilidade raros, porém severos.

Principais Contribuições

1. Nova Derivação de CLF: Uma metodologia para obter uma CLF de forma fechada via elevação Koopman/EDMD e DARE, incorporada como uma restrição Lagrangiana no SAC. Isso evita o treinamento de uma rede de Lyapunov auxiliar, reduzindo a complexidade computacional e melhorando a eficiência de dados.
2. Análise Teórica: Prova de que a atualização do ator restrita reduz localmente a violação de Lyapunov de um passo e que satisfazer a restrição implica estabilidade assintótica (ou exponencial, sob uma margem fortalecida) do sistema substituto elevado.
3. Refinamentos Estruturais: A introdução da normalização do raio espectral, custos LQR fisicamente significativos e uma âncora $V(0)=0$, que são mostrados como necessários para que a CLF de forma fechada funcione corretamente em modelos elevados de alta dimensão.
4. Estudo Empírico Abrangente: Avaliação em seis tarefas de benchmark (estabilização/rastreamento de quadrotor 2D/3D, estabilização/rastreamento de cartpole) comparando o LC-SAC contra o SAC vanilla, uma variante de agregação de média (LC-SAC-Mean) e um baseline de modelagem de recompensa baseada em potencial (Lyap-RS-SAC).

Resultos
Os experimentos, conduzidos no suite safe-control-gym, revelam um trade-off distinto entre estabilidade e desempenho:

• Tarefas de Estabilização: Em tarefas com setpoints fixos (ex: estabilização de cartpole), o LC-SAC e suas variantes igualam ou excedem o desempenho do SAC vanilla (até +25% de melhoria no cartpole) enquanto reduzem dramaticamente a variância entre as tentativas. Isso indica que a restrição previne a divergência catastrófica da política durante o treinamento.
• Tarefas de Rastreamento: Em tarefas de rastreamento de trajetória agressivas, a restrição de estabilidade incorre em um custo de retorno modesto (3–15% menor retorno médio comparado ao SAC vanilla) em troca de uma redução significativa na variância e um treinamento mais repetível.
• Descobertas de Ablação:
  • Restrição Hard vs. Modelagem de Recompensa: Substituir a restrição Lagrangiana "hard" pela modelagem de recompensa baseada em potencial (Lyap-RS-SAC) causa falha catastrófica em tarefas de quadrotor (até 94% de colapso no retorno), demonstrando que restrições hard são essenciais para dinâmicas de alta dimensão.
  • CVaR vs. Média: A agregação CVaR (LC-SAC) visa as violações do pior caso, resultando em perdas substitutas de pior caso menores, mas com pisos médios ligeiramente superiores em comparação com a variante de agregação de média (LC-SAC-Mean).
  • Correções Estruturais: Sem os refinamentos de EDMD propostos (normalização e ancoragem de viés), o loss de Lyapunov substituto para tarefas 3D era ilimitado (868 no passo 4000), bloqueando completamente o aprendizado. As correções reduziram isso para próximo de zero, permitindo o treinamento bem-sucedido.

Significância e Alegações
O artigo afirma que o LC-SAC fornece uma abordagem computacionalmente eficiente e teoricamente fundamentada para RL seguro, aproveitando as propriedades de linearização global dos operadores de Koopman para derivar certificados de estabilidade offline. O trabalho demonstra que:

1. Restrições de estabilidade podem ser efetivamente integradas ao RL off-policy sem a ineficiência de amostragem de aprender uma função de Lyapunov online.
2. Uma restrição Lagrangiana hard é superior à modelagem de recompensa para manter a estabilidade em sistemas complexos de alta dimensão.
3. Refinamentos estruturais no pipeline EDMD são críticos para estender métodos de CLF de forma fechada para sistemas de alta dimensão como quadrotores 3D.
4. A abordagem oferece um trade-off favorável, trocando um pequeno amount de desempenho de pico em tarefas de rastreamento agressivo por uma melhoria significativa na confiabilidade e robustez do treinamento.

Os autores observam que a atual CLF quadrática invariante no tempo é uma limitação para referências variantes no tempo agressivas, sugerindo que trabalhos futuros explorem designs de CLF variantes no tempo ou baseados em dados para fechar ainda mais a lacuna de desempenho em tarefas de rastreamento.