Learned Lyapunov Shielding for Adaptive Control

Resumo Técnico: Certificados de Lyapunov Aprendidos para Aprendizado por Reforço Residual Seguro em Sistemas de Euler–Lagrange

Enunciado do Problema
Controladores adaptativos para sistemas de Euler–Lagrange, como o clássico controlador Slotine–Li, dependem da propriedade linear nos parâmetros da dinâmica de corpos rígidos e do conhecimento a priori dos termos de massa, Coriolis e gravidade. No entanto, sistemas robóticos práticos frequentemente exibem não linearidades não modeladas (por exemplo, histerese de atrito, elasticidade nas juntas, efeitos de corpo mole) que resistem a uma parametrização limpa. Embora o Aprendizado por Reforço (RL) ofereça um caminho para aprender esses resíduos, o RL padrão carece de garantias formais de estabilidade e frequentemente falha em convergir quando aplicado a tarefas de controle críticas para a segurança. Abordagens existentes para funções de Lyapunov aprendidas frequentemente dependem de arquiteturas neurais genéricas (por exemplo, MLPs com ativações tanh) que requerem verificação post-hoc ou otimização complexa para garantir a positividade definida, levando frequentemente a filtros de segurança inviáveis durante a implantação.

Metodologia
Os autores propõem um framework que amplia o controlador adaptativo Slotine–Li com três componentes aprendidos, integrados a uma política Soft Actor–Critic (SAC) com restrições:

1. Função de Lyapunov Quadrática Estruturada ($V_\psi$): Em vez de uma rede neural genérica, o candidato a Lyapunov é parametrizado como $V_\psi(x) = x^\top P_\psi(x) x$, onde $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$. Aqui, $L_\psi$ é um MLP triangular inferior. Esta parametrização de Cholesky garante a positividade definida por construção.
2. Política Residual SAC: Um agente Soft Actor–Critic aprende um torque residual limitado $\Delta \tau$ para corrigir a linha de base analítica Slotine–Li. A política é treinada para maximizar a recompensa (desempenho de rastreamento) sujeita a uma restrição sobre a violação da diminuição de Lyapunov.
3. Rede Neural Informada pela Física (PINN): Uma rede $f_\theta$ estima dinâmicas não modeladas (resíduos) e é treinada via uma perda de física que impõe a estrutura da equação de Euler–Lagrange. Este modelo é usado para estimar o campo de deriva para o filtro de segurança.

Filtro de Segurança e Mecanismo de Estabilidade
A inovação central é um filtro de segurança de forma fechada derivado da única restrição afim $\dot{V}_\psi + \alpha V_\psi \leq 0$. Como a dinâmica do sistema é afim no controle ($\dot{x} = h(x) + g(x)\tau$) e $V_\psi$ é quadrática, a restrição torna-se linear em $\tau$ ($b(x)^\top \tau \leq c(x)$).

• Projeção de Forma Fechada: O filtro projeta qualquer saída bruta da política $\tau_{raw}$ no semiespaço seguro através de uma simples projeção euclidiana, evitando a necessidade de solucionadores de Programação Quadrática (QP) online.
• Condição de Viabilidade: O artigo prova que este filtro é globalmente viável se uma "condição de decaimento de deriva" valer no conjunto $Z$ onde a autoridade de controle desaparece ($b(x)=0$). Especificamente, a dinâmica de deriva natural já deve ser decrescente em Lyapunov neste conjunto.
• Robustez: Uma versão robusta do filtro incorpora o erro de aproximação da PINN ($\delta$) e o limite do gradiente de $V_\psi$ ($L_V$) para garantir estabilidade mesmo quando o modelo de dinâmicas aprendido é imperfeito.

Principais Contribuições
O artigo estabelece cinco contribuições teóricas e empíricas:

1. Viabilidade de Forma Fechada: A parametrização quadrática estruturada produz um QP de restrição única com solução de forma fechada. Os autores provam a viabilidade global sob uma condição de decaimento de deriva verificável (Teorema 4).
2. Garantias de Estabilidade: Estabilidade exponencial é provada sob proteção exata. Uma extensão robusta é fornecida onde a margem de estabilidade depende explicitamente do erro de aproximação da PINN (Teorema 13).
3. Convergência: As atualizações conjuntas da política, certificado de Lyapunov e multiplicador de Lagrange são mostradas a convergir quase certamente para um ponto KKT usando um esquema de aproximação estocástica de três escalas de tempo (Teorema 10).
4. Generalização: Um limite de generalização PAC (Provavelmente Corretamente Aproximado) é derivado, certificando a função de Lyapunov aprendida sobre conjuntos compactos com base em amostras finitas (Proposição 14).
5. Validação Empírica: Experimentos extensivos em um manipulador de 2-DOF e um Franka Emika Panda de 7-DOF demonstram a eficácia e escalabilidade do framework.

Resultados Experimentais

• Manipulador de 2-DOF: Em um sistema com atrito não linear e carga variável, o certificado de Lyapunov aprendido foi identificado como a principal fonte de ganho de desempenho. Comparado à linha de base analítica Slotine–Li, o método proposto reduziu o erro de rastreamento em 41% sob atrito nominal e 24% sob atrito agressivo no centróide da distribuição de treinamento. Estudos de ablação confirmaram que o certificado aprendido ($V_\psi$) forneceu ganhos significativamente maiores do que a PINN ou a política SAC isoladamente.
• Escalabilidade de 7-DOF: Um estudo em um Franka Panda de 7-DOF (espaço de estado de 35 dimensões) confirmou que o pipeline completo (PINN baseada em Transformer, $V_\psi$ estruturada, escudo de forma fechada) converge limpa em escala industrial. Quando comparado a uma linha de base de Torque Computado exata (que tem acesso às dinâmicas verdadeiras), o framework alcançou rastreamento dentro de 1,7% da linha de base, confirmando que atua como um filtro de segurança certificado em vez de um impulsionador de desempenho quando a linha de base já é ótima.
• Modos de Falha: O estudo identificou uma "patologia de inicialização quente" onde um certificado treinado sob uma estrutura de recompensa específica torna-se adversarial a novos objetivos de recompensa, necessitando de inicialização fresca. Também notou instabilidade numérica perto de estados onde $\nabla V_\psi \approx 0$, exigindo um mecanismo de controle para prevenir amplificação de torque.

Significado e Alegações
O artigo alega que a parametrização quadrática estruturada é a escolha de design central que habilita todo o framework. Ao garantir positividade definida por construção, permite um filtro de segurança de forma fechada computacionalmente eficiente que garante viabilidade sem otimização online. O trabalho demonstra que componentes aprendidos podem ser integrados ao controle adaptativo clássico para lidar com dinâmicas não modeladas, mantendo garantias rigorosas de estabilidade. Os autores enfatizam que o valor do framework reside no aprendizado conjunto da política, certificado e resíduo de dinâmicas sob restrições formais de segurança, em vez de em qualquer componente isolado. Os resultados sugerem que tais frameworks são praticamente utilizáveis em diversas escalas de manipuladores, desde que a linha de base analítica não seja já perfeita e a distribuição de treinamento cubra a faixa operacional.