Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

Resumo Técnico: Filtros de Barreira de Controle Koopman Robustos para Aprendizado por Reforço Actor-Critic Seguro

Declaração do Problema
O aprendizado por reforço (RL) seguro para sistemas robóticos enfrenta uma tensão fundamental: melhorar o desempenho da tarefa enquanto satisfaz estritamente as restrições de estado e entrada durante tanto o treinamento quanto a implantação. Embora as Funções de Barreira de Controle (CBFs) ofereçam um mecanismo principiado para impor invariância forward através de filtros de segurança minimamente invasivos, sua aplicação em RL sem modelo é dificultada pela exigência de dinâmicas do sistema precisas e certificados de barreira projetados manualmente. Os métodos existentes de RL com restrições frequentemente fornecem apenas garantias de custo cumulativo esperado em vez de segurança ponto a ponto, e penalidades de recompensa carecem de garantias passo a passo. Os autores abordam o desafio de combinar a eficiência amostral do RL profundo off-policy com um filtro de segurança CBF orientado a dados que permaneça convexo para sistemas não lineares, especificamente levando em conta os erros de aproximação inerentes aos modelos Koopman de dimensão finita.

Metodologia: SAC Koopman-CBF Robusto
O artigo propõe o SAC Koopman-CBF Robusto, um framework actor-critic filtrado por segurança que integra três componentes principais:

1. Elevação Koopman Orientada a Dados: O método aprende um preditor Koopman de dimensão finita a partir de dados de execução offline usando Decomposição de Modo Dinâmico Estendida (EDMD). As dinâmicas não lineares são elevadas para um espaço de observáveis $\psi(x)$ onde a evolução é aproximadamente linear: $z_{t+1} \approx Az_t + Bu_t$. O dicionário $\psi$ inclui coordenadas de estado originais e Funções de Base Radial (RBFs) para garantir que as restrições físicas possam ser representadas como funções afins no espaço elevado.
2. Restrições CBF Elevadas Robustas: Para lidar com o erro de aproximação do modelo de dimensão finita, os autores introduzem uma margem de resíduo projetado ($\rho$). Em vez de limitar a norma do resíduo completo, eles estimam o componente do erro de previsão que afeta diretamente a desigualdade da barreira ($|c^\top r|$) usando um conjunto de calibração retido. Essa margem é computada via quantis empíricos ou conformais. A condição de segurança é reforçada para:
   $$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$$
   Isso resulta em uma restrição afim na entrada de controle, permitindo que o filtro de segurança seja implementado como um Programa Quadrático (QP) leve.
3. Integração Actor-Critic: O framework modifica o algoritmo padrão Soft Actor-Critic (SAC) para resolver a incompatibilidade entre ações nominais e executadas:
   • Treinamento do Crítico: O crítico é treinado na ação segura executada ($u^{safe}_t$) gerada pelo filtro QP, garantindo que as estimativas de valor reflitam as dinâmicas de malha fechada reais.
   • Regularização do Actor: O actor recebe uma penalidade diferenciável de proposta CBF ($\ell_{cbf}$) que o encoraja a propor ações já dentro do conjunto viável, reduzindo a dependência do filtro ao longo do tempo.
   • Tratamento de Folga: O QP inclui variáveis de folga para manter a viabilidade numérica sob limites de atuadores, embora os autores observem que folga positiva enfraquece certificados de segurança formais.

Principais Contribuições

1. Formulação de Filtro Robusto: Introdução de um filtro de segurança Koopman-CBF robusto para RL actor-critic sem modelo que eleva dinâmicas não lineares para um sistema aproximadamente linear e impõe segurança através de uma restrição QP afim.
2. Margem de Resíduo Projetado: Um método novel para estimar o erro do modelo Koopman de dimensão finita usando uma margem de resíduo projetado derivada de dados de calibração, produzindo uma condição CBF discreta robusta diretamente implementável.
3. Treinamento Actor-Critic Consistente: Integração do filtro com SAC usando aprendizado de crítico baseado em ações executadas e uma penalidade de viabilidade no lado do actor, eliminando a incompatibilidade comum onde a política otimiza para ações não filtradas enquanto as transições do ambiente são geradas por ações filtradas.
4. Diagnósticos Empíricos: Uma avaliação abrangente demonstrando que a margem de resíduo projetado $\rho$ serve como um diagnóstico computável pré-treinamento para a eficácia do filtro.

Resultados Experimentais
O método foi avaliado no Safe-Control-Gym (CartPole, Quadrotor 2D) e no Safety Gymnasium (Walker, HalfCheetah).

• Tarefas de Baixa Dimensionalidade (CartPole & Quadrotor): Na estabilização e rastreamento do CartPole, o SAC Koopman-CBF Robusto alcançou zero violações de restrição em todas as sementes, enquanto igualava ou superava os retornos do SAC sem restrições. No rastreamento do Quadrotor 2D, reduziu as violações em 96,8% (de 12,5% para 0,4%). Esses sucessos foram atribuídos a pequenas margens de resíduo projetado ($\rho \approx 10^{-3}$) e ao tratamento correto do grau relativo (usando barreiras compostas para o Quadrotor).
• Locomoção de Alta Dimensionalidade (Walker & HalfCheetah): Os resultados foram mistos, expondo limitações estruturais. No Walker, as violações foram reduzidas de 77,8% para 37,0%, mas o método foi superado pelo SAC+Lagrangiano (3,34% de violações). No HalfCheetah, as violações permaneceram altas (82,8%) com uma penalidade severa de desempenho (-70% de retorno).
• Análise de Falhas: Em tarefas de alta dimensionalidade e ricas em contato, a margem de resíduo projetado $\rho$ foi grande (0,698 para Walker, 1,782 para HalfCheetah). Esse grande erro fez com que a restrição CBF robusta se tornasse trivialmente satisfeita (quando o agente já estava inseguro) ou inviável sob limites de atuadores, tornando o filtro ineficaz. Os autores identificam que modelos lineares EDMD não conseguem capturar as transições de velocidade não suaves causadas pelo contato com o solo.

Significado e Alegações
O artigo alega que os filtros Koopman-CBF robustos fornecem uma ponte promissora entre RL sem modelo e segurança certificável, particularmente para tarefas onde o modelo elevado e a barreira se alinham bem com a estrutura do sistema. O significado primário reside na capacidade diagnóstica da margem de resíduo projetado $\rho$: é uma métrica pré-treinamento que prevê se um filtro Koopman-CBF será eficaz.

Os autores são modestos quanto à universalidade do método, afirmando explicitamente que a abordagem possui limitações estruturais em ambientes de alta dimensionalidade e ricos em contato, onde aproximações lineares de primeira ordem falham. Eles esclarecem que, embora o método ofereça segurança ponto a ponto quando $\rho$ é pequeno e o QP é viável, ele não garante segurança quando o erro residual domina a margem da barreira ou quando o grau relativo da barreira não corresponde. O trabalho destaca a necessidade de extensões Koopman de ordem superior ou multi-etapa para abordar essas limitações em tarefas complexas de locomoção.