CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning

Resumo Técnico: CAPSULE (Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning)

1. O Problema

O aprendizado por reforço (RL) tradicional foca na maximização de recompensas acumuladas, o que frequentemente leva a comportamentos de exploração de alto risco. Em ambientes críticos para a segurança (como direção autônoma), a exploração insegura pode causar danos irreparáveis.

Os métodos atuais de Safe RL (RL Seguro) enfrentam dois grandes obstáculos:

• Garantias baseadas em expectativa: A maioria dos métodos busca satisfazer restrições de segurança "em média", o que ainda permite violações de segurança individuais em momentos críticos.
• Limitações da Teoria de Controle: Abordagens baseadas em funções de barreira de controle (CBFs) oferecem garantias de segurança rígidas ("hard constraints"), mas geralmente assumem que a dinâmica do sistema é conhecida ou exigem modelos de controle-afim extremamente precisos, o que é difícil em sistemas de alta dimensão e dinâmica desconhecida.

2. Metodologia Proposta (CAPSULE)

O framework CAPSULE propõe uma abordagem híbrida que combina o aprendizado de modelos probabilísticos com a teoria de controle para garantir a segurança durante a exploração online. A metodologia divide-se em três pilares:

• Pré-treinamento Offline com Modelos de Controle-Afim: Para evitar a instabilidade de aprender a dinâmica e a política simultaneamente, o CAPSULE utiliza um conjunto (ensemble) probabilístico de modelos de dinâmica de controle-afim ($\Delta s_t = \hat{f}(s_t) + \hat{g}(s_t)a_t$) treinado offline. O uso de um ensemble permite capturar a incerteza epistêmica, enquanto a estrutura de controle-afim facilita a integração com as funções de barreira.
• Construção de Barreiras de Segurança (CBFs) com Consciência de Incerteza: O método utiliza as estimativas de incerteza heterocedástica do modelo para construir margens de segurança conservadoras. Em vez de prever apenas o próximo estado médio, o sistema considera um intervalo de confiança ($p_\delta$) baseado na incerteza do modelo. Isso garante que a restrição de segurança seja respeitada mesmo diante de erros de modelagem.
• Mecanismo de Correção de Ação Online: Durante a execução, a ação sugerida pela política de RL ($\pi_{RL}$) não é aplicada diretamente. Ela passa por um processo de correção composto por:
  1. Um Compensador ($a_{bar}$), que aprende a aproximar o histórico de correções passadas.
  2. Um Controlador CBF ($a_{CBF}$), que resolve um Programa Quadrático (QP) em tempo real para ajustar minimamente a ação, garantindo que o estado permaneça dentro do "conjunto seguro" (forward invariance).

3. Principais Contribuições

1. Modelo de Dinâmica Probabilística de Controle-Afim: Um modelo treinado offline que é escalável para ambientes de alta dimensão e fornece estimativas de incerteza robustas.
2. Integração RL-CBF Híbrida: Um método que acopla a otimização de recompensa do RL com a correção de segurança rigorosa das CBFs, permitindo a satisfação de restrições rígidas.
3. Abordagem de Segurança Conservadora: O uso de incerteza para definir margens de segurança, permitindo que o agente seja cauteloso em áreas do espaço de estados onde o modelo é pouco confiável.

4. Resultados Experimentais

Os autores testaram o CAPSULE em ambientes complexos de controle contínuo do MuJoCo (Hopper, Walker e HalfCheetah) utilizando o benchmark SafeVelocity. Os resultados demonstraram que:

• Redução de Violações: O CAPSULE reduziu significativamente o número de violações de segurança em comparação com baselines de estado da arte (como TRPO-Lag, PPO-Lag e FOCOPS).
• Desempenho de Tarefa: O método conseguiu manter um desempenho (recompensa) comparável aos métodos tradicionais, provando que a segurança não compromete excessivamente a eficácia da tarefa.
• Robustez: Mesmo em cenários onde os modelos de base falharam em manter a segurança (como no caso do Walker, onde violações levam ao término precoce do episódio), o CAPSULE manteve a estabilidade.

5. Significância

O trabalho é significativo por preencher a lacuna entre o aprendizado de máquina baseado em dados e a teoria de controle clássica. Ao desacoplar o aprendizado do modelo da otimização da política e ao tratar a incerteza do modelo como um componente central da segurança, o CAPSULE oferece um caminho viável para o deploy de agentes de RL em sistemas físicos reais e complexos, onde a segurança não pode ser tratada apenas como uma probabilidade estatística, mas como uma garantia determinística.