A Review On Safe Reinforcement Learning Using Lyapunov and Barrier Functions

Declaração do Problema

A Aprendizagem por Reforço (RL) demonstrou eficácia na resolução de problemas complexos de tomada de decisão em robótica, gestão de energia e sistemas autônomos. No entanto, as abordagens padrão de RL carecem de garantias teóricas rigorosas quanto à estabilidade em malha fechada e ao cumprimento de restrições. Em aplicações críticas para a segurança, violações de restrições podem levar à falha do sistema ou a danos físicos. Embora métodos da teoria de controle ofereçam certificados para estabilidade (via funções de Lyapunov) e segurança (via funções de barreira), integrar essas garantias em frameworks de RL baseados em dados permanece um desafio significativo. O problema central abordado é como garantir que uma política de RL calculada mantenha a estabilidade do sistema e adira às restrições operacionais durante tanto o treinamento quanto a implantação, particularmente na ausência de modelos de sistema perfeitos.

Metodologia e Escopo

Este artigo fornece uma revisão abrangente de técnicas de Aprendizagem por Reforço Segura (Safe RL) que utilizam explicitamente Funções de Lyapunov de Controle (CLFs) e Funções de Barreira de Controle (CBFs). Os autores categorizam a literatura com base no papel que esses certificados desempenham dentro do loop de RL:

1. Abordagens apenas de Lyapunov: Uso de CLFs para garantir estabilidade assintótica.
2. Abordagens apenas de barreira: Uso de CBFs para garantir invariância para frente de conjuntos seguros.
3. Abordagens combinadas: Integração de CLFs e CBFs para garantir simultaneamente estabilidade e segurança.

A revisão distingue entre formulações baseadas em modelo (dependendo de dinâmicas conhecidas ou aproximadas) e formulações livres de modelo (dependendo puramente de dados), observando uma mudança decisiva no campo em direção a abordagens livres de modelo e combinadas após 2017, com um aumento acentuado em métodos combinados CLF–CBF após 2022.

A revisão analisa como os certificados são incorporados em algoritmos de RL, incluindo:

• Moldagem de Recompensa/Custo: Modificação da função objetivo para penalizar instabilidade ou violações de restrições.
• Parametrização da Função Crítica/Valor: Tratamento da própria função de valor como um candidato a Lyapunov.
• Restrições de Política: Uso de filtros de Programação Quadrática (QP) para projetar ações nominais de RL em conjuntos seguros.
• Regularização de Perda: Adição de termos de penalidade às perdas de ator-crítico para impor condições de certificado.
• Verificação Formal: Uso de síntese guiada por contraexemplos (CEGIS) ou programação de Soma de Quadrados (SOS) para verificar certificados neurais.

Principais Contribuições

O artigo faz três contribuições primárias para a literatura existente:

1. Taxonomia e Classificação: Oferece uma classificação estruturada de métodos de Safe RL, indo além de pesquisas gerais para focar especificamente na integração de funções de Lyapunov e de barreira. Detalha como essas funções são utilizadas como recompensas, críticos, restrições ou filtros de segurança.
2. Identificação de Problemas Abertos: Os autores definem problemas abertos específicos, por classe, que impedem uma implantação mais ampla:
   • Para métodos de Lyapunov: Validade do certificado sob aproximação de função e deslocamento de distribuição.
   • Para métodos de barreira: Questões de viabilidade e impasse sob blindagem rígida CBF–QP, particularmente quando as restrições entram em conflito.
   • Para métodos combinados: Viabilidade conjunta CLF–CBF sob incerteza de modelo.
3. Análise de Escalabilidade: A revisão destaca que a implantação em configurações de alta dimensionalidade e parcialmente observáveis permanece a principal barreira de escalabilidade em todas as três classes. Contrasta a complexidade computacional de diferentes abordagens, observando que, embora filtros baseados em QP ofereçam garantias de segurança rígidas, eles sofrem com a "maldição da dimensionalidade" e questões de viabilidade em espaços de alta dimensionalidade.

Resultados e Análise Comparativa

A revisão sintetiza descobertas de numerosos estudos (resumidos nas Tabelas 3, 5 e 7) para tirar várias conclusões comparativas:

• Força de Aplicação de Segurança: Filtros combinados CLF–CBF–QP fornecem a segurança prática mais forte (invariância rígida + estabilidade assintótica) quando viáveis. Filtros puramente CBF-QP oferecem apenas invariância rígida. Métodos CMDP-Lagrangianos e moldagem de recompensa fornecem segurança "suave" (nível de expectativa ou baseada em penalidade), que é menos robusta, mas mais escalável.
• Dependência de Modelo: Métodos CBF e combinados geralmente exigem estruturas afins de controle e computações de derivadas de Lie, frequentemente necessitando de aprendizes de modelo (por exemplo, Processos Gaussianos) ou observadores. Métodos Lyapunov-como-valor podem ser mais livres de modelo, mas dependem fortemente da validade do crítico aprendido.
• Eficiência de Amostra: Filtros de execução rígida (CBF-QP) geralmente exigem menos amostras para atingir limiares de segurança porque previnem trajetórias inseguras. A moldagem de recompensa acelera a convergência, mas fornece ganhos menores de eficiência de amostra.
• Benchmarks: Os autores identificam o Safe-Control-Gym como o benchmark mais adequado para esses métodos, pois fornece modelos simbólicos para derivadas de Lie analíticas, APIs de restrição e injeção de distúrbios, que frequentemente faltam em ambientes padrão como MuJoCo.

Significado e Alegações

O artigo posiciona-se como uma síntese centrada em RL, em vez de uma pesquisa geral sobre aprendizado seguro para controle. Seu significado reside em:

• Ponte entre Teoria e Prática: Demonstra o escopo promissor para fornecer garantias de segurança para sistemas dinâmicos complexos usando tanto RL baseado em modelo quanto livre de modelo.
• Destaque de Mudanças Recentes: Documenta a transição do campo de formulações baseadas em modelo para livres de modelo e o surgimento de abordagens combinadas CLF–CBF como a subárea mais ativa após 2022.
• Definição de Direções Futuras: Os autores argumentam que, embora existam garantias teóricas, a lacuna entre teoria e implantação centra-se na descoberta escalável de certificados, generalização robusta sob deslocamento de distribuição e tratamento de observabilidade parcial.

A revisão conclui que, embora as funções de Lyapunov e de barreira forneçam uma rota principial para adicionar estrutura de estabilidade e satisfação de restrições ao controle baseado em aprendizado, os desafios remanescentes envolvem resolver barreiras de viabilidade em filtros de otimização com restrições e estabelecer princípios de aprendizado robustos para certificados baseados em dados em configurações de alta dimensionalidade e do mundo real.