A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety

1. Definição do Problema

O artigo aborda o desafio crítico de implantar agentes de Aprendizado por Reforço (RL) em aplicações do mundo real críticas para a segurança (por exemplo, direção autônoma, saúde, robótica, redes elétricas). O RL padrão otimiza a recompensa cumulativa, mas frequentemente ignora restrições de segurança, levando a falhas catastróficas durante o treinamento ou a implantação.

O problema central é formalizado como Aprendizado por Reforço Seguro (SafeRL): maximizar o desempenho (recompensa cumulativa) enquanto satisfaz estritamente as restrições de segurança durante tanto o processo de aprendizado quanto a implantação final. O artigo foca principalmente no framework de Processo de Decisão de Markov Constrained (CMDP), onde a segurança é modelada como restrições sobre custos cumulativos esperados (ou outras medidas de risco) em vez de apenas maximização de recompensa. Ele também estende isso para SafeRL Multi-Agente (SafeMARL), onde múltiplos agentes devem aprender e interagir enquanto aderem a restrições de segurança individuais ou globais.

2. Metodologia e Fundamentos Teóricos

A revisão fornece uma visão matemática rigorosa do SafeRL, estruturada em torno do framework CMDP e suas extensões.

A. Fundamentos Teóricos (CMDPs)

• Formulação: Um CMDP é definido como uma tupla MDP $(S, A, P, r, \{c^{(i)}\}, \gamma)$ onde $c^{(i)}$ são funções de custo. O objetivo é maximizar $J(\pi)$ sujeito a $J_c^{(i)}(\pi) \leq d_i$.
• Tipos de Restrição: O artigo categoriza as especificações de segurança em:
  • Custos Cumulativos Esperados: A formulação padrão de CMDP (mais comum).
  • Restrições Instantâneas: Limites rígidos em cada passo de tempo (por exemplo, limites de torque, evitamento de colisão).
  • Probabilidade de Falha: Restrições sobre a probabilidade de entrar em um estado de falha (por exemplo, $Pr[\text{colisão}] \leq \delta$).
  • Medidas de Risco: Restrições sobre estatísticas de ordem superior como Variância ou Valor em Risco Condicional (CVaR).
  • Lógica Temporal: Segurança definida via fórmulas de Lógica Temporal Linear (LTL).
• Abordagens de Otimização:
  • Dualidade Lagrangiana: Transformar o problema restrito em um não restrito usando multiplicadores de Lagrange ($\lambda$). A função dual é minimizada para encontrar multiplicadores ótimos, enquanto o primal (política) é maximizado.
  • Programação Linear (LP): Para espaços de estados finitos, CMDPs podem ser resolvidos exatamente via LP usando medidas de ocupação.
  • Garantias Teóricas: O artigo cita Altman [1999] provando a existência de políticas ótimas estacionárias e dualidade forte sob condições de regularidade. Também revisa limites de desempenho (Achiam et al., 2017) que justificam métodos de região de confiança.

B. Algoritmos de Estado da Arte (Agente Único)

A revisão classifica os métodos atuais em quatro categorias principais:

1. Otimização de Política Baseada em Lagrangiano:
   • Ação-Crítica Lagrangiana: Atualiza a política e os multiplicadores de Lagrange simultaneamente (por exemplo, Tessler et al., 2019). Simples, mas pode violar restrições durante o treinamento.
   • Otimização de Política Constrained (CPO): Um método de região de confiança marcante (Achiam et al., 2017) que resolve um subproblema restrito em cada etapa para garantir satisfação quase de restrição.
   • PCPO (Projected CPO): Projeta atualizações de política no conjunto viável para garantir segurança.
2. Escudos de Segurança e Correção de Ações:
   • Camadas externas (por exemplo, Camadas de Segurança, filtros baseados em QP) que substituem ações inseguras propostas pelo agente de RL.
   • Escudo Formal: Usa verificação de modelos e lógica temporal para pré-calcular conjuntos de ações seguras.
3. Métodos Sensíveis ao Risco e Distribucionais:
   • Otimização para medidas de risco (por exemplo, CVaR) diretamente em vez de usar restrições rígidas.
   • RL Distribucional para modelar a distribuição completa de retorno e controlar riscos de cauda.
4. SafeRL Multi-Agente (SafeMARL):
   • Centralizado: Tratando o sistema multi-agente como um único agente conjunto (por exemplo, MACPO).
   • Descentralizado: Agentes otimizam objetivos locais com comunicação limitada (por exemplo, vizinhanças de $\kappa$-hop) para aproximar a segurança global.
   • Teoria dos Jogos: Buscando equilíbrios de Nash restritos em configurações competitivas.

3. Principais Contribuições

1. Taxonomia Abrangente: O artigo fornece uma taxonomia estruturada de métodos SafeRL, distinguindo entre abordagens de agente único e multi-agente, e categorizando algoritmos por seu mecanismo subjacente (Lagrangiano, Escudo, Sensível ao Risco).
2. Rigor Matemático: Oferece uma derivação detalhada da teoria CMDP, incluindo dualidade lagrangiana, formulações de programação linear e limites de gradiente de política, servindo como referência técnica para pesquisadores.
3. Foco em SafeMARL: Diferentemente de revisões anteriores que focavam pesadamente no RL de agente único, este artigo dedica atenção significativa ao campo emergente do SafeMARL, analisando desafios em configurações cooperativas, competitivas e descentralizadas.
4. Identificação de Problemas Abertos: Os autores propõem cinco problemas de pesquisa específicos para orientar trabalhos futuros:
   • P1: Exploração Segura de Violação Zero: Garantir nenhuma violação de restrição durante todo o processo de treinamento (não apenas assintoticamente).
   • P2: Segurança sob Observabilidade Parcial: Lidar com segurança em POMDPs onde o estado real é desconhecido.
   • P3: SafeMARL Descentralizado: Alcançar segurança global sem um controlador central ou observabilidade total do estado.
   • P4: SafeMARL Competitivo: Encontrar equilíbrios seguros (por exemplo, Nash restrito) em jogos não cooperativos de soma geral.
   • P5: Segurança Multi-Agente Não Estacionária: Garantir segurança quando o ambiente ou a população de agentes muda ao longo do tempo.
5. Compilação de Recursos: O artigo inclui uma lista curada de bibliotecas de código aberto (por exemplo, OmniSafe, SafePO) e ambientes de benchmark (por exemplo, Safety Gymnasium, SMARTS) para facilitar a reprodutibilidade.

4. Resultados e Descobertas

• Maturidade de Agente Único: O campo do SafeRL de agente único é relativamente maduro, com algoritmos como CPO e métodos Lagrangianos fornecendo fortes garantias teóricas e sucesso empírico em benchmarks como o Safety Gym.
• Desafios Multi-Agente: O SafeMARL é identificado como um campo nascente. Embora abordagens centralizadas (como MACPO) mostrem promessa, soluções descentralizadas escaláveis e métodos robustos para configurações competitivas permanecem amplamente sem solução.
• Compensações: A revisão destaca uma compensação fundamental entre garantias de segurança e eficiência de amostra. Métodos com fortes garantias teóricas (como CPO) são frequentemente computacionalmente caros, enquanto métodos baseados em penalidades mais simples são eficientes, mas podem violar restrições durante o treinamento.
• Tipos de Restrição Importam: A escolha da formulação de restrição (instantânea vs. cumulativa, sensível ao risco vs. esperada) impacta significativamente o design do algoritmo e a aplicabilidade a domínios específicos (por exemplo, robótica requer restrições instantâneas, enquanto finanças podem preferir CVaR).

5. Significado

Esta revisão é significativa por várias razões:

• Unificação: Ela preenche a lacuna entre a teoria de controle teórica (CMDPs) e o RL profundo moderno, fornecendo uma linguagem unificada para segurança.
• Roteiro para Implantação: Ao identificar problemas abertos como "Aprendizado de Violação Zero" e "Segurança Descentralizada", ela delineia o caminho necessário para mover o SafeRL da simulação para a implantação no mundo real em domínios de alto risco.
• Recurso para a Comunidade: A compilação de bibliotecas e benchmarks serve como uma ferramenta vital para pesquisadores compararem algoritmos e reproduzirem resultados, acelerando o progresso no campo.
• Direção Futura: Os problemas de pesquisa propostos (P1–P5) estabelecem uma agenda clara para a próxima geração de pesquisa em SafeRL, enfatizando a necessidade de robustez em observabilidade parcial, descentralização e ambientes dinâmicos.

Em conclusão, o artigo estabelece que, embora o SafeRL tenha feito avanços significativos, particularmente em configurações de agente único, a transição para cenários complexos, multi-agentes e do mundo real exige a resolução de desafios fundamentais em exploração, descentralização e computação de equilíbrio.