Scenario Generation for Risk-Aware Reinforcement Learning with Probably Approximately Safe Guarantees

Resumo Técnico: Geração de Cenários para Aprendizado por Reforço Consciente de Risco com Garantias Provavelmente Aproximadas

Declaração do Problema
A implantação de agentes de Aprendizado por Reforço (RL) profundo em cenários do mundo real é dificultada pela dificuldade de garantir a segurança, particularmente quando políticas aprendidas via RL falham em generalizar para novos cenários ou exibem suscetibilidade a perturbações de transição. Métodos tradicionais de verificação de segurança frequentemente dependem de verificação de modelos (model-checking), o que exige conhecimento preciso da dinâmica de transição do sistema — um requisito que é frequentemente inviável em ambientes complexos e sem modelo (model-free). Embora abordagens recentes utilizem garantias Provavelmente Aproximadamente Corretas (PAC) para limitar a probabilidade de violações de restrições de segurança ($\epsilon$) com um nível de confiança ($\delta$), esses limites são frequentemente frouxos. Essa frouxidão surge de discrepâncias entre as distribuições de estados encontradas durante o treinamento e a implantação, bem como de uma exploração insuficiente do espaço de estados. Consequentemente, a lacuna entre os limites superior e inferior da probabilidade de violação ($|\epsilon_1 - \epsilon_2|$) permanece ampla, fornecendo informações limitadas sobre a verdadeira segurança de uma política.

Metodologia
Os autores propõem um framework de duas fases para estreitar esses limites de segurança probabilísticos, identificando e treinando em estados "tentativamente inseguros" — regiões que se situam entre uma região segura de limite inferior conservadora e uma região segura de limite superior menos conservadora.

1. Otimização Dual de Certificados de Barreira:
   O núcleo do método envolve a formulação da verificação de segurança como um Programa de Chance-Restrita (CCP) dual. Os autores constroem dois certificados de barreira:

   • Limite Inferior ($B_1$): Uma estimativa conservadora da região segura onde a probabilidade de violação é menor que $\epsilon_1$.
   • Limite Superior ($B_2$): Uma estimativa menos conservadora onde a probabilidade de violação é menor que $\epsilon_2$ (com $\epsilon_1 \leq \epsilon_2$).
     Esses certificados são otimizados usando trajetórias amostradas para maximizar o valor mínimo da barreira para estados subsequentes, garantindo que, se um estado estiver dentro da região da barreira, suas transições também sejam provavelmente seguras.

2. Representação Generativa de Estados (VAE):
   Para lidar com o espaço de estados de alta dimensão e gerar cenários relevantes, os autores treinam um Autoencoder Variacional (VAE) no espaço de estados encontrado. Os certificados de barreira são mapeados para o espaço latente do VAE. Isso permite que o sistema identifique o conjunto diferença entre as regiões dos limites superior e inferior ($Z_{B2} \setminus Z_{B1}$), que representa estados que são tentativamente inseguros, mas que compartilham semelhanças observáveis com estados conhecidos como seguros ou inseguros.

3. Aprendizado de Fase 2 (Geração de Cenários):
   O framework emprega uma segunda fase de aprendizado para melhorar a robustez da política. Em vez de depender de exploração aleatória ou estratégias epsilon-greedy, o método gera novos cenários de treinamento amostrando estados do espaço latente que residem dentro da lacuna entre os dois certificados de barreira. Esses estados são decodificados de volta para o espaço de estados e usados para inicializar novas trajetórias de treinamento. Este processo visa especificamente a "região não robusta" para estreitar os limites na probabilidade de violação.

Principais Contribuições

• Formulação de CCP Dual: O artigo introduz uma abordagem de otimização dual para gerar certificados de barreira de limite superior e inferior, fornecendo uma visão mais granular da segurança da política do que métodos de limite único.
• Mapeamento de Barreira em Espaço Latente: Ao codificar certificados de barreira dentro do espaço latente de um VAE, os autores permitem a identificação e geração de estados que são adjacentes à região segura, mas ainda não totalmente verificados, facilitando a exploração direcionada.
• Robustez Independente de Modelo: O método de aprendizado da Fase 2 proposto permite a melhoria da robustez da política sem exigir conhecimento explícito das dinâmicas de transição (model-free) ou orientação de especialistas, baseando-se nas propriedades generativas do VAE para preencher a lacuna entre regiões seguras e inseguras conhecidas.
• Validação Empírica: O estudo demonstra que a geração de estados dentro das regiões de segurança de limite superior e inferior é significativamente mais eficaz para estreitar as garantias de segurança do que estratégias de exploração padrão, como epsilon-greedy ou transições perturbadas.

Resultados Experimentais
Os autores avaliaram seu método em ambientes OpenAI Gym, especificamente Ant (complexo, alta dimensão) e CartPole (controle clássico).

• Estreitamento dos Limites: Na Fase 2, o método proposto reduziu significativamente a lacuna entre $\epsilon_1$ e $\epsilon_2$. Por exemplo, no ambiente Ant, os limites foram estreitados de $(0,11, 0,41)$ para $(0,09, 0,18)$, comparado a outros métodos como PPO Vanilla ou Epsilon Greedy, que resultaram em limites mais frouxos (ex: $0,20, 0,45$).
• Desempenho: A recompensa média da política treinada com o método proposto permaneceu comparável ou superior aos métodos de linha de base (ex: PPO, Treinamento Adversário de Currículo), indicando que melhorar as garantias de segurança não ocorreu às custas da eficiência de aprendizado.
• Comparação: O método superou várias abordagens de treinamento baseado em currículo e adversário em termos de estreitamento dos limites de segurança, particularmente no ambiente mais complexo Ant.

Significância e Alegações
O artigo afirma que sua principal significância reside na mudança do foco de heurísticas de exploração geral para o direcionamento direto da incerteza epistêmica das políticas de RL. Ao gerar novos cenários que residem especificamente na região de "incerteza" entre os limites de segurança e insegurança, o método fornece garantias de segurança mais nítidas e quantificáveis antes da implantação. Os autores postulam que esta abordagem marca um passo em direção a sistemas de RL explicáveis, capazes de fornecer garantias de segurança probabilísticas em configurações sem modelo (model-free). Eles afirmam explicitamente que seu método alcança aprendizado robusto sem sacrifícios significativos em eficiência e sugerem que trabalhos futuros poderiam envolver o contraste de diferentes funções de incorporação (embedding) e a extensão da abordagem para a geração de cenários específicos de subtarefas para designs de RL hierárquico.