Resumo Técnico: Blindagem Robusta para Aprendizado por Reforço Seguro

Declaração do Problema

Agentes de Aprendizado por Reforço (RL) operando em ambientes desconhecidos, modelados como Processos de Decisão de Markov (MDPs), enfrentam um desafio crítico de segurança: algoritmos padrão exploram ações sem restrições, inevitavelmente selecionando ações potencialmente prejudiciais. Embora existam mecanismos de "blindagem" (shielding) para garantir formalmente a segurança ao restringir as ações do agente, as técnicas existentes geralmente exigem conhecimento exato das dinâmicas de transição relevantes para a segurança. Em cenários práticos de RL, essas dinâmicas são desconhecidas.

Abordagens atuais para lidar com dinâmicas desconhecidas baseiam-se frequentemente na aprendizagem de estimativas pontuais (ex: Estimativa de Máxima Verossimilhança) de probabilidades de transição. No entanto, isso introduz erros estatísticos que comprometem as garantias formais de segurança. Alternativamente, aprender conjuntos de incerteza em torno das probabilidades de transição (ex: usando limites de Provavelmente Aproximadamente Correto - PAC) é uma estratégia viável, mas os frameworks de blindagem existentes são incompatíveis com tais conjuntos, pois são projetados para modelos com probabilidades exatas. Este artigo aborda a lacuna no fornecimento de um framework de blindagem que garanta a segurança para agentes de RL operando em MDPs desconhecidos, utilizando MDPs Robustos (RMDPs).

Metodologia

Os autores propõem um novo framework de blindagem para RMDPs, onde as probabilidades de transição são representadas como conjuntos (conjuntos de incerteza) em vez de valores únicos. A metodologia procede em duas etapas principais:

1. Framework Formal para MDPs Robustos

O artigo define um RMDP como um jogo entre um agente (escolhendo ações) e um adversário (escolhendo probabilidades de transição dos conjuntos de incerteza). A segurança é definida via fórmulas de Lógica Temporal Linear (LTL), focando especificamente em fragmentos de segurança onde um "prefixo ruim" leva a uma violação.

• Definição de Blindagem (Shield): Uma blindagem é definida como um par $(D, \Gamma)$, onde $D$ é um monitor controlável (estendendo monitores padrão com ações auxiliares) e $\Gamma$ mapeia estados de observação e estados do monitor para um conjunto de distribuições de probabilidade permitidas sobre as ações.
• Construção: A blindagem é construída sobre uma abstração de segurança finita do RMDP. Ela utiliza uma função de valor indutiva $\beta$ que serve como um limite superior robusto para a probabilidade de atingir um estado "ruim" (violação da fórmula LTL). A blindagem restringe o agente a ações onde o pior caso do próximo "orçamento de violação" esperado permanece dentro do orçamento atual.
• Garantias Teóricas: Os autores provam que, para um dado RMDP, a blindagem construída é:
  • Sólida (Sound): Toda política admissível pela blindagem satisfaz a especificação de segurança sob o adversário de pior caso.
  • Ótima (Aproximada): Toda política segura do RMDP é admissível pela blindagem (até um erro $\epsilon$ dependente da aproximação da função de valor). Se a função de valor for exata, a blindagem é exatamente ótima.

2. Blindagem de MDPs Desconhecidos via Aprendizagem

O framework é instanciado para MDPs desconhecidos através de um pipeline de aprendizagem:

1. Aprendizagem de RMDPs: Probabilidades de transição são aprendidas a partir de transições amostradas usando intervalos de confiança de Clopper-Pearson para construir conjuntos de incerteza PAC. Isso resulta em um RMDP aprendido $\hat{M}$ que "contém" o MDP real $M$ com alta confiança ($1 - \delta$).
2. Síntese de Blindagem: Uma blindagem é computada no RMDP aprendido $\hat{M}$ usando o método de iteração de valor robusto descrito acima.
3. Implantação: A blindagem é implantada no MDP real (desconhecido). O agente interage com o ambiente, mas suas escolhas de ação são restringidas pela blindagem derivada de $\hat{M}$.

O artigo estabelece que, se o RMDP aprendido contiver o MDP real com alta confiança, a blindagem construída no RMDP garantirá a segurança para o MDP real com a mesma confiança. Além disso, conforme o número de amostras aumenta, os conjuntos de incerteza tornam-se mais estreitos e a conservatividade da blindagem diminui, permitindo que o agente se aproxime da recompensa ótima do MDP real.

Principais Contribuições

1. Novo Framework de Blindagem para RMDPs: O artigo introduz o primeiro framework de blindagem projetado especificamente para RMDPs (MDPs com conjuntos de probabilidades de transição), abordando a limitação dos métodos existentes que exigem dinâmicas exatas.
2. Provas de Solidez e Otimalidade: Os autores fornecem provas rigorosas demonstrando que sua blindagem é sólida (garante segurança sob dinâmicas de pior caso) e aproximadamente ótima (permite recompensas próximas da ótima) para RMDPs.
3. Integração com Aprendizagem PAC: O trabalho combina blindagem robusta com métodos de amostragem existentes para aprender probabilidades de transição com garantias PAC. Isso permite a construção de blindagens para MDPs desconhecidos que fornecem garantias de segurança de alta confiança.
4. Validação Empírica: A abordagem é avaliada em múltiplos ambientes (Media Streaming, Color Bomb Gridworld, Pacman) comparando o método proposto contra baselines de MDPs exatos e Estimativa de Máxima Verossimilhança (MLE).

Resultados

Os resultados experimentais demonstram o compromisso entre disponibilidade de dados e conservatividade da blindagem:

• Garantias de Segurança: As blindagens robustas propostas (configurações Kno e Unk) satisfazem consistentemente a probabilidade de especificação de segurança requerida ($1-p$) através de várias amostragens, enquanto a blindagem baseada em MLE frequentemente viola os limiares de segurança, particularmente com tamanhos de amostra pequenos ou moderados.
• Recuperação de Desempenho: À medida que o número de amostras aumenta, os conjuntos de incerteza no RMDP aprendido tornam-se mais estreitos. Consequentemente, as blindagens robustas tornam-se menos restritivas, e o retorno esperado do agente protegido converge para o desempenho de um agente operando com conhecimento total do MDP (o baseline do MDP).
• Tratamento de Grafos Desconhecidos: O framework lida com sucesso com casos onde a estrutura do grafo do MDP é desconhecida (configuração Unk), desde que uma probabilidade mínima de transição seja assumida, embora isso exija um tamanho de amostra mínimo maior para aprender a estrutura do grafo de forma confiável.

Significância e Alegações

O artigo alega fornecer uma solução formal para o problema da exploração segura em RL quando as dinâmicas de transição são desconhecidas. Ao mudar de estimativas pontuais para conjuntos de incerteza (RMDPs), os autores argumentam que é possível construir blindagens que ofereçam garantias de segurança formais e de alta confiança sem exigir conhecimento perfeito do ambiente.

A significância reside em unir o rigor dos métodos formais (que tipicamente assumem modelos conhecidos) com o aprendizado baseado em dados (que opera em modelos desconhecidos). Os autores enfatizam que, embora os métodos robustos possam ser conservadores com dados limitados, essa conservatividade é um compromisso necessário para garantir a segurança. À medida que os dados se acumulam, o método relaxa naturalmente, permitindo que o agente alcance retornos esperados fortes enquanto mantém a segurança. Isso contrasta com abordagens de ponta que utilizam estimativas pontuais, que o artigo demonstra poder levar a comportamentos inseguros devido à incerteza estatística não modelada.

O trabalho posiciona-se como um passo em direção à "autonomia segura" em cenários críticos de segurança onde a incerteza do modelo é inerente, oferecendo uma alternativa teoricamente fundamentada a restrições de segurança heurísticas ou métodos carentes de garantias de amostra finita.