🤖 machine learning

Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning

Este artigo propõe uma estrutura de blindagem probabilística adaptativa para aprendizado por reforço seguro que integra a aprendizagem de modelo online para computar e atualizar dinamicamente as restrições de segurança conforme as probabilidades de transição são estimadas a partir de um MDP inicialmente desconhecido.

Autores originais: Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand

Publicado 2026-08-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand Larsen (Aalborg University, Aalborg, Denmark), Christian Schilling (Aalborg University, Aalborg, Denmark)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, as máquinas aprendem a tomar decisões experimentando coisas, de forma muito semelhante a uma criança que aprende a andar ao cair e se levantar. Esse processo, conhecido como aprendizagem por reforço, permite que agentes de software descubram a melhor maneira de resolver problemas ao interagir com um ambiente e receber recompensas por boas escolhas. No entanto, no mundo real, o custo de um passo errado pode ser catastrófico. Um carro autônomo não pode se dar ao luxo de testar uma manobra perigosa para ver se funciona; um robô médico não pode arriscar ferir um paciente enquanto descobre o caminho mais seguro. Isso cria uma tensão fundamental: para aprender de forma eficaz, um agente deve explorar, mas para permanecer seguro, deve evitar o desconhecido. Durante anos, pesquisadores tentaram resolver isso construindo um "escudo" — um guarda de segurança que bloqueia qualquer ação que o agente possa tomar e que possa levar ao desastre. O problema é que os escudos tradicionais exigem um mapa perfeito e pré-existente do mundo, incluindo as probabilidades exatas para cada resultado possível. Na realidade desordenada do mundo físico, tal mapa perfeito raramente existe antes de o agente começar a aprender.

Uma equipe de pesquisadores desenvolveu uma nova maneira de lidar com esse dilema, criando um sistema onde o escudo de segurança aprende e se adapta juntamente com o agente. Em vez de esperar por um mapa perfeito, a abordagem deles assume que o agente conhece o layout geral do ambiente — os lugares possíveis para onde pode ir e as ações que pode realizar — mas não conhece as chances exatas de para onde essas ações levarão. À medida que o agente explora, ele reúne dados sobre o que realmente acontece quando se move. Um programa de computador então usa esses dados frescos para construir uma estimativa das regras do mundo, preenchendo as probabilidades ausentes. A partir dessa estimativa, o sistema constrói um escudo de segurança. Inicialmente, como os dados são escassos, o escudo é muito cauteloso, bloqueando muitas ações para ter certeza. Mas, à medida que o agente acumula mais experiência, a estimativa torna-se mais nítida, a incerteza diminui e o escudo relaxa seu controle, permitindo que o agente assuma riscos mais eficientes. Isso cria uma parceria onde o agente e seu guarda de segurança melhoram juntos, garantindo que o agente permaneça seguro enquanto aprende a ser eficaz.

Os pesquisadores testaram essa ideia em vários mundos simulados, variando de uma aeronave evitando uma colisão com outro avião a uma formiga navegando ao redor de um predador. Nesses ambientes, o agente tinha que alcançar um objetivo enquanto evitava perigos específicos, tudo isso enquanto as probabilidades exatas de escorregar ou falhar estavam ocultas para ele. Eles compararam seu método adaptativo contra duas outras abordagens: uma onde o agente não tinha nenhum guarda de segurança e outra onde o agente tinha um escudo perfeito baseado em um mapa completo e conhecido do mundo. Os resultados mostraram que o método adaptativo foi notavelmente bem-sucedido. Ele aprendeu políticas que eram quase tão seguras quanto o escudo perfeito, ao mesmo tempo em que evitou as colisões frequentes e perigosas que ocorriam quando o agente não tinha guarda algum. Em alguns casos, o sistema adaptativo até encontrou rotas melhores do que o escudo perfeito, porque sua exploração cautelosa inicial o levou a descobrir caminhos lucrativos que o escudo estático e pré-calculado havia perdido.

Uma descoberta fundamental foi que o sistema funciona melhor quando o escudo de segurança é atualizado regularmente conforme novos dados chegam. Se o escudo for atualizado com muita raridade, o agente permanece preso em um estado de excesso de cautela, incapaz de aproveitar o conhecimento que adquiriu. Se for atualizado com muita frequência, o sistema gasta tempo demais recalculando a segurança em vez de aprender. Os pesquisadores encontraram um equilíbrio onde a atualização do escudo a cada mil episódios de aprendizagem permitia que o agente refinasse sua compreensão do mundo sem interromper seu progresso. Eles também descobriram que a maneira como o sistema estima as probabilidades importa. Alguns métodos que assumem o pior cenário para dados desconhecidos tendem a ser excessivamente restritivos, enquanto métodos que são ligeiramente mais otimistas permitem que o agente explore mais livremente. A abordagem mais eficaz utilizou uma estratégia equilibrada que permanecia segura, mas não bloqueava ações potencialmente úteis apenas porque os dados ainda não eram perfeitos.

O estudo também destacou um detalhe sutil, mas importante, sobre como o agente explora. Quando o agente decide tentar uma ação aleatória para aprender algo novo, o sistema permite que ele escolha entre todas as ações possíveis, mesmo aquelas que o escudo atual considera inseguras. Isso pode parecer contraintuitivo, mas evita que o agente fique preso em um canto pequeno e seguro do mundo. Ao ocasionalmente aventurar-se além dos limites atuais do escudo, o agente reúne os próprios dados necessários para provar que esses limites podem ser expandidos com segurança. Sem essa liberdade de explorar as bordas do desconhecido, o escudo nunca aprenderia a tornar-se menos conservador. Os pesquisadores observaram que, em ambientes complexos, essa disposição para assumir riscos calculados era essencial para encontrar o melhor caminho possível.

Em última análise, este trabalho demonstra que a segurança e a aprendizagem não precisam ser inimigas. Ao tratar o escudo de segurança não como uma parede fixa, mas como um guia vivo que evolui com a experiência do agente, é possível navegar em ambientes perigosos sem um mapa perfeito previamente. O sistema provou que um agente pode aprender a ser tanto seguro quanto habilidoso, desde que o mecanismo de segurança seja flexível o suficiente para crescer conforme a compreensão do agente sobre o mundo se aprofunda. Esta abordagem oferece um caminho prático para a implementação de sistemas inteligentes em cenários do mundo real onde as regras não são totalmente conhecidas, garantindo que a jornada para o domínio não ocorra às custas da segurança.

Resumo Técnico: Blindagem Probabilística Adaptativa por Aprendizado de MDPs para Aprendizado por Reforço Seguro

Declaração do Problema

O Aprendizado por Reforço (RL) Seguro frequentemente depende da blindagem probabilística, uma técnica onde um "escudo" estático restringe as ações de um agente para garantir que as restrições de segurança sejam atendidas. Tradicionalmente, esse escudo é computado a partir de um Modelo de Processo de Decisão de Markov (MDP) totalmente especificado. No entanto, em aplicações típicas de RL, as probabilidades de transição do ambiente são desconhecidas, tornando o blindagem padrão inaplicável.

As abordagens existentes para preencher essa lacuna geralmente envolvem um processo de duas etapas: primeiro, a coleta de dados (frequentemente de forma insegura) para aprender um modelo MDP completo e, em seguida, a computação de um escudo. Isso falha em cenários do mundo real criticamente dependentes de segurança, onde a segurança deve ser mantida durante a fase de coleta de dados.

Este artigo aborda o problema do RL Seguro em configurações onde a topologia do MDP (grafo estado-ação) é conhecida, mas as probabilidades de transição são desconhecidas. O objetivo é aprender uma política que maximize a recompensa enquanto adere às restrições de segurança, sem conhecimento prévio das dinâmicas de transição. Crucialmente, os autores reconhecem que, embora as violações de segurança possam não ser inteiramente evitáveis, a abordagem dá grande importância à minimização dessas violações durante as fases de exploração e aprendizado do modelo, em vez de garantir zero violações.

Metodologia

Os autores propõem um paradigma de Blindagem Probabilística Adaptativa, que integra estimativa de modelo, síntese de blindagem e aprendizado de política em um único loop online.

1. Arquitetura Central

A abordagem opera em um MDP desconhecido ( $M$ ) com uma estrutura de transição subjacente conhecida (um MDP desconhecido ou uMDP, $M_U$ ). O sistema consiste em três componentes interativos:

Agente de RL: Utiliza Q-learning para aprender uma política $\pi$ .
Estimador de Modelo: Atualiza continuamente uma estimativa das probabilidades de transição com base em transições observadas $(s, a, s')$ .
Blindagem Adaptativa: Um monitor de tempo de execução $\nabla$ que restringe as ações do agente com base na estimativa atual do modelo.

2. Estimativa de Modelo e MDPs de Intervalo (iMDPs)

Como as probabilidades exatas são desconhecidas, o sistema constrói MDPs de Intervalo (iMDPs) a partir dos dados coletados. Um iMDP define limites superiores e inferiores nas probabilidades de transição em vez de estimativas pontuais. O artigo avalia três estimadores específicos:

MAP (Máxima A Posteriori): Produz estimativas pontuais com suavização aditiva.
PAC (Provavelmente Aproximadamente Correto): Gera intervalos probabilísticos usando a desigualdade de Hoeffding para garantir que o MDP real esteja dentro dos intervalos estimados com alta probabilidade.
LUI (Atualização Linear de Intervalos): Atualiza iterativamente os intervalos de probabilidade com base em frequências observadas e forças prévias, sem garantias estritas de PAC, mas com propriedades de convergência.

3. Síntese de Blindagem

Usando o iMDP estimado, um escudo é sintetizado usando o verificador de modelos probabilísticos PRISM. O escudo garante que, para um determinado horizonte $h$ , a probabilidade de atingir um estado inseguro permaneça abaixo de um limite $\theta$ .

Blindagem Robusta (Pessimista): Assume as piores probabilidades de transição dentro dos intervalos (minimizando a probabilidade de segurança). É conservadora, mas segura contra erros de estimativa.
Blindagem Otimista: Assume as melhores probabilidades de transição (maximizando a probabilidade de segurança), permitindo mais exploração.
Mecanismo de Fallback: Se nenhuma ação satisfizer o limite rigoroso de segurança $\theta$ , o escudo permite ações que estão $\kappa$ -próximas da ação mais segura disponível, evitando que o agente seja completamente bloqueado do ambiente.

4. O Loop Adaptativo (Algoritmo 1)

O algoritmo procede em episódios. A cada $u$ episódios (o atraso de atualização), o sistema:

Agrega o banco de dados de transição $D$ .
Reestima o iMDP usando o estimador escolhido.
Sintetiza um novo escudo baseado no iMDP atualizado.
Continua o treinamento do agente de RL sob o novo escudo.

Estratégia de Exploração: Para evitar que o escudo sufoque a exploração (uma "armadilha conservadora" onde o agente não consegue coletar dados para refinar o modelo), os autores estendem a estratégia $\epsilon$ -greedy. Quando o agente escolhe "explorar" (com probabilidade $\epsilon$ ), ele seleciona uma ação aleatória do espaço de ações completo $A$ , ignorando as restrições do escudo. Isso garante que ações potencialmente seguras, mas atualmente não verificadas, ainda sejam testadas, permitindo que o modelo refine suas estimativas.

Principais Contribuições

Paradigma de Blindagem Adaptativa: O artigo introduz um método para computar e atualizar escudos probabilísticos online conforme o modelo do MDP é aprendido, abordando a limitação de que a blindagem tradicional exige um modelo totalmente conhecido.
Integração de Estimativa e Segurança: Propõe um framework unificado onde a estimativa do modelo, as atualizações do escudo e o aprendizado da política ocorrem simultaneamente, visando minimizar as violações de segurança mesmo durante as fases iniciais de alta incerteza do aprendizado.
Avaliação Empírica de Estimadores: Os autores fornecem uma comparação abrangente dos estimadores MAP, PAC e LUI, analisando como suas propriedades específicas (conservadorismo, velocidade de convergência, requisitos de dados) impactam o equilíbrio entre segurança e recompensa.
Análise de Escolhas de Design: O artigo investiga sistematicamente hiperparâmetros críticos, incluindo a frequência das atualizações do escudo, o horizonte de olhar à frente (lookahead horizon $h$ ) e o impacto da exploração não blindada na eficiência do aprendizado.

Resultados Experimentais

A abordagem foi avaliada em cinco ambientes: Aircraft, Antlion, Sinkholes, Crossroads e Gravity. As principais descobertas incluem:

Segurança vs. Desempenho: A abordagem de blindagem adaptativa alcança níveis de segurança comparáveis a uma linha de base "oráculo" (que usa o MDP real) e supera significativamente o RL não blindado em termos de violações de segurança, particularmente em ambientes de alto risco como Crossroads e Gravity.
Impacto do Estimador:
- Estimadores robustos (PAC/LUI) geralmente fornecem políticas mais seguras, mas podem ser excessivamente conservadores, às vezes impedindo a descoberta de rotas ótimas se as estimativas iniciais forem muito amplas.
- Estimadores otimistas permitem mais exploração e frequentemente alcançam recompensas mais altas, mas carregam um risco maior de violações de segurança se as estimativas forem imprecisas.
- Estimadores MAP frequentemente falharam em explorar suficientemente, ficando presos em ótimos locais devido à falta de limites de incerteza.
Estratégia de Exploração: Permitir a exploração fora do conjunto de ações admissíveis do escudo (UnifA) foi crucial. Restringir a exploração apenas às ações admissíveis pelo escudo (Unif $\nabla(s)$ ) frequentemente impedia o agente de descobrir rotas melhores, particularmente nos ambientes Antlion e Gravity.
Frequência de Atualização: A frequência das atualizações do escudo ( $u$ ) impacta significativamente o desempenho. Atualizações frequentes demais podem desestabilizar o aprendizado, enquanto atualizações pouco frequentes atrasam o refinamento das garantias de segurança. Não houve um único atraso de atualização que fosse ideal para todos os ambientes.
Horizonte de Olhar à Frente ( $h$ ): Horizontes mais longos geralmente melhoraram a segurança em ambientes complexos (como Gravity), mas foram redundantes em tarefas de horizonte curto (como Aircraft).

Significância e Alegações

O artigo afirma que a blindagem probabilística adaptativa oferece uma solução prática para o RL seguro em cenários onde o modelo do ambiente é parcialmente conhecido (apenas a topologia) e as probabilidades de transição devem ser aprendidas online.

Os autores enfatizam que sua abordagem equilibra o dilema exploração-explotação com as restrições de segurança. Ao permitir que o escudo se adapte conforme o modelo melhora, o sistema evita a "armadilha conservadora" onde um escudo estático e excessivamente cauteloso impede que o agente aprenda as verdadeiras dinâmicas do ambiente. O trabalho demonstra que é possível manter garantias de segurança e reduzir significativamente as violações durante o próprio processo de aprendizado, em vez de apenas após o modelo estar totalmente aprendido, tornando a técnica aplicável a cenários do mundo real onde as violações de segurança são custosas.

O artigo mantém-se modesto em suas alegações, reconhecendo que a abordagem depende da premissa de um grafo estado-ação conhecido, que as violações de segurança podem não ser totalmente evitáveis e que a escolha do estimador e dos hiperparâmetros requer um ajuste cuidadoso dependendo das características específicas do ambiente.