🤖 AI

A Survey on the Verification of Reinforcement Learning Policies

Este levantamento aborda o desafio crítico de verificar políticas de aprendizado por reforço em domínios críticos à segurança, propondo uma taxonomia unificadora baseada em paradigmas de verificação, escopos temporais e forças de garantia, ao mesmo tempo em que esclarece fundamentos teóricos e identifica direções de pesquisas futuras.

Autores originais: Luca Marzari, Ezio Bartocci, Enrico Marchesini

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Luca Marzari, Ezio Bartocci, Enrico Marchesini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a jogar um videogame. Você não escreve cada regra para cada situação possível; em vez disso, você deixa o robô aprender por tentativa e erro, recompensando-o por vencer e punindo-o por perder. Isso é chamado de Aprendizado por Reforço (RL - Reinforcement Learning). É como um cachorrinho digital que aprende a buscar uma bola ao persegui-la, tornando-se tão bom no jogo que pode vencer campeões humanos. Mas aqui está o detalhe: como o robô aprende por conta própria, ele constrói um "cérebro" (uma rede neural complexa) que é um pouco uma caixa preta. Sabemos que funciona, mas nem sempre sabemos por que ele toma certas decisões, ou o que ele fará se vir algo que nunca viu antes.

Agora, imagine entregar as chaves de um carro autônomo ou de uma rede elétrica a este robô. Se o robô cometer um erro estranho devido a uma sombra bizarra ou um ruído repentino, as consequências podem ser desastrosas. É aqui que entra a Verificação. Pense na verificação como um inspetor de segurança super rigoroso que não apenas observa o robô jogar; eles provam matematicamente que o robô nunca baterá, não importa o que aconteça. A grande questão que os cientistas estão fazendo é: "Podemos confiar nesses robôs superinteligentes e autodidatas com nossas vidas?"

Este artigo é um mapa massivo para um grupo de pesquisadores tentando responder a essa pergunta. Os autores, Luca Marzari, Ezio Bartocci e Enrico Marchesini, notaram que, embora muitas pessoas estejam tentando construir esses inspetores de segurança, todos estão falando línguas diferentes e usando ferramentas diferentes. Alguns estão verificando se o robô é seguro por apenas um segundo; outros estão verificando se ele permanece seguro por uma hora. Alguns são 100% certos, mas muito lentos; outros são rápidos, mas apenas "razoavelmente certos". O artigo reúne todas essas ideias espalhadas em um sistema organizado, mostrando-nos como elas se encaixam, onde falham e o que ainda precisamos inventar para tornar nossos amigos robôs verdadeiramente seguros.

O Grande Mapa do Inspetor de Segurança

Os autores perceberam que o mundo da segurança robótica era um pouco como um bazar caótico onde todos gritavam sobre sua própria maneira única de verificar erros. Para corrigir isso, eles construíram uma taxonomia unificada, que é apenas uma palavra sofisticada para um arquivo gigante e organizado. Eles classificaram todos os métodos existentes em três categorias principais para nos ajudar a entender o que cada ferramenta realmente faz.

1. O "Instantâneo" vs. O "Filme" (Escopo Temporal)
Imagine que você está verificando se um motorista é seguro.

Passo a passo (Instantâneo): Isso é como tirar uma única foto do motorista em um semáforo vermelho. O inspetor pergunta: "Se a luz estiver vermelha, o motorista pisará no acelerador?". É rápido e fácil, mas não diz o que acontece se o motorista continuar dirigindo por uma hora. A maioria das ferramentas atuais é assim; elas verificam uma decisão de cada vez.
Múltiplos passos (Filme): Isso é como assistir ao filme inteiro da viagem. O inspetor pergunta: "Se o motorista continuar indo, ele eventualmente baterá em uma árvore?". Isso é muito mais difícil porque as ações do motorista hoje mudam as condições da estrada amanhã. O artigo observa que, embora isso seja mais realista, também é incrivelmente difícil de calcular, frequentemente fazendo com que os computadores travem ou fiquem sem memória.

2. A "Prova Matemática" vs. O "Pressentimento" (Paradigma)

Formal (Prova Matemática): Estas ferramentas agem como um matemático rigoroso. Elas dizem: "Provei com 100% de certeza que o robô nunca baterá". São muito confiáveis, mas podem ser dolorosamente lentas, especialmente para robôs complexos.
Probabilística (Pressentimento): Estas ferramentas agem como um meteorologista. Elas dizem: "Há 99,9% de chance de o robô estar seguro". Elas são muito mais rápidas e podem lidar com problemas maiores, mas não podem prometer segurança absoluta. O artigo sugere que, para sistemas muito grandes e complexos, talvez tenhamos que nos contentar com essas suposições de alta confiança em vez de provas perfeitas.

3. O "Sim/Não" vs. O "Onde Exatamente" (Garantias e Enumeração)

Binária (Sim/Não): A maioria das ferramentas apenas dá um polegar para cima ou para baixo. "É seguro? Sim." ou "Não é seguro, aqui está um exemplo de colisão."
Enumeração (O Mapa do Perigo): Uma abordagem mais nova e emergente tenta desenhar um mapa de exatamente onde o robô falhará. Em vez de apenas dizer "Ele pode bater", ela diz: "Ele baterá se o obstáculo estiver nesta zona vermelha específica". O artigo destaca que, embora isso seja super útil para consertar o robô (para que você possa treiná-lo especificamente para essas zonas ruins), é computacionalmente muito caro, como tentar contar cada grão de areia em uma praia.

O Trade-off: Velocidade vs. Certeza

A maior descoberta do artigo é que você não pode ter tudo. Existe um constante cabo de guerra entre expressividade (quão complexo é o cérebro do robô) e escalabilidade (o quão rápido a ferramenta pode verificá-lo).

Os autores mostram que, à medida que os robôs ficam mais inteligentes e seus "cérebros" maiores, as ferramentas matemáticas antigas e perfeitas começam a falhar. Elas simplesmente levam tempo demais para rodar. Por exemplo, o artigo menciona que verificar a segurança de um robô para uma longa viagem (múltiplos passos) frequentemente leva a uma "explosão do espaço de estados", que é uma forma sofisticada de dizer que o número de possibilidades torna-se tão enorme que nenhum computador consegue verificar todas elas.

Eles também apontam que muitas ferramentas atuais fazem uma grande suposição: elas fingem que o robô está olhando para uma imagem estática. Mas no mundo real, os robôs estão se movendo, e suas ações passadas mudam seu futuro. O artigo argumenta que precisamos de novas ferramentas que entendam a história. Se um robô está dirigindo um carro, ele não vê apenas a estrada agora; ele lembra onde estava há cinco segundos. As ferramentas atuais muitas vezes têm dificuldade em verificar essas decisões baseadas em memória, especialmente quando vários robôs trabalham juntos (como uma equipe de drones).

O Que Vem a Seguir? Os Desafios Abertos

O artigo não apenas lista o que temos; ele aponta os buracos na cerca.

O Probleo da Memória: Robôs com "memória" (chamados de Redes Neurais Recorrentes) são difíceis de verificar porque sua segurança depende de uma cadeia de eventos passados. Os autores sugerem que precisamos de novas maneiras de verificar essas cadeias sem nos perdermos nos detalhes.
O Probleo do Trabalho em Equipe: Quando vários robôs trabalham juntos, verificar se um é seguro não significa que o time seja seguro. Eles podem acidentalmente se coordenar de uma forma que cause um acidente. O artigo observa que verificar essas equipes é um quebra-cabeça enorme e não resolvido.
O Probleo do "Novo Cérebro": Os robôs modernos usam "Transformers" (a mesma tecnologia por trás dos chatbots), que são muito diferentes das redes tradicionais. O artigo sugere que nossas ferramentas de segurança atuais podem nem sequer entender como esses novos cérebios pensam, deixando uma lacuna em nossa capacidade de verificação.

A Conclusão

Este levantamento é um chamado de atenção. Ele nos diz que, embora tenhamos feito grandes progressos na verificação de cérebros robóticos simples, ainda estamos longe de poder garantir a segurança dos robôs complexos, com memória e que trabalham em equipe do futuro. Os autores sugerem que precisamos parar de tentar forçar ferramentas antigas em problemas novos. Em vez disso, precisamos inventar novos métodos de verificação que entendam como esses robôs realmente aprendem, se movem e interagem com o mundo.

Eles não afirmam ter resolvido o problema ainda. De fato, enfatizam que, para muitos desses cenários avançados, ainda estamos na fase de "sugestão", onde temos boas ideias, mas não soluções perfeitas. O caminho a seguir envolve equilibrar a necessidade de certeza absoluta com a realidade de que algumas coisas podem ser complexas demais para serem provadas perfeitamente, exigindo que dependamos de probabilidades de alta confiança e formas mais inteligentes e direcionadas de encontrar e corrigir os pontos perigosos na lógica do nosso robô.

Resumo Técnico: Um Levantamento sobre a Verificação de Políticas de Aprendizado por Reforço

1. Definição do Problema

O Aprendizado por Reforço (RL - Reinforcement Learning) é cada vez mais implementado em domínios críticos de segurança, como a condução autónoma e sistemas de energia. No entanto, a implementação de agentes de RL em cenários de alto risco é dificultada pela falta de garantias comportamentais rigorosas. As políticas de RL são tipicamente implementadas como Redes Neurais Profundas (DNNs) com fronteiras de decisão complexas e não lineares que podem exibir comportamentos inseguros sob condições raras, mudanças de distribuição ou efeitos de interação.

Ao contrário do aprendizado supervisionado, onde a correção é definida pela robustez entrada-saída em distribuições fixas, a correção em RL depende fundamentalmente de interação, feedback e mudança de distribuição durante a execução. Uma política de RL molda ativamente a distribuição de estados que encontra através do controle de malha fechada (closed-loop). Isso leva ao acúmulo de erros, falhas de eventos raros e violações de segurança que podem se manifestar apenas em horizontes longos (por exemplo, uma política robusta em cada passo individual pode ainda assim falhar devido a erros cumulativos). Consequentemente, os objetivos de verificação em RL não podem ser reduzidos a uma análise estática de entrada-saída; eles devem considerar a dependência temporal, o acoplamento política-ambiente e a incerteza no momento da implantação.

A literatura sobre verificação de RL é atualmente conceitualmente fragmentada. Métodos são desenvolvidos sob pressupostos variados, visam diferentes noções de correção e operam sobre diferentes escopos temporais, tornando difícil comparar abordagens ou compreender suas relações fundamentais.

2. Metodologia e Taxonomia

O artigo introduz uma taxonomia unificada para organizar os métodos existentes de verificação pós-treinamento para políticas baseadas em redes neurais. A taxonomia classifica as abordagens ao longo de três eixos primários:

Paradigma de Verificação: Distingue entre métodos Formais (fornecendo garantias determinísticas e sólidas via satisfatibilidade ou alcançabilidade) e métodos Probabilísticos (quantificando o risco e fornecendo garantias de alta confiança em ambientes estocásticos).
Escopo Temporal:
- Passo-a-passo (Step-wise): Analisa uma única decisão da política em um dado estado, abstraindo a dinâmica futura. Esta é a classe mais madura de ferramentas.
- Multi-passo (Multi-step): Raciocina sobre o comportamento ao nível de trajetória ou de malha fechada sobre horizontes finitos ou infinitos, capturando a interação entre a política e o ambiente.
Força das Garantias: Varia de Sólida e Completa (verificação exata) para Sólida (sobre-aproximações) e Probabilística (limites estatísticos).

A taxonomia também inclui um eixo de "Prontidão para RL" (RL Readiness), indicando se um método pode ser aplicado diretamente a políticas de RL treinadas sem abstração ou reformulação substancial.

Formulações de Verificação Chave

Verificação Passo-a-passo: Formulada como a verificação de se uma política seleciona uma ação insegura dentro de uma região de entrada local $X$ $X$ . Isso é frequentemente mapeado para problemas de Verificação de Redes Neurais usando:
- Satisfatibilidade (SAT): Busca por uma entrada de contraexemplo (NP-difícil).
- Alcançabilidade (Reachability): Computação de sobre-aproximações de conjuntos de saída alcançáveis (ex: via Interpretação Abstrata ou Relaxação Linear).
- Probabilística: Estimativa da probabilidade de ações inseguras sem assumir modelos de ruído específicos (ex: PT-LiRiper).
Verificação Multi-passo: Formulada como a determinação de se qualquer trajetória de malha fechada atinge um estado inseguro. As abordagens incluem:
- MDPs Rotulados e Lógica Temporal: Uso de Lógica Temporal Linear (LTL) para especificar propriedades de trajetória, verificadas sobre o produto do MDP induzido pela política e um autômato.
- Certificados Neuro-Simbólicos: Combinação de políticas aprendidas com certificados de teoria de controle (ex: Funções de Barreira de Controle, Funções de Lyapunov) para impor segurança em tempo de execução.
- Probabilística Multi-passo: Estimativa da probabilidade de satisfazer propriedades temporais ao longo de trajetórias via amostragem ou propagação de limites probabilísticos.
Verificação Baseada em Enumeração: Um paradigma emergente que computa o conjunto de todas as entradas que levam a ações inseguras (o pré-imagem). Isso fornece informações de nível de região para depuração e avaliação de risco, embora a enumeração exata seja #P-difícil.

3. Principais Contribuições

Taxonomia Unificada: O artigo fornece a primeira organização abrangente dos métodos de verificação de RL ao longo dos eixos de paradigma, escopo temporal e força de garantia, esclarecendo os compromissos entre expressividade e escalabilidade.
Formalização: Unifica os fundamentos teóricos dos problemas de verificação de RL usando uma notação consistente, tornando explícitos os pressupostos e limitações implícitos.
Análise Crítica: O levantamento analisa as limitações dos métodos existentes, particularmente os gargalos de escalabilidade na verificação multi-passo e os desafios de aplicar ferramentas passo-a-passo a sistemas recorrentes ou multiagentes.
Benchmarking de Ferramentas: Fornece uma comparação empírica de ferramentas de verificação (incluindo participantes do VNN-COMP e métodos de aproximação de pré-imagem) em benchmarks de RL (ACAS Xu, CartPole, LunarLander, Dubin's Rejoin), destacando que, embora métodos de propagação de limites escalem bem para tarefas passo-a-passo, a verificação multi-passo permanece um gargalo significativo devido à explosão do espaço de estados.

4. Resultados e Observações

Escalabilidade vs. Precisão: Existe um compromisso fundamental. Métodos exatos (SAT, enumeração exaustiva) são frequentemente intratáveis para redes grandes ou horizontes longos. Sobre-aproximações e métodos probabilísticos oferecem melhor escalabilidade, mas podem fornecer garantias conservadoras ou probabilísticas em vez de segurança absoluta.
Maturidade do Passo-a-passo: A verificação passo-a-passo é a área mais madura, com ferramentas como $\alpha,\beta$ -CROWN e NNV 2.0 mostrando escalabilidade promissora. No entanto, esses métodos não conseguem raciocinar sobre a execução em malha fechada ou efeitos de longo horizonte.
Desafios Multi-passo: A verificação multi-passo é limitada pela "maldição da dimensionalidade" ao modelar dinâmicas e especificações temporais. Abordagens neuro-simbólicas oferecem garantias fortes, mas dependem de pressupostos de modelagem adicionais (ex: dinâmicas conhecidas ou certificados aprendíveis) que restringem a generalidade.
Utilidade da Enumeração: Abordagens baseadas em enumeração, embora computacionalmente caras, fornecem valor único para depuração de políticas, coleta de dados direcionada e quantificação da severidade do risco residual ao caracterizar regiões inseguras do espaço de estados.

5. Desafios Abertos e Direções Futuras

O artigo identifica várias lacunas críticas entre a verificação clássica de redes neurais e os sistemas modernos de RL:

Políticas Recorrentes (RNNs): A verificação de políticas dependentes de histórico em ambientes parcialmente observáveis é desafiadora porque a segurança depende de trajetórias de estados ocultos viáveis. Os métodos atuais frequentemente falham em distinguir entre estados ocultos realizáveis e espúrios, levando a garantias excessivamente conservadoras ou contraexemplos espúrios.
Aprendizado por Reforço Multiagente (MARL): A segurança em MARL emerge das interações. Verificar políticas descentralizadas requer raciocinar sobre espaços de estado-ação conjuntos e coordenação implícita, o que introduz complexidade exponencial e novos desafios semânticos relativos à segurança por agente vs. por equipe.
Incerteza do Ambiente: A maioria dos métodos assume dinâmicas conhecidas ou aproximadamente precisas. Sistemas do mundo real enfrentam incompatibilidade de modelo e não-estacionaridade, levantando questões sobre como fornecer garantias tratáveis para o sistema de malha fechada sob incerteza.
Arquiteturas Modernas: Verificar Transformers e modelos baseados em atenção é difícil porque os mecanismos de atenção violam as suposições de linearidade por partes, e esses modelos raciocinam sobre históricos de comprimento variável, complicando a abstração temporal.

6. Significância

O artigo argumenta que a verificação de RL não é meramente um problema de escala, mas um problema conceitual. A correção em RL deve ser definida em termos de interações, dependência temporal e decisões descentralizadas, em vez de robustez estática de entrada-saída. A taxonomia proposta serve como uma perspectiva unificadora para navegar na literatura fragmentada, ajudando profissionais a selecionar as ferramentas apropriadas com base em seus objetivos de verificação específicos (ex: robustez local vs. segurança de longo horizonte) e nas restrições estruturais de seus sistemas de RL. Os autores enfatizam que o progresso futuro exige frameworks que alinhem melhor com a semântica de execução do RL, equilibrando simultaneamente a solidez e a escalabilidade.