🤖 AI

RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards

O artigo apresenta o RePolicy, um agente de salvaguarda baseado em aprendizado por reforço que invoca dinamicamente políticas de segurança específicas ao contexto para gerar julgamentos de segurança fundamentados, demonstrando adaptabilidade e desempenho de detecção superiores em diversos benchmarks comparado aos métodos existentes de prompting e fine-tuning.

Autores originais: Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

Publicado 2026-08-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, surgiu uma nova geração de sistemas que faz mais do que apenas responder perguntas ou escrever textos. Estes são agentes autônomos, entidades digitais capazes de planejar tarefas complexas, usar ferramentas de software e interagir com o mundo exterior para alcançar objetivos específicos. Imagine um assistente pessoal que não pode apenas reservar um voo, mas também navegar em um site, preencher formulários e gerenciar uma agenda sem orientação humana constante. À medida que esses agentes se tornam mais capazes, os riscos para sua segurança aumentam na mesma proporção. O perigo já não é apenas sobre uma única frase inapropriada; trata-se de uma sequência de ações que, embora pareçam inofensivas isoladamente, podem levar a um resultado prejudicial quando encadeadas. Garantir que esses agentes ajam com segurança exige um sistema que possa observar toda a sua jornada, entender as regras de trânsito e intervir antes que um erro se torne um desastre.

Durante anos, a abordagem padrão para manter a segurança desses agentes baseou-se em regras estáticas ou comandos simples. Os desenvolvedores programavam o sistema de segurança com uma lista fixa de comportamentos proibidos ou pediam ao modelo que verificasse seu trabalho em relação a um conjunto geral de diretrizes. No entanto, o mundo real é complexo demais para que uma lista de regras única e imutável cubra todas as situações. Uma tarefa que é segura em um contexto pode ser perigosa em outro, dependendo de quem está pedindo, quais ferramentas estão disponíveis ou quais leis se aplicam. Além disso, as próprias políticas de segurança mudam ao longo do tempo. Confiar que um modelo simplesmente memorize um conjunto fixo de regras muitas vezes o deixa confuso ao enfrentar um novo cenário ou uma combinação de regras que ele nunca viu antes. É como tentar navegar em uma cidade com um mapa que mostra apenas as ruas que você já visitou; quando você vira uma esquina para um novo bairro, o mapa não oferece ajuda.

Para resolver isso, pesquisadores desenvolveram um novo método chamado RePolicy. Em vez de tratar as regras de segurança como uma lista passiva de texto para ser lida, este sistema as trata como ferramentas ativas que o verificador de segurança deve escolher e usar. A ideia central é ensinar o sistema de segurança a olhar para uma situação específica, escanear uma biblioteca de regras disponíveis e escolher aquela que realmente se aplica. Uma vez selecionada a regra corre forma, o sistema lê seus detalhes específicos e usa essa informação para fazer um julgamento final sobre se o comportamento do agente é seguro. Essa abordagem transforma a verificação de segurança de um exercício de leitura passiva em um processo de tomada de decisão ativo, onde o sistema aprende a saber qual regra retirar da gaveta para o trabalho em questão.

Os pesquisadores construíram este sistema criando primeiro um enorme conjunto de dados com mais de 20.000 exemplos. Esses exemplos incluíam registros detalhados de agentes realizando tarefas, emparelhados com as regras de segurança específicas que regiam essas tarefas. Eles rotularam cada registro para mostrar exatamente qual regra deveria ser aplicada e por quê. Usando esses dados, eles primeiro ensinaram o sistema o básico de como ler uma situação e encontrar uma regra correspondente através de um processo de aprendizado supervisionado, semelhante a como um aluno aprende com um livro didático. No entanto, simplesmente memorizar exemplos não é suficiente para lidar com a natureza imprevisível das tarefas do mundo real. Para levar o sistema além, os pesquisadores aplicaram então uma técnica conhecida como aprendizado por reforço. Nesta fase, o sistema foi permitido praticar a tomada de decisões repetidamente. Quando escolhia a regra certa e fazia o julgamento de segurança correto, recebia uma recompensa. Quando escolhia a regra errada ou deixava passar um perigo, recebia uma penalidade. Com o tempo, o sistema aprendeu a refinar suas escolhas, tornando-se melhor em distinguir entre regras que pareciam semelhantes, mas que se aplicavam a situações diferentes.

Uma parte crítica deste treinamento envolveu um truque inteligente para evitar que o sistema explorasse atalhos. Durante a prática, os pesquisadores misturavam regras irrelevantes e políticas "iscas" falsas junto com as corretas. Isso forçou o sistema a compreender verdadeiramente o contexto das ações do agente, em vez de apenas adivinhar com base em quais regras estavam presentes na lista. Se o sistema não conseguisse distinguir entre uma regra relevante e uma isca, ele falharia no teste. Isso garantiu que o sistema final aprendesse a identificar a política específica que regia uma situação com base nos detalhes da tarefa, e não apenas na presença de palavras-chave.

Quando testado contra seis diferentes benchmarks projetados para avaliar a segurança de agentes, o novo sistema apresentou um desempenho significativamente superior aos métodos existentes. Ele alcançou alta precisão na detecção de comportamentos inseguros em uma ampla variedade de cenários, superando tanto modelos de inteligência artificial de uso geral quanto ferramentas de segurança especializadas. Em quatro dos seis testes, ele ocupou o primeiro lugar, mostrando uma clara melhoria em sua capacidade de detectar riscos que outros sistemas perderam. Talvez o mais importante, o sistema demonstrou uma capacidade robusta de invocar a política de segurança correta mesmo quando a lista de regras disponíveis mudava ou quando o contexto mudava. Ele não apenas adivinhava; ele selecionava ativamente a regra certa e usava seu conteúdo para justificar sua decisão.

O estudo sugere que, ao ensinar os sistemas de segurança a selecionar e aplicar regras ativamente, em vez de apenas lê-las passivamente, podemos criar guardiões mais adaptáveis e confiáveis para agentes autônomos. Essa abordagem permite que o mecanismo de segurança evolua junto com os agentes que protege, lidando com novas ferramentas e regulamentações em mudança sem a necessidade de ser completamente reprogramado. Embora o sistema não seja uma solução perfeita e ainda dependa da qualidade das regras fornecidas a ele, os resultados indicam um caminho promissor. Ao transformar a invocação de políticas de segurança em uma tarefa de aprendizado, os pesquisadores deram um passo significativo para garantir que, à medida que os agentes artificiais se tornam mais independentes, eles permaneçam sob o controle de padrões de segurança claros, conscientes do contexto e eficazes.

Resumo Técnico: RePolicy

Declaração do Problema

Os riscos de segurança de agentes de Grandes Modelos de Linguagem (LLMs) evoluíram de conteúdos prejudiciais isolados para danos comportamentais que emergem ao longo de trajetórias completas de execução. As salvaguardas de agentes existentes dependem tipicamente de taxonomias de risco predefinidas ou políticas de segurança estáticas. No entanto, implementações no mundo real envolvem contextos complexos e dinâmicos onde uma mesma ação pode estar sujeita a diferentes restrições com base em permissões de usuários, requisitos organizacionais ou jurisdições regulatórias.

As salvaguardas atuais orientadas por políticas, que dependem amplamente de prompting ou ajuste fino supervisionado (SFT), enfrentam limitações significativas:

Adaptabilidade: Elas têm dificuldade em se adaptar a trajetórias não vistas ou novas combinações de políticas de segurança.
Mecanismo de Invocação: Elas tratam as políticas de segurança como um contexto passivo em vez de capacidades ativas e chamáveis. Consequentemente, muitas vezes falham em determinar qual política específica deve ser invocada ou como aplicar suas cláusulas a uma trajetória específica.
Mudança de Distribuição: Modelos baseados em SFT são limitados pela distribuição trajetória-política observada durante o treinamento e podem não generalizar para novos contextos de política.

Metodologia

Os autores propõem o RePolicy, uma salvaguarda de agente que formula a invocação de políticas de segurança como uma tarefa de aprendizado por reforço (RL) agêntica. Em vez de ler passivamente as políticas, o RePolicy aprende a selecionar e invocar ativamente a política aplicável de uma biblioteca dinâmica antes de realizar um julgamento de segurança.

1. Formulação da Tarefa

A salvaguarda opera sobre uma trajetória de agente completa $\tau$ e uma biblioteca de políticas dinâmica $P$ . O processo segue uma estrutura sequencial:

Invocação de Política: O modelo seleciona uma política aplicável $\hat{p}$ de $P$ com base em $\tau$ .
Recuperação de Conteúdo: O conteúdo completo $c(\hat{p})$ da política selecionada é recuperado.
Raciocínio e Julgamento: O modelo utiliza $\tau$ e $c(\hat{p})$ para gerar uma justificativa fundamentada na política $\hat{r}$ e um rótulo de segurança final $\hat{y} \in \{seguro, inseguro\}$ .

2. Construção de Dados: PolicyTraj-20K

Para apoiar esta abordagem, os autores construíram o PolicyTraj-20K, um conjunto de dados de mais de 20.000 trajetórias anotadas com políticas de segurança.

Síntese: Trajetórias de agentes diversas foram sintetizadas a partir de padrões de interação existentes, variando o conteúdo da tarefa enquanto preservavam padrões de uso de ferramentas e mecanismos de segurança.
Fundamentação: As políticas foram organizadas por "cenas de operação de agente" em vez de categorias de risco finais. Cada trajetória é anotada com sua política aplicável, cláusulas relevantes, rótulo de segurança e justificativa de decisão.
Estrutura: O conjunto de dados suporta tanto a inicialização supervisionada quanto o aprendizado por reforço, fornecendo a fundamentação explícita entre trajetória e política.

3. Pipeline de Treinamento

O RePolicy emprega um processo de treinamento em duas etapas:

Etapa 1: Ajuste Fino Supervisionado (SFT) de Cold-Start
O modelo é inicializado usando o PolicyTraj-20K para aprender a sequência completa de invocação-raciocínio. O modelo é treinado para:

Identificar a política correta de uma biblioteca local (contendo a política alvo e distratores).
Gerar a justificativa e o rótulo de segurança com base no conteúdo da política recuperada.
Seguir um formato de saída JSON estruturado.

Etapa 2: Aprendizado por Reforço com GRPO
Os autores aplicam a Otimização de Política Relativa de Grupo (GRPO) para otimizar diretamente os resultados da salvaguarda. As inovações principais incluem:

Recompensas Verificáveis: Uma função de recompensa composta $R = \lambda_{fmt}R_{fmt} + \lambda_{pol}R_{pol} + \lambda_{acc}R_{acc}$ $R = λ_{f m t} R_{f m t} + λ_{p o l} R_{p o l} + λ_{a cc} R_{a cc}$ avalia:
- Formato ( $R_{fmt}$ ): Validade da estrutura JSON e da chamada de política.
- Invocação de Política ( $R_{pol}$ ): Se a política correta foi selecionada ( $\hat{p} = p^*$ ).
- Precisão ( $R_{acc}$ ): Correção do rótulo de segurança final.
Perturbação de Contexto de Política: Para evitar que o modelo memorize associações fixas trajetória-política ou dependa da composição da biblioteca candidata, o processo de treinamento reamostra os distratores e embaralha as ordens das políticas. Isso força o modelo a determinar a aplicabilidade com base na semântica da trajetória e no escopo da descrição da política.

Principais Contribuições

Framework RePolicy: Uma nova salvaguarda que trata a invocação de políticas de segurança como uma capacidade ativa e aprendível, otimizada via RL, em vez de uma entrada de contexto passiva.
PolicyTraj-20K: Um novo conjunto de dados que fornece supervisão detalhada e fundamentada em políticas para trajetórias de agentes, cobrindo diversas ferramentas, ambientes e cenas de operação.
Inovações Metodológicas: A integração do GRPO com recompensas baseadas em regras e verificáveis, além da perturbação de contexto de política para garantir seleção de política robusta e generalização.
Validação Empírica: Avaliação abrangente em seis benchmarks diversos de segurança de agentes, demonstrando desempenho superior e robustez.

Resultados Experimentais

O RePolicy foi avaliado em seis benchmarks: ATBench, R-Judge, OpenAgentSafety, ASSEBench, HINTBench e AgentHazard. O modelo (RePolicy-4B) foi construído sobre o backbone Qwen3-4B-Instruct.

Desempenho Geral: O RePolicy-4B alcançou um F1 de Inseguro geral de 88,15%, superando o baseline externo mais forte em 3,98 pontos e o modelo de guarda especializado mais forte em 8,46 pontos.
Dominância nos Benchmarks: Classificou-se em primeiro lugar em quatro dos seis benchmarks, com margens significativas (ex: +5,47 no AgentHazard, +5,26 no ASSEBench).
Invocação de Política: O RL melhorou significamente as taxas de invocação de política correta de ~94,4% (cold-start) para 98,5%. O modelo distinguiu com sucesso as políticas relevantes dos iscas, com as taxas de seleção de iscas permanecendo abaixo de 1%.
Robustez: O modelo manteve alto desempenho mesmo conforme o tamanho da biblioteca de políticas candidatas variava (de 10 a 50 políticas), embora uma leve redução na precisão de seleção tenha sido observada conforme a biblioteca crescia.
Estudos de Ablação:
- O SFT de cold-start forneceu uma base sólida (+28,48 pontos sobre o modelo base).
- A invocação explícita de política foi identificada como o principal motor dos ganhos finais, particularmente em benchmarks heterogêneos como AgentHazard e OpenAgentSafety.
- A perturbação de contexto de política foi crucial para evitar o overfitting à composição específica da biblioteca de políticas.

Significância e Alegações

O artigo afirma que o RePolicy demonstra uma direção prática para construir salvaguardas de agentes mais adaptáveis e interpretáveis. Ao aprender a invocar ativamente as políticas de segurança, o sistema pode:

Adaptar-se a contextos de política em mudança e combinações de trajetória-política não vistas.
Fornecer justificativas interpretáveis e fundamentadas na política para julgamentos de segurança.
Superar tanto LLMs de propósito geral quanto modelos de guarda especializados treinados em taxonomias estáticas.

Os autores observam que seu trabalho é destinado à pesquisa defensiva. Eles reconhecem limitações, incluindo a suposição de que a biblioteca de políticas candidatas contém uma política aplicável suficientemente precisa e o overhead adicional de inferência introduzido pelo processo de invocação de múltiplas etapas. Eles enfatizam que o RePolicy não deve ser tratado como um mecanismo de aplicação autônomo em aplicações de alto risco sem supervisão humana e estratégias de defesa em profundidade.