Resumo Técnico: PolicyFaultBench

Declaração do Problema

O artigo aborda uma lacuna crítica na garantia de segurança de agentes de IA que utilizam ferramentas. Embora os benchmarks existentes foquem em se um agente comete uma ação prejudicial ou navega com sucesso em um ambiente de ferramenta, eles frequentemente negligenciam a confiabilidade da camada de mediação de tempo de execução que reside entre uma proposta estruturada de um modelo e sua execução.

O problema central é que um modelo não precisa de autoridade de execução para criar riscos; uma proposta estruturada é suficiente se o tempo de execução a despachar sem uma verificação confiável. Os autores argumentam que motores de política externos, destinados a atuar como um portão de "falha fechada" (fail-closed), podem conter falhas em si mesmos (ex: padrões de sujeito errôneos, verificações ausentes ou exceções de falha aberta). Além disso, há uma falta de testes rigorosos para a conformidade da interface de proposta — garantir que a saída do provedor corresponda estritamente ao esquema esperado exigido pelo motor de política. O artigo postula que o sucesso da execução não equivale à adequação de falhas de política, e que a garantia em tempo de execução requer evidências separadas para exatidão da interface, correção da política, efeitos de estado e generalização.

Metodologia

O PolicyFaultBench emprega uma abordagem determinística baseada em mutação para isolar e testar a camada de mediação, distinta do teste das capacidades de planejamento do modelo.

1. Design Experimental

• Operações Sintéticas Congeladas: O estudo utiliza um corpus de 40 operações sintéticas (10 famílias de ameaças × 4 variantes). O modelo não é solicitado a planejar uma ação, mas a transcrever uma operação predefinida em uma proposta estruturada. Isso remove variáveis de planejamento abertas e isola a interface e a lógica da política.
• Famílias de Ameaças: O corpus cobre injeção de prompt indireta, acesso entre locatários (cross-tenant access), escape de escopo de caminho, escalonamento de comando, egress não aprovado, delegado confuso (confused deputy), escalonamento de delegação, envenenamento de memória, lavagem de aprovação e tratamento de erro de política.
• Provedores: O estudo utiliza OpenAI (gpt-5.6-sol) e Anthropic (claude-sonnet-5). Um fluxo de trabalho Gemini foi tentado, mas interrompido devido a restrições de infraestrutura.

2. Estratégia de Política e Mutação

• Duas Arquiteturas de Política:
  1. Política de Regra Ordenada: O mediador primário avalia as regras sequencialmente.
  2. Política de Capacidade: Um motor independente que resolve capacidades do lado do servidor baseando-se em sujeito, locatário, recurso, proveniência e risco.
• Teste de Mutação: Os autores definem 12 operadores de mutação de primeira ordem (ex: inversão de decisão, alargamento de escopo de sujeito, bypass de portão de aprovação, exceção de falha aberta) para injetar falhas na lógica da política.
• Estágios de Adequação:
  • Núcleo Congelado (Frozen Core): Testa a política contra o corpus inicial de 40 casos.
  • Sondas Guiadas por Sobreviventes (Survivor-Guided Probes): Se os mutantes sobreviverem ao núcleo congelado, sondas específicas são adicionadas para eliminá-los. Isso distingue entre detecção inicial de falhas e reparo direcionado.

3. Níveis de Evidência e Cronologia

• v1 (Histórico): Um livro de registros primário de 400 tentativas da OpenAI e um registro secundário de 400 tentativas da Anthropic. Auditorias pós-execução revelaram adições sistemáticas de contexto na saída v1 da Anthropic, levando ao desvio da interface (interface drift).
• v2 (Prospectivo): Uma execução confirmatória pré-registrada para a Anthropic (400 tentativas) usando um portão de conformidade pré-política "corrigido" que impõe conformidade exata antes da avaliação da política.
• Replicação Externa: Um segundo corpus de 40 casos derivado dos suites AgentDojo v1 foi congelado antes da execução para testar a generalização entre diferentes conjuntos de operações e arquiteturas de política.

4. Mecanismos de Verificação

• Replay Offline: As propostas são reproduzidas em um sandbox determinístico para verificar se a decisão da política registrada e a transição de estado correspondem ao oráculo.
• Endpoints de Interface:
  • Conformidade de Objeto Completo (Full-Object Conformance): Requer correspondência exata de todo o objeto de proposta (sujeito, ação, recurso, argumentos, contexto).
  • Conformidade de Envelope (Envelope Conformance): Verifica apenas campos relevantes para a decisão, permitindo anotações não autoritativas.

Resultados Principais

1. Adequação de Mutação

• Núcleo Congelado: O corpus inicial de 40 casos eliminou 7 de 12 mutantes de regra ordenada (58,33%). Cinco mutantes sobreviveram, especificamente aqueles envolvendo alargamento de sujeito, bypass de aprovação, exclusão temporal, exceções de falha aberta e omissão de reset de estado.
• Suíte Expandida: Após a adição de sondas guiadas por sobreviventes, todos os 12 mutantes foram eliminados.
• Corpus Externo: O corpus derivado do AgentDojo foi significativamente mais fraco, eliminando apenas 2/12 mutantes de regra ordenada e 1/12 de mutantes de capacidade inicialmente. Isso demonstra que o sucesso da execução em um novo corpus não garante a adequação de falha da política.

2. Decisão e Contenção

• Sucesso de Replay: Em 1.200 registros concluídos (OpenAI v1, Anthropic v1, Anthropic v2), cada caso de negação esperado foi corretamente negado, e nenhuma mudança de estado ocorreu para propostas negadas.
• Contenção: Zero falhas de contenção foram observadas. Todas as 791 propostas admitidas concordaram sob ambas as políticas, e todas as transições verificadas corresponderam.

3. Conformidade de Interface e Desvio

• Discrepância v1: Na execução histórica v1, a OpenAI alcançou 100% de conformidade de objeto completo. A Anthropic correspondeu apenas 291/400. A incompatibilidade foi estreita: os campos obrigatórios estavam intactos, mas a Anthropic inseriu texto de aviso extra no objeto de contexto.
• Correção v2: A execução prospectiva Anthropic v2, usando o portão pré-política corrigido, alcançou 400/400 correspondências de objeto completo.
• Falha de Replicação Externa: A regra de aceitação de 800/800 pré-registrada não foi cumprida. A Anthropic falhou em 9/400 tentativas no corpus externo (97,75% de sucesso). Essas falhas ocorreram em um cenário de pagamento benigno, onde a Anthropic adicionou um campo approval_scope não solicitado. Estes foram colocados em quarentena antes da avaliação da política, impedindo a execução.

4. Latência e Custo

• A Anthropic demonstrou menor latência mediana (2,2s) comparada à OpenAI (6,6s).
• O custo total para os três livros de registros de 400 tentativas foi de aproximadamente $4,68.

Principais Contribuições

O artigo faz as seguintes contribuições específicas para o campo da garantia de agentes de IA:

1. Benchmark Delimitado: Um corpus de 40 cenários especificamente para mediação de política e conformidade de interface, distinto de benchmarks de planejamento de agente de código aberto.
2. Modelo de Mutação: Um framework de mutação de diagnóstico que separa a adequação "congelada" do reparo "guiado por sobreviventes", rotulando explicitamente as sondas derivadas dos sobreviventes.
3. Replay de Estado Offline: Um método para verificar decisões de política e transições de estado sem reexecutar o provedor, usando semântica de sandbox determinística.
4. Confirmação Prospectiva: Uma replicação pré-registrada e prospectivamente congelada (Anthropic v2) que valida um caminho de conformidade pré-política corrigido.
5. Ablação de Interface: Uma análise comparativa de conformidade de "Objeto Completo" vs. "Envelope de Decisão", destacando o equilíbrio entre rigor e disponibilidade.
6. Generalização Externa: Uma extensão pré-registrada usando um corpus derivado independentemente (AgentDojo) e uma segunda arquitetura de política (baseada em Capacidade), demonstrando que o sucesso de execução e a adequação de falha de política são propriedades distintas.

Significância e Alegações

O artigo alega modestamente que o PolicyFaultBench fornece um método para interrogar a camada específica entre uma proposta de modelo e um efeito colateral executado. Sua principal significância não reside em estabelecer uma taxa de segurança universal, mas em demonstrar que:

• O sucesso da execução não é um proxy para a correção da política. Um sistema pode executar ações seguras com sucesso enquanto falha em detectar falhas de política (baixas pontuações de mutação) ou falha em impor contratos de interface.
• A exatidão da interface é um requisito de garantia separado. Mesmo que uma decisão de política seja correta, o "desvio" no objeto de proposta (ex: campos extras) pode causar rejeições de falha fechada ou, inversamente, ser aceito silenciosamente se a política for muito permissiva.
• A generalização é específica do endpoint. O sucesso em um corpus não garante a adequação de mutação em outro; diferentes corpora expõem diferentes classes de falhas.
• O design de falha fechada (fail-closed) é eficaz. O sistema colocou corretamente em quarentena as 9 propostas não conformes da Anthantic na replicação externa, impedindo qualquer avaliação de política ou mudança de estado, validando assim o mecanismo de falha fechada mesmo quando a regra de aceitação de 800/800 foi perdida.

Os autores concluem que a garantia em tempo de execução exige evidências distintas para exatidão de interface, correção de política, efeitos de estado e generalização de corpus-política, em vez de depender de uma única métrica de "segurança".