Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents

Resumo Técnico: Raciocinar Menos, Verificar Mais

Problema: Falhas Silenciosas de Violação de Política
O artigo identifica um modo de falha específico e de alto risco em agentes de Grandes Modelos de Linguagem (LLMs) que utilizam ferramentas: violações silenciosas de política. Em muitos ambientes realistas (especificamente o domínio de companhias aéreas do $\tau^2$-bench), as ferramentas são "permissivas à política". Isso significa que uma ferramenta executará qualquer chamada sintaticamente válida, mesmo que a ação viole políticas do domínio (por exemplo, cancelar uma passagem não reembolsável ou modificar uma contagem de passageiros imutável).

Ao contrário dos erros "barulhentos", onde uma ferramenta rejeita uma chamada e retorna uma exceção, essas violações resultam em um estado errado silencioso. O banco de dados é corrompido, a tarefa falha, mas o agente não recebe nenhum sinal de erro e pode reportar sucesso com confiança. Como o rastro interno do agente não contém indicação da violação, ele não consegue se autocorrigir. Os autores argumentam que isso é primariamente um problema de confiança e confiabilidade, e não um déficit puro de capacidade; o agente falha em aplicar regras de política antes de mutar o estado, e o ambiente falha em impô-las.

Metodologia: Portões de Pré-Execução Determinísticos
Para enfrentar isso, os autores propõem uma intervenção leve: portões de pré-execução determinísticos e de leitura (read-only).

• Mecanismo: Antes que uma chamada de ferramenta mutante seja executada, um portão inspeciona os argumentos propostos e o estado atual do banco de dados contra uma codificação explícita e determinística de uma regra de política de domínio.
• Operação: O portão é uma função pura (sem chamadas de LLM, sem escritas) que retorna permitir (allow) ou rejeitar (reject) com um motivo estruturado. Se rejeitado, a chamada da ferramenta é interrompida (short-circuited) e o agente recebe uma mensagem de rejeição estruturada, forçando um novo planejamento.
• Escopo: Os portões operam sobre políticas decidíveis por estado (regras expressáveis como predicados determinísticos sobre o estado atual e argumentos). Eles não tentam resolver ambiguidades ou interpretar documentos de política em linguagem natural em tempo de execução; eles aplicam regras já codificadas em código.
• Implementação: Os autores implementaram um conjunto de quatro portões para o domínio de aviação:
  1. cancellation_eligibility (elegibilidade de cancelamento): Verifica classe tarifária, tempo, seguro e segmentos voados.
  2. baggage_allowance (permissão de bagagem): Valida atualizações de bagagem contra regras de cabine/assinatura.
  3. passenger_count (contagem de passageiros): Bloqueia tentativas de alterar a contagem de passageiros (imutável).
  4. must_read_before_write (deve ler antes de escrever): Garante que um agente tenha lido um registro antes de escrever nele.

Configuração Experimental

• Benchmark: Domínio de aviação $\tau^2$-bench (50 tarefas).
• Modelos:
  • Nível Orçamentário (Budget Tier): gpt-4o-mini (5 tentativas por tarefa, 250 tentativas no total).
  • Nível de Fronteira (Frontier Tier): gpt-5.2 (raciocínio padrão, 5 tentativas por tarefa, não replicado).
• Controles: Os controles negativos incluíram um domínio de varejo (onde as ferramentas são autogestoras) e o benchmark BFCL (onde os erros são tipicamente barulhentos/baseados em esquema).
• Métricas: pass1 (sucesso médio) e pass_k (probabilidade de que todas as $k$ tentativas independentes tenham sucesso, medindo a confiabilidade). A significância estatística foi avaliada via reamostragem bootstrap pareada.

Principais Resultados

1. Melhoria Agregada: No modelo de orçamento (gpt-4o-mini), o conjunto de quatro portões aumentou o sucesso de pass1 de 29,6% para 42,0% (+12,4 pontos percentuais). Esta melhoria foi estatisticamente significativa ($P=0,0012$).
2. Replicação: O aumento foi reproduzido em um conjunto de replicação de 15 sementes distintas (+12,3pp, $P=0,0008$), confirmando que o resultado não é ruído de amostragem.
3. Concentração do Efeito: A melhoria está concentrada onde os portões realmente atuam. Nas 26 tarefas onde os portões foram acionados, o sucesso subiu em +19,2pp. Nas 24 tarefas onde os portões nunca foram acionados, a melhoria foi insignificante (+5,0pp, o intervalo de confiança inclui zero).
4. Confiabilidade (pass_k): Os portões melhoraram significativamente a consistência. Enquanto o pass5 vanilla (sucesso em todas as 5 tentativas) caiu para 8,0%, a versão com portões manteve 26,0% (mais de 3x a taxa vanilla).
5. Evidência de Fronteira: No gpt-5.2, os mesmos portões melhoraram o sucesso de 61,2% para 71,6% (+10,4pp). No entanto, os autores observam que isso é apenas uma evidência sugestiva (não replicada, $n=5$), embora confirme que o modo de falha persiste em modelos mais fortes.
6. Controles Negativos:
   • Domínio de Varejo: Os portões não forneceram benefício (e tiveram uma estimativa negativa leve) porque as ferramentas de varejo já impõem pré-condições, tornando a classe de "estado errado silencioso" inexistente.
   • BFCL: Os portões foram acionados zero vezes, pois os erros eram tipicamente incompatibilidades de esquema barulhentas, em vez de violações de política silenciosas.

Contribuições e Alegações
O artigo apresenta quatro contribuições específicas:

1. Caracterização de Falha: Identifica "violações silenciosas de política em ferramentas permissivas à política" como uma falha de confiança distinta, onde o agente viola a política, a ferramenta executa e nenhum sinal de erro é gerado.
2. Intervenção Determinística: Implementa e avalia portões de pré-execução de leitura (read-only) que verificam chamadas mutantes contra predicados decidíveis por estado.
3. Resultado Empírico Replicável: Demonstra um aumento reproduzível no sucesso das tarefas no domínio de aviação $\tau^2$-bench usando um conjunto de quatro portões.
4. Análise de Limites: Mostra que o mecanismo é eficaz apenas quando as ferramentas são permissivas à política e as políticas são decidíveis por estado. Ele agrega pouco valor onde as ferramentas se autoimponem ou onde as tarefas não induzem violações de política.

Significância e Limitações
Os autores enquadram este trabalho como um resultado de avaliação limitada e confiabilidade, não como uma solução geral para a segurança de agentes.

• Significância: O trabalho demonstra que, em ambientes permissivos à política, a verificação determinística na fronteira da ação pode recuperar uma fração mensurável de falhas silenciosas, transformando uma corrupção silenciosa em uma rejeição explícita da qual o agente pode potencialmente se recuperar. Destaca que o sucesso da tarefa e a segurança nem sempre estão em tensão; bloquear uma escrita proibida pode melhorar o estado final da tarefa.
• Limitações:
  • O resultado baseia-se em um único domínio positivo (aviação); a generalidade é uma conjectura apoiada por controles negativos.
  • Os portões não garantem a recuperação da tarefa; um agente pode entrar em loop ou falhar em encontrar um plano complacente após uma rejeição.
  • A qualidade dos portões é desigual; um portão (cancellation_eligibility) carregou a maior parte do ganho, enquanto outros tiveram precisão menor.
  • O método exige que as políticas sejam decidíveis por estado; não pode lidar com regras que exijam interpretação legal ou julgamento humano.
  • Os resultados do modelo de fronteira não foram replicados e devem ser tratados como evidência de suporte, não como um âncora estatística.

O artigo conclui que os benchmarks e os sistemas de implantação devem distinguir entre erros "barulhentos" e estados errados "silenciosos", e que a verificação determinística continua sendo uma camada valiosa mesmo à medida que as capacidades dos modelos melhoram.