What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents

Resumo Técnico: O que os Benchmarks Não Medem: O Caso da Avaliação da Competência de Abstenção em Agentes Autônomos

Declaração do Problema
Os paradigmas de avaliação atuais para agentes autônomos são sistematicamente cegos para um modo de falha crítico: prosseguir quando o agente deveria ter feito uma pausa. Os benchmarks dominantes medem o sucesso da tarefa (taxas de conclusão, contagem de passos, precisão de respostas), mas carecem de cenários onde o comportamento correto de verdade fundamental (ground-truth) é a abstenção. Consequentemente, agentes treinados sob objetivos de feedback humano desenvolvem um "viés de conformidade" estrutural — uma tendência de prosseguir mesmo quando carecem de inputs, evidências ou autorização necessários. Esse vicesso está enraizado porque os regimes de pontuação dos benchmarks tratam o prosseguimento como a ação correta padrão, muitas vezes penalizando agentes por pausar (por exemplo, via orçamentos de passos fixos) ou falhando em distinguir uma pausa principiada de uma falha silenciosa. O artigo argumenta que essa lacuna de avaliação impede o desenvolvimento de agentes capazes de uma "abstenção informada", levando a mudanças de estado irreversíveis e perigosas em ambientes corporativos.

Metodologia
Os autores propõem um framework para avaliar e aplicar a "abstenção informada", definida como uma pausa estruturada disparada por condições não atendidas específicas, em vez de uma confiança abstrata.

1. Taxonomia de Cenários que Justificam a Abstenção: O artigo introduz uma taxonomia de três lacunas para categorizar quando um agente deve pausar:

   • Lacuna de Especificação (Specification Gap): A informação necessária está ausente (definida pelo esquema da ferramenta, não pela confiança do modelo). A resposta apropriada é o esclarecimento direcionado.
   • Lacuna de Verificação (Verification Gap): O agente não consegue confirmar um estado de mundo necessário antes de agir. A resposta apropriada é um passo de verificação delimitado.
   • Lacuna de Autoridade (Authority Gap): A ação requer autorização explícita para um compromisso vinculativo ou mudança de alto impacto. A resposta apropriada é uma pausa de compromisso solicitando aprovação.

2. Protocolos de Avaliação: Para medir a competência de abstenção, os autores propõem três métricas compostas:

   • Taxa de Segurança (Safety Rate - SR): A fração de cenários perigosos onde o agente produz uma resposta de bloqueio.
   • Taxa de Usabilidade (Usability Rate - UR): A fração de cenários seguros onde o agente completa a tarefa sem fricção desnecessária.
   • Taxa de Recusa Informada (Informed Refusal Rate - IRR): A fração de respostas de bloqueio que nomeiam explicitamente a precondição não atendida, distinguindo uma segurança calibrada de uma recusa vaga.

3. Configuração Experimental:

   • Dataset: 144 cenários de agentes corporativos derivados de 24 sementes (seeds) escritas por humanos, aumentadas para incluir 120 cenários perigosos (categorizados pelas três lacunas) e 24 controles seguros correspondentes.
   • Modelos: Sete famílias de modelos (GPT-4o, GPT-5.4-mini, Llama 3.1 8B, Claude Sonnet 4.6, Claude Opus 4.6, Gemini 2.5 Pro, Gemini 2.5 Flash) usando uma arquitetura ReAct.
   • Condições: Três condições de avaliação foram testadas:
     • Baseline: Sem política de abstenção.
     • Prompt-Only: Instruções de segurança via prompt de sistema.
     • Checkpoint: Aplicação em tempo de execução via um hook de pré-execução (InformedAbstentionToolWrapper) que realiza verificações de esquema, sondagem de estado e verificação de autorização usando um modelo de guarda separado.

Principais Resultados
Os resultados preliminares através de 144 cenários e cinco famílias de modelos revelam descobertas significativas sobre o tradeoff entre segurança e usabilidade:

• Viés de Conformidade Universal: Todos os modelos exibiram viés de conformidade no baseline, mas os modos de falha variaram. Alguns modelos (ex: Llama 3.1 8B) optaram por "prosseguir" (alta Usabilidade, baixa Segurança), enquanto outros (ex: Claude Opus 4.6) optaram por "recusar" (alta Segurança, usabilidade próxima de zero).
• O Abismo do Prompt-Only: Confiar exclusivamente em prompts de sistema para impor segurança provou ser pouco confiável. Para modelos fortemente alinhados à segurança, como o Claude Opus 4.6, as políticas de apenas prompt causaram um "abismo de usabilidade", reduzindo a Taxa de Usabilidade para quase 0% conforme os modelos interpretavam as instruções de segurança como substitutos absolutos da intenção do usuário. Por outro lado, alguns modelos mostraram melhoria na usabilidade com prompts, destacando que o efeito é dependente do modelo e imprevisível.
• Eficácia da Aplicação em Tempo de Execução (Runtime Enforcement): A condição Checkpoint alcançou o maior desempenho em todos os modelos.
  • Segurança: Todos os modelos convergiram para uma Taxa de Segurança entre 88% e 91%, sugerindo um teto estrutural onde os agentes recusam nativamente sem invocar ferramentas.
  • Usabilidade: A aplicação em tempo de execução recuperou dramaticamente a usabilidade para modelos que anteriormente recusavam excessivamente (ex: +87,5 pontos percentuais para GPT-4o e +70,9 para Claude Opus 4.6 em comparação ao prompt-only).
  • Recusa Informada: A arquitetura Checkpoint garantiu 100% de IRR por design, pois o wrapper sempre emitia uma explicação estruturada para os bloqueios, enquanto os modelos baseline e prompt-only dependiam de juízes de LLM estimados e mostraram menor IRR.
• Dificuldade da Lacuna de Verificação: A Lacuna de Verificação provou ser o tipo de cenário mais desafiador para todos os modelos no baseline, com os maiores ganhos observados sob a condição Checkpoint, apoiando a hipótesia de que o autoconhecimento degrada-se sob mudança de distribuição (distribution shift).

Significância e Alegações
O artigo posiciona estes resultados como um trabalho preliminar destinado a estimular discussões adicionais dentro da comunidade de benchmarks. Suas principais contribuições são:

1. Explicação Teórica: Identificar que a incapacidade de medir a competência de abstenção é um resultado direto do reward hacking em pipelines de feedback humano e do design dos benchmarks atuais.
2. Taxonomia e Métricas: Fornecer um vocabulário principado (a taxonomia de três lacunas) e um conjunto de métricas compostas (SR, UR, IRR) para tornar a abstenção visível e avaliável.
3. Demonstração de Viabilidade: Mostrar que o tradeoff segurança-usabilidade não é inerente, mas ajustável, e que a aplicação em tempo de execução pode resolver simultaneamente os modos de falha de "recusa excessiva" e "recusa insuficiente".

Os autores concluem que os benchmarks devem evoluir para incluir cenários onde pausar é a verdade fundamental correta. Sem tais mudanças, os incentivos de treinamento continuarão a reforçar o viés de conformidade, impedindo o deployment de agentes que possam parar confiavelmente quando deveriam. As ferramentas propostas são oferecidas como um ponto de partida para testes de estresse contra arquiteturas de agentes e domínios de implantação mais amplos.