Resumo Técnico: Avaliação de Agentes de Pesquisa Profunda em Trabalho de Consultoria Especializada

Declaração do Problema

Agentes de Pesquisa Profunda (DRAs) de fronteira estão sendo implantados em fluxos de trabalho empresariais mais rapidamente do que podem ser rigorosamente avaliados. Os benchmarks existentes (por exemplo, MMLU, GAIA, WebArena) medem principalmente a recordação factual, a resposta a perguntas de um único salto ou habilidades genéricas de agentes. Esses falham em capturar os entregáveis estruturados, multi-documentos e de grau decisório que os DRAs são cada vez mais esperados a produzir em ambientes profissionais como a consultoria de gestão. O custo dessa lacuna de avaliação é concreto: um único erro de cálculo ou alucinação em um entregável de pesquisa pode levar a bilhões em decisões defeituosas de despesas de capital. Os benchmarks atuais de domínio profissional frequentemente enquadram a avaliação como resposta a perguntas, em vez da produção de artefatos complexos e estruturados, e dependem frequentemente de juízes baseados em LLMs que sofrem de problemas de calibração, como sycophância e viés de comprimento.

Metodologia

Os autores introduzem um novo benchmark direcionado aos entregáveis analíticos estruturados típicos de uma semana de um consultor de gestão. O estudo avalia três agentes de fronteira: Claude Opus 4.6 (com busca na web), OpenAI o3-deep-research e Google Gemini 3.1 Pro deep-research.

Design do Benchmark

• Corpus: 42 prompts únicos redigidos por Especialistas no Assunto (SMEs) no domínio da Consultoria de Gestão.
• Taxonomia de Prompts: Os prompts são categorizados não por tópico, mas por capacidade cognitiva em cinco classes:
  1. Prompts de Pesquisa Constrained (CRP): Testam a disciplina de fontes (restritas a arquivos autorizados).
  2. Prompts de Compressão de Relevância (RCP): Testam a extração de sinais de corpora ruidosos.
  3. Prompts de Conformidade Estrutural (SCP): Testam a obediência algorítmica a esquemas de saída complexos (JSON, tabelas).
  4. Prompts de Decomposição Latente (LDP): Testam a capacidade de inferir variáveis não listadas e etapas intermediárias.
  5. Prompts Sensíveis a Falhas (FSP): Testam a precisão onde pequenos erros invalidam toda a saída.
• Armadilhas Cognitivas: Os prompts incorporam deliberadamente erros realistas no estilo humano (unidades inconsistentes, contradições em notas de rodapé) e armadilhas de precisão determinística (exigindo médias ponderadas em vez de médias simples) para penalizar agentes que dependem de correspondência de padrões superficiais.

Framework de Avaliação

O benchmark emprega um sistema de pontuação de duas camadas para produzir uma Pontuação Verificador-Rúbrica (VRS) em uma escala de 0–100:

1. Verificadores Determinísticos: Um conjunto de verificações binárias e automatizáveis (média de 13,8 por tarefa) para fatos de verdade absoluta, validade de citações e conformidade estrutural.
2. Rúbrica SME: Uma pontuação ordinal independente de 0–3 por especialistas humanos em cinco critérios:
   • DI: Integridade dos Dados
   • AR: Rigor Analítico
   • RF: Relevância e Foco
   • EP: Precisão de Execução
   • FD: Formato e Entregabilidade

Critérios de Aceitação (ACCEPT): Uma resposta é considerada "pronta para produção" apenas se atender a um limiar conjuntivo estrito: pontuação média da rúbrica ≥ 2,5, taxa de aprovação do verificador ≥ 80% e nenhum critério individual pontuado como 0.

Principais Resultados

Em 126 tentativas totais (42 prompts × 3 agentes), os resultados revelam modos de falha distintos e baixas taxas gerais de aceitação:

• Taxas de Aceitação: Todos os agentes lutam para atingir o padrão de produção.
  • Gemini: 21,4% (mais alto)
  • o3: 9,5%
  • Claude: 9,5%
• Pontuações VRS Estritas:
  • o3: 62,6 (Qualidade de raciocínio mais alta, mas falhas estruturais frequentes)
  • Gemini: 56,9
  • Claude: 42,0
• Assinaturas de Falha Específicas do Agente:
  • Claude: Produz artefatos entregáveis com maior confiabilidade (90% de taxa de saída de arquivo), mas carrega a maior assinatura de fabricação (22/42 prompts com tags de dados fabricados). Frequentemente afirma que arquivos são ilegíveis e substitui valores inventados.
  • o3: Exibe a média de raciocínio mais limpa, mas sofre de erros aritméticos em cascata e frequentemente omite seções necessárias ou falha em gerar arquivos de saída (30% de taxa de conclusão).
  • Gemini: Mostra desempenho bimodal. Alcança o maior número de vitórias por prompt (19/42), mas também a maior contagem de células de rúbrica pontuadas como zero (41), indicando falta de degradação graciosa; ou lidera ou falha catastróficamente (por exemplo, tempos de limite do sistema, falhas de código).
• Desempenho por Classe de Prompt:
  • CRP (Corpus Fechado): Todos os agentes performaram mal, sem nenhum vencedor estatisticamente significativo. Os agentes frequentemente alucinaram citações externas mesmo quando restritos a corpora fechados.
  • SCP (Estrutura): o3 e Gemini superaram o Claude, que lutou significativamente com a conformidade estrita a JSON/esquema.

Significado e Alegações

O artigo afirma fornecer o primeiro benchmark que combina verificadores determinísticos graduados por SMEs com uma rúbrica ordinal multi-critério separada na mesma resposta, enquanto incorpora armadilhas cognitivas para simular a dificuldade de pesquisa profissional.

• Contribuição Metodológica: Ao substituir juízes baseados em LLMs por especialistas humanos e adicionar uma camada de rúbrica separada, o benchmark expõe falhas distintas dos agentes (por exemplo, fabricação versus colapso estrutural) que benchmarks de métrica única perdem.
• Descoberta Empírica: Os DRAs de fronteira atuais ainda não são confiáveis para trabalho de grau decisório. A taxa de "Aceitar" é uniformemente baixa (9,5%–21,4%), e os agentes falham de maneiras distintas e previsíveis.
• Validação: A construção da rúbrica do benchmark é validada por sua alinhamento com benchmarks baseados em rúbricas existentes (por exemplo, APEX-v1, ProfBench) e alta concordância (90,5%) com julgamentos de especialistas humanos sobre a "melhor" resposta por prompt.

Os autores concluem que, embora os DRAs mostrem promessa, eles atualmente carecem da confiabilidade, precisão e robustez necessárias para implantação empresarial de alto risco, particularmente no que diz respeito à integridade dos dados e adesão estrutural. Um segundo lançamento (v2) está planejado para expandir o corpus e os domínios (adicionando Banca de Investimento) e para fornecer estatísticas formais de confiabilidade entre avaliadores.