Equal Accuracy, Unequal Evidence: Search APIs as Decision Surfaces for Tool-Using Agents

Resumo Técnico: Precisão Igual, Evidência Desigual

Definição do Problema
A avaliação tradicional de APIs de busca para agentes que utilizam ferramentas foca primariamente na precisão da resposta final. No entanto, em arquiteturas modernas de agentes que utilizam divulgação progressiva, os agentes primeiro visualizam trechos classificados (snippets), títulos e metadados antes de decidirem se devem buscar páginas completas. Os autores argumentam que tratar as APIs de busca meramente como recuperadores de listas classificadas é insuficiente. Em vez disso, uma API de busca comercial funciona como uma superfície de decisão: o estado específico da evidência (trechos, URLs, metadados) exposto ao agente antes de uma decisão de busca determina se o agente responde imediatamente, busca novamente ou gasta tokens buscando páginas. O artigo postula que dois provedores podem gerar precisões agregadas de resposta semelhantes, enquanto expõem economias de evidência fundamentalmente diferentes, levando a divergências em custos, latências e modos de falha.

Metodologia
O estudo emprega um protocolo experimental controlado para isolar o impacto do provedor de busca no comportamento do agente:

• Agente e Ferramentas Fixos: Um único agente GPT-5.4 congelado é utilizado com um prompt fixo, iterações máximas (10) e um conjunto de ferramentas (search_web e fetch_page). O backend de fetch_page é compartilhado (Jina Reader) entre todas as condições para garantir que a extração de conteúdo da página seja idêntica.
• Variável: A única variável experimental é o provedor de busca: Brave, Tavily ou Firecrawl.
• Dataset: Uma amostra determinística e estratificada de 100 perguntas do benchmark SEALQA-HARD, selecionada por exigir exploração além de simples respostas de trechos (snippets).
• Protocolo de Oráculo: Um "oráculo por URL" utilizando rótulos Kimi-K2.6 etiqueta cada elemento de conteúdo visível ao agente (URL, título, trecho e página buscada). O juiz opera sem conhecimento externo, rotulando se a evidência contém a resposta de ouro (gold answer), apoia a resposta do modelo, contradiz a resposta de ouro ou é lixo (garbage).
• Métricas:
  • Correspondência Semântica: Um rótulo auditado para a correção da resposta final.
  • Partição de Decisão: Uma classificação de quatro vias para pares provedor-consulta baseada no suporte pré-busca e ação do agente: SMART (o suporte pré-busca existe e o agente o busca), MISSED (o suporte pré-busca existe, mas o agente não o busca), BLIND (não há suporte pré-busca, o agente busca) e NO-OP (não há suporte, não há busca).
  • Razão de Contradição da Superfície para o Ouro ($r_{c:g}$): A razão entre as URLs de apenas trechos que contradizem a resposta de ouro e aquelas que a contêm.

Principais Contribuições

1. Formalização de Superfícies de Decisão: O artigo reestrutura as APIs de busca comerciais não como recuperadores estáticos, mas como superfícies de decisão que ditam o estado de fundamentação (grounding) do agente e a alocação do orçamento de recuperação.
2. Protocolo de Oráculo por URL: Introdução de um método de rotulagem rigoroso que distingue entre suporte de superfície pré-busca (disponível em trechos/metadados) e suporte descoberto pós-busca (encontrado apenas após abrir uma página).
3. Particionamento de Decisão: Definição de uma partição de quatro vias (SMART, MISSED, BLIND, NO-OP) para analisar o comportamento do agente em relação à evidência disponível na superfície de decisão.
4. Análise da Economia de Evidência: Demonstração de que a igual precisão de resposta mascara diferenças significativas no comportamento dos provedores, incluindo densidade de suporte pré-busca, concentração de ranking, taxas de contradição e padrões de exploração.

Resultos

• Paridade de Precisão: Sob a métrica de correspondência semântica, todos os três provedores performaram de forma semelhante (25/100 para Brave e Tavily, 26/100 para Firecrawl). A análise estatística (intervalos de bootstrap pareado) confirma que essas diferenças não são significativas.
• Economias de Evidência Divergentes:
  • Brave: Expôs o maior volume de suporte pré-busca (30 consultas), mas teve baixa concentração de rank-1 (13% das linhas que apoiam o ouro eram rank 1). Isso levou a uma superfície "rica em trechos" onde os agentes frequentemente perderam o suporte disponível (MISSED) em vez de buscá-lo.
  • Tavily: Apresentou a maior concentração de rank-1 (50% das linhas de pré-busca que apoiam o ouro eram rank 1), sugerindo que políticas de busca de resultados principais podem ser altamente eficientes. No entanto, teve menor suporte total de pré-busca (16 consultas).
  • Firecrawl: Associado à maior taxa de exploração cega (81% das consultas envolveram busca sem suporte pré-busca) e à maior razão de contradição-para-ouro (2.59), indicando uma superfície que incentiva uma exploração mais ampla, mas introduz mais ruído.
• Complementaridade: Apenas 10 perguntas foram respondidas corretamente por todos os três provedores. A escolha do provedor alterou significativamente quais perguntas foram resolvidas, não apenas a contagem agregada.
• Proxies de Recuperação: Proxies determinísticos (ex: acertos de URL de ouro, presença da string da resposta) foram insuficientes; os agentes frequentemente falharam (53–57 respostas erradas) apesar de o texto da resposta estar visível na trajetória, destacando que a superfície de decisão determina se a evidência é acionável.

Significância e Alegações
O artigo alega que a escolha do provedor é uma decisão de política, não meramente uma decisão de recall. Como diferentes provedores criam diferentes superfícies de decisão (ex: ricas em trechos vs. concentradas em ranking vs. volumosas), uma política de agente fixa gera utilidades diferentes dependendo do provedor.

• Para Praticantes: A avaliação deve ir além da precisão final para incluir métricas como suporte pré-busca, concentração de ranking e razões de contradição. Um provedor deve ser pareado com uma política de busca consciente do provedor (ex: uma política de resultado principal para o Tavily, uma política de análise de trechos para o Brave).
• Para Provedores: APIs de busca para agentes devem otimizar a acionabilidade (trechos calibrados, IDs estáveis, baixa contradição) em vez de apenas relevância.
• Limitações: O estudo é observacional (as ações do agente não foram randomizadas), baseia-se em um único agente e juiz, e utiliza uma amostra específica. Os autores declaram explicitamente que não alegam que um provedor seja universalmente superior, mas sim que suas superfícies induzem diferentes regimes de recuperação.

O estudo conclui que avaliar APIs de busca para agentes requer olhar além da precisão da resposta para entender o orçamento de recuperação e as condições de política sob as quais respostas fundamentadas são geradas.