Resumo Técnico: SAGE – Avaliação e Melhoria de Recuperação para Agentes de Pesquisa Profunda

1. Declaração do Problema

Agentes de pesquisa profunda emergiram como sistemas poderosos capazes de abordar consultas complexas ao pesquisar e sintetizar informações de forma iterativa através de múltiplas fontes. Embora os recuperadores baseados em LLM (Modelos de Linguagem de Grande Escala) tenham demonstrado fortes capacidades de seguimento de instruções e raciocínio, uma questão crítica permanece: Podem os recuperadores baseados em LLM contribuir efetivamente para fluxos de trabalho de agentes de pesquisa profunda?

Os agentes comerciais existentes geralmente dependem de APIs de busca proprietárias sobre vastos corpora da web, que frequentemente dependem de correspondência de forma superficial. Em contraste, os recuperadores baseados em LLM são projetados para compreensão semântica. No entanto, não está claro se os comportamentos específicos de geração de consultas de agentes de pesquisa profunda (que podem diferir de consultas em linguagem natural) alinham-se com os pontos fortes dos recuperadores semânticos. Além disso, conjuntos de dados existentes para busca de literatura científica frequentemente dependem de artigos desatualizados ou falham em avaliar as capacidades de raciocínio de múltiplos passos exigidas pelos agentes modernos.

2. Metodologia

2.1 O Benchmark SAGE

Para investigar isso, os autores introduzem o SAGE (Scientific AGentic retrieval Evaluation), um benchmark projetado para recuperação de literatura científica intensiva em raciocínio.

• Corpus: Uma coleção de 200.000 artigos científicos atualizados e de acesso aberto abrangendo quatro domínios: Ciência da Computação, Ciências Naturais, Saúde e Humanidades.
• Consultas: 1.200 consultas divididas em dois tipos:
  1. Perguntas de Formato Curto: Exigem raciocínio intensivo através de metadados, figuras/tabelas e relações entre artigos (ex: sobreposições de citações). As respostas são verificáveis e únicas.
  2. Perguntas de Formato Aberto: Baseadas em cenários de pesquisa do mundo real (ex: revisões de literatura), exigindo a síntese de múltiplos artigos relevantes. As respostas possuem múltiplas verdades fundamentais ponderadas pela relevância.
• Curadoria de Dados: As perguntas são geradas via prompting de LLMs (GPT-5-mini) para criar tarefas que necessitem sintetizar informações de metadados de artigos, figuras/tabelas extraídas e sobreposições de referências (artigos que compartilham pelo menos quatro referências comuns).

2.2 Configuração Experimental

O estudo avalia o desempenho de agentes de pesquisa profunda sob duas condições:

1. Busca na Web: Avaliando seis agentes (incluindo sistemas proprietários como GPT-5, Gemini-2.5-Pro e o open-source DR Tulu) usando suas capacidades nativas de busca na web.
2. Busca no Corpus: Usando o DR Tulu como um agente de base controlado, substituindo sua ferramenta de busca na web por recuperadores específicos:
   • BM25: Um recuperador léxico esparso tradicional.
   • gte-Qwen2-7B-instruct: Um recuperador baseado em LLM geral.
   • ReasonIR: Um recuperador baseado em LLM especificamente treinado para tarefas intensivas de raciocínio.

2.3 Solução Proposta: Escalonamento de Tempo de Teste ao Nível do Corpus

Para abordar a lacuna de desempenho observada, os autores propõem um framework de escalonamento de tempo de teste ao nível do corpus. Em vez de modificar a geração de consultas do agente, esta abordagem aumenta o próprio corpus de documentos.

• Mecanismo: Um LLM (Qwen3-Next-80B-A3B-Instruct) processa cada artigo para extrair metadados bibliográficos e oito palavras-chave relevantes ao tópico que resumem as contribuições principais.
• Implementação: Essas palavras-chave e metadados são prefixados ao texto do documento. Isso enriquece o corpus com sinais que tornam a recuperação mais fácil para recuperadores prontos para uso, particularmente aqueles que dependem de correspondência de palavras-chave.

3. Resultados Principais

3.1 Desempenho do Agente na Busca na Web

• Proprietário vs. Open Source: O GPT-5 lidera no geral em perguntas de formato curto. No entanto, o DR Tulu (open-source) é competitivo, superando os agentes da série Gemini-2.5 (closed-source) em perguntas de formato curto.
• Eficiência de Busca: A quantidade de buscas não é o principal motor da precisão. Agentes que performam melhor (como o GPT-5) tendem a usar uma decomposição de consulta mais precisa e seleção de evidências direcionada, em vez de busca por força bruta.
• Decomposição de Consultas: Modelos proprietários tendem a gerar consultas fraseológicas e semanticamente estruturadas, enquanto o DR Tulu frequentemente gera sub-consultas menos estruturadas e concatenadas por palavras-chave.

3.2 Desempenho do Recuperador na Busca no Corpus

• Dominância do BM25: Surpreendentemente, o BM25 supera significativamente os recuperadores baseados em LLM em aproximadamente 30% em perguntas de formato curto.
  • Raciocínio: Agentes de pesquisa profunda geram sub-consultas orientadas a palavras-chave. Este comportamento alinha-se bem com a correspondência de forma superficial (BM25), mas causa um "Desajuste Consulta-Recuperador" para os recuperadores baseados em LLM, que são treinados em consultas de linguagem natural e falham quando confrontados com strings de palavras-chave fragmentadas.
• Perguntas de Formato Aberto: A lacuna de desempenho diminui para perguntas de formato aberto. O BM25 e o gte-Qwen alcançam resultados comparáveis, enquanto o ReasonIR ocupa o último lugar em ambos os tipos de consulta.
• Problemas de Diversidade: Recuperadores baseados em LLM exibem menor diversidade nos documentos recuperados (Referências Únicas por Busca) em comparação ao BM25, especialmente sob orçamentos de busca fixos.

3.3 Impacto do Escalonamento ao Nível do Corpus

• Ganhos de Formato Curto: Aplicar o escalonamento ao nível do corpus (adicionando palavras-chave/metadados) gera um aumento de 8,18% para o BM25 em perguntas de formato curto. Recuperadores baseados em LLM mostram ganhos modestos (0,9%–2,5%).
• Ganhos de Formato Aberto: As melhorias são marginais (1,7%–2,5%) em todos os recuperadores. Os autores atribuem isso à baixa diversidade na decomposição de consultas do agente, o que limita a amplitude das evidências recuperadas, independentemente do enriquecimento do corpus.

3.4 Estudo de Ablação

• Sensibilidade à Informação: A importância dos componentes da consulta (metadados, detalhes multimodais, relações) muda conforme o método de busca. Sob busca na web, os agentes são sensíveis aos detalhes do artigo; sob busca no corpus, as relações entre artigos tornam-se dominantes.
• Consciência do Recuperador: O backend de recuperação determina amplamente quais partes da informação da consulta impulsionam o desempenho.

4. Significância e Alegações

O artigo afirma fornecer a primeira investigação sistemática sobre a colaboração entre agentes de pesquisa profunda e recuperadores baseados em LLM dentro de um domínio científico controlado.

• Descoberta Crítica: Os autores destacam um desalinhamento significativo: os agentes de pesquisa profunda existentes geram sub-consultas orientadas a palavras-chave que são melhor atendidas por recuperadores esparsos tradicionais (BM25) do que por recuperadores semânticos de ponta baseados em LLM.
• Contribuição Prática: O escalonamento de tempo de teste proposto ao nível do corpus oferece um método prático e livre de treinamento para melhorar o desempenho da recuperação, adaptando o corpus ao estilo de consulta do agente, em vez de tentar retreinar o agente ou o recuperador.
• Utilidade do Benchmark: O SAGE fornece um benchmark rigoroso e atualizado para avaliar a recuperação intensiva em raciocínio, abordando as limitações de conjuntos de dados anteriores que dependiam de literatura desatualizada ou careciam de requisitos de raciocínio de múltiplos passos.

Os autores concluem que a colaboração eficaz entre recuperadores e agentes requer maior adaptação, observando especificamente que os agentes atuais ainda não adaptam suas estratégias de geração de consulta ao tipo de recuperador subjacente.