Resumo Técnico: Repensando a Avaliação da Pesquisa Bibliográfica

Declaração do Problema

A pesquisa bibliográfica é um passo fundamental no trabalho científico, mas sua avaliação permanece problemática. A comunidade tradicionalmente avalia sistemas de recuperação medindo precisão e revocação em relação à lista de referência de um artigo de consulta, tratando essa lista curada por humanos como "verdade fundamental". Os autores identificam duas falhas críticas nessa convenção:

1. Limitações de Recuperação: A busca baseada em API padrão (baseada em consultas de palavra-chave simples ou múltiplas) é frágil e falha em capturar a estrutura de cauda longa dos grafos de citação, perdendo trabalhos relevantes ocultos atrás de cadeias de referências.
2. Falhas na Verdade Fundamental: A própria lista de referência humana é incompleta e idiossincrática. Inclui citações não tópicas, como atribuições de artigos fundamentais, créditos de software/bibliotecas e citações a colaboradores diretos, que podem não refletir relevância tópica no sentido estrito.

Metodologia

1. O Pipeline de Pesquisa Profunda

Os autores propõem um pipeline de recuperação modular projetado para superar as limitações da busca baseada em palavras-chave. O sistema opera em duas fases:

• Fase 1 (Recuperação de Alta Revocação): Um LLM gera consultas diversificadas de palavras-chave baseadas no texto completo do artigo de consulta. Estas são traduzidas para sintaxe específica do provedor para APIs acadêmicas (arXiv, OpenAlex, Semantic Scholar) para recuperar artigos iniciais.
• Fase 2 (Expansão em Largura): O sistema expande o conjunto de candidatos em largura ao longo das referências bibliográficas até uma profundidade configurável ($D_{max}=3$) e um orçamento de artigos ($N_{max}$). Isso aproveita o grafo de citações para descobrir literatura relevante que consultas de palavras-chave perdem.
• Reclassificação: O pool expandido é reclassificado usando um dos três módulos intercambiáveis:
  • Embeddings QWEN3: Recuperação densa usando embeddings de consulta condicionados a instruções.
  • Debate de LLM: Um agente gera argumentos a favor e contra citar um candidato, atribuindo uma pontuação de relevância de 0 a 100.
  • Ensemble: Uma combinação das pontuações de Debate e QWEN3.

2. Benchmark e Métricas de Avaliação

Para avaliar esses sistemas sem contaminação de dados, os autores introduzem o ROLLINGEVAL-JUN25, um benchmark de 250 submissões de ciência da computação do arXiv de junho de 2025 (posterior aos cortes de treinamento dos modelos avaliados). A avaliação emprega quatro métricas complementares:

• Precisão e Revocação: Medidas em relação à lista de referência humana.
• Relevância Semântica (SR): Uma pontuação de 0 a 100 atribuída por um juiz LLM neutro (GPT-OSS-120B) com base no texto completo do artigo de consulta e no título/resumo do candidato.
• $\alpha$-nDCG: Uma métrica consciente de novidade que mede a diversidade tópica e a redundância na lista classificada.
• Distância de Coautoria: Uma métrica diagnóstica usando o grafo de coautoria do OpenAlex para medir a distância de saltos entre os autores da consulta e os autores dos candidatos.

3. Análise da Verdade Fundamental

Os autores tratam a lista de referência humana não como uma verdade absoluta, mas como um alvo a ser analisado. Eles usam um juiz LLM neutro para classificar a relevância tópica de cada citação humana e comparam essa distribuição com listas geradas por IA de comprimento correspondente. Eles analisam ainda mais a "lacuna de citação" mapeando citações no grafo de coautoria do OpenAlex para quantificar o viés de rede.

Principais Resultados

Desempenho de Recuperação

O pipeline de Pesquisa Profunda demonstra uma melhoria de ordem de magnitude na revocação sobre a busca apenas por API tradicional:

• Revocação: A busca padrão atinge um pico de aproximadamente 15% de revocação mesmo em $K \approx 10^5$. Em contraste, todas as variantes de Pesquisa Profunda superam 80% de revocação em $K=10^4$. A melhor variante (embeddings QWEN3) alcança 51,9% de revocação em $K=1000$, quase triplicando o desempenho de uma linha de base da API do arXiv.
• Precisão: Os embeddings QWEN3 alcançam a maior precisão top-$K$ (0,37 em $K=1$).
• Diversidade: O reclassificador baseado em Debate alcança o maior $\alpha$-nDCG, sugerindo que distribui itens relevantes de forma mais uniforme na lista em comparação com a similaridade de embeddings apenas.

A Lacuna da "Verdade Fundamental"

O estudo revela uma discrepância significativa entre citações humanas e listas geradas por IA em relação à relevância tópica:

• Relevância Semântica: Quando restrito ao mesmo comprimento de lista, apenas 51% das citações humanas são julgadas como moderadamente relevantes ou superiores (pontuação $\ge 60$). Em contraste, os melhores reclassificadores de IA (QWEN3 e Debate+Qwen) alcançam 86–88% de pontuações de alta relevância.
• Viés de Rede: A análise do grafo de coautoria do OpenAlex mostra que humanos são 2,5 vezes mais propensos do que os melhores reclassificadores de IA a citar um colaborador direto ($d=0$). O viés se estende a colaboradores de um salto, onde humanos citam a uma taxa de 12,2% comparado a 6,9–7,4% para IA.
• Citações Não Tópicas: Aproximadamente 48,6% das citações humanas caem em categorias de baixa relevância (arquiteturas fundamentais, bibliotecas de software, algoritmos clássicos) que carecem de sinais tópicos em seus resumos, enquanto reclassificadores de IA produzem tais citações a uma taxa de apenas 12–14%.

Significado e Alegações

O artigo argumenta contra o uso de avaliação de eixo único para pesquisa bibliográfica. Os autores afirmam que:

1. Listas de Referência Humanas são Verdade Fundamental Imperfeita: Tratar citações humanas como um alvo limpo para avaliação é problemático porque elas incluem sistematicamente citações não tópicas (trabalho fundamental, ferramentas) e exibem viés de rede (colaboradores).
2. Avaliação Multidimensional é Necessária: Nenhuma métrica única captura a qualidade total de uma pesquisa bibliográfica. Os autores defendem o relato conjunto de quatro propriedades complementares:
   • Revocação: Para medir a cobertura contra alvos conhecidos.
   • Relevância Tópica: Para medir o alinhamento semântico com a consulta.
   • Diversidade da Lista Classificada: Para garantir que a lista cubra tópicos variados sem redundância.
   • Distância de Coautoria: Para diagnosticar viés de rede no conjunto de citações.
3. Pesquisa Profunda é uma Linha de Base Necessária: O ganho de revocação de ordem de magnitude fornecido pela Pesquisa Profunda expande o pool de candidatos, elevando o teto alcançável para qualquer sistema de recuperação, independentemente da definição final de verdade fundamental.

Os autores concluem que futuros benchmarks não devem tratar listas de referência humanas como a única verdade fundamental, mas devem usá-las como um eixo diagnóstico ao lado da relevância semântica e da análise de rede. Eles lançam o benchmark ROLLINGEVAL-JUN25, o pipeline de Pesquisa Profunda e os scripts de análise de distância do OpenAlex para facilitar essa reexaminação.