SciRet: A Compute-Aware Empirical Study of Retrieval and Reranking for Scientific RAG

Resumo Técnico: SciRet – Um Estudo Empírico de Consciência Computacional sobre Recuperação e Reclassificação para RAG Científico

Declaração do Problema
O questionamento científico (QA) apresenta desafios únicos para sistemas de Geração Aumentada por Recuperação (RAG) em comparação com o QA de uso geral na web. Consultas científicas frequentemente dependem de terminologia precisa, evidências específicas do domínio e respostas fundamentadas em citações, o que significa que pipelines otimizados para busca na web podem não se transferir de forma eficaz. Além disso, há uma carência de estudos empíricos controlados que examinem como os componentes padrão de recuperação e reclassificação (reranking) se comportam à medida que a escala do corpus aumenta, particularmente sob condições de recursos limitados. Este artigo aborda a seguinte questão: Como os componentes padrão de recuperação e reclassificação se comportam quando um pipeline de RAG científico fixo é avaliado através de escalas crescentes de corpus?

Metodologia
Os autores introduzem o SciRet, um estudo empírico de consciência computacional conduzido no conjunto de dados CORD-19. Em vez de propor um novo modelo ou arquitetura, o estudo avalia um pipeline de RAG fixo através de três escalas distintas de corpus: 1.000, 5.000 e 15.000 artigos (indexados como 1.034, 5.160 e 15.480 fragmentos de texto, respectivamente).

• Escopo dos Dados: Para manter a eficiência computacional e a reprodutibilidade, o estudo indexa apenas títulos e resumos em vez de textos completos, reconhecendo isso como uma limitação em relação à profundidade da evidência.
• Componentes do Pipeline:
  • Fragmentação (Chunking): Fragmentação de janela de sentença (sentence-window chunking).
  • Recuperação (Retrieval): O estudo compara três estratégias:
    1. Esparsa: Recuperação lexical BM25.
    2. Densa: Recuperação de vetor denso BGE-M3.
    3. Híbrida: Fusão de Ranking Recíproco (RRF) dos resultados BM25 e BGE-M3.
  • Reclassificação (Reranking): Uma ablação opcional usando um cross-encoder pronto para uso (cross-encoder/ms-marco-MiniLM-L-6-v2) treinado em dados de busca web do MS MARCO.
  • Geração: Geração de resposta fundamentada usando GPT-4o-mini, instruído a responder apenas a partir do contexto recuperado e a citar passagens por índice.
• Protocolo de Avaliação:
  • Recuperação: Avaliada usando Recall@K ($K \in \{1, 3, 5, 10, 20\}$). Crucialmente, o estudo utiliza rótulos de pseudo-relevância, onde os três principais resultados do sistema híbrido são tratados como relevantes. Os autores explicitamente observam que isso introduz circularidade, enquadrando os resultados como evidência comparativa controlada em vez de pontuações de benchmark absolutas.
  • Geração: Avaliada usando métricas RAGAS (Fidelidade, Relevância da Resposta, Precisão do Contexto, Recall do Contexto).
  • Escala: 15 consultas de avaliação foram utilizadas por escala.

Principais Resultados

1. Superioridade da Recuperação Híbrida: A recuperação híbrida (BM25 + BGE-M3 via RRF) provou ser a abordagem mais robusta. Ela superou consistentemente a recuperação apenas esparsa ou apenas densa em cortes maiores ($K \ge 5$). Notavelmente, o sistema híbrido alcançou um Recall@10 de 1.000 tanto na escala de 1K quanto na de 15K. Embora a recuperação densa tenha sido competitiva em escalas menores, o BM25 permaneceu competitivo em R@1, especialmente na escala de 15K.
2. Impacto Negativo da Reclassificação Genérica: O estudo descobriu que aplicar um reclassificador cross-encoder treinado no MS MARCO reduziu a precisão em todas as escalas. Por exemplo, na escala de 1K, a Precisão@5 caiu de 0.600 (sem reclassificação) para 0.404 (com reclassificação). Isso sugere que o descompasso de domínio (modelo treinado na web aplicado a texto científico) pode anular os benefícios de uma interação mais forte entre consulta e passagem.
3. Efeitos de Escala na Geração: A qualidade da geração, medida pelo RAGAS, melhorou com a escala do corpus. A Fidelidade aumentou de 0.917 (1K) para 0.960 (15K), e a Relevância da Resposta subiu de 0.680 para 0.870. No entanto, a Precisão do Contexto permaneceu baixa, indicando que os contextos recuperados frequentemente incluíam passagens relacionadas ao tópico, mas não estritamente direcionadas.

Significância e Alegações
O artigo posiciona o SciRet não como uma nova arquitetura de estado da arte ou um benchmark definitivo, mas como um estudo empírico controlado e reprodutível projetado para isolar efeitos de escala e identificar modos de falha.

• Escolhas Práticas de Design: O estudo oferece evidências de que, para RAG científico com recursos limitados, a fusão esparsa-densa (BM25 + BGE-M3) é uma estratégia padrão forte que supera a recuperação de modalidade única.
• Risco de Descompasso de Domínio: Destaca um risco prático crítico: reclassificadores prontos treinados em dados da web (MS MARCO) podem degradar o desempenho em corpora científicos, necessitando de testes adaptados ao domínio antes da implantação.
• Avaliação de Consciência Computacional: Os autores argumentam que experimentos de pequena escala (ex: 1K artigos) são úteis para depuração, mas podem não refletir comportamentos de recuperação que emergem em escalas maiores (15K), alertando para o cuidado ao extrapolar resultados de pequena escala.
• Transparência sobre Limitações: Os autores explicitamente enquadram suas descobertas como "evidência comparativa controlada" em vez de reivindicações finais de benchmark, citando limitações como o uso de rótulos de pseudo-relevância, a exclusão de textos completos/figuras/tabelas e o pequeno conjunto de consultas (15 consultas).

Em conclusão, o SciRet demonstra que os componentes padrão de RAG não se transferem automaticamente da busca na web para o QA científico. Ele defende a recuperação híbrida como uma linha de base robusta e apela para trabalhos futuros envolvendo anotação de relevância independente, indexação de documentos completos e reclassificadores adaptados ao domínio.