A Large-Scale, Cross-Disciplinary Corpus of Systematic Reviews

Resumo Técnico: Webis-SR4ALL-26 – Um Corpus de Grande Escala e Transdisciplinar de Revisões Sistemáticas

1. O Problema

As revisões sistemáticas (RS) são o padrão ouro para sintetizar evidências em diversas áreas, como medicina, educação e ciências sociais. No entanto, o processo de condução de uma RS é extremamente caro e demorado, especialmente nas fases de recuperação (retrieval) e triagem (screening) de literatura.

Atualmente, existe uma lacuna crítica na pesquisa de automação desses processos: os benchmarks (conjuntos de dados de teste) existentes são limitados tanto em escala quanto em diversidade disciplinar. A grande maioria dos recursos de avaliação é focada quase exclusivamente no domínio biomédico, o que impede o desenvolvimento e a validação de métodos de recuperação e triagem que funcionem de forma eficaz em outros campos científicos (como engenharia, psicologia ou ciências sociais).

2. Metodologia

Os autores propõem o Webis-SR4ALL-26, um corpus massivo construído através de um pipeline de processamento em três estágios:

• Coleta e Filtragem de Dados: Utilizando a base de dados OpenAlex, os autores identificaram 485.446 registros candidatos. Aplicaram filtros de deduplicação, heurísticas de título (para garantir que fossem explicitamente revisões sistemáticas), idioma (inglês) e presença de DOI. Integraram também revisões de outros benchmarks existentes, resultando em um corpus final de 301.871 revisões sistemáticas abrangendo 27 domínios científicos.
• Aquisição de Texto Completo e Parsing: Para os registros com links de PDF disponíveis, os autores realizaram o download automático e utilizaram o modelo de visão-linguagem PaddleOCR-VL (0,9B parâmetros) para converter os documentos complexos (com múltiplas colunas, tabelas e fórmulas) em formato markdown.
• Extração de Informação Estruturada (Pipeline "Verify-Then-Repair"): Para enriquecer o corpus, utilizaram um modelo de linguagem de grande escala (Qwen3-32B) para extrair campos metodológicos (objetivos, perguntas de pesquisa, critérios de inclusão/exclusão, estratégias de busca, etc.). Para evitar alucinações, implementaram um processo rigoroso:
  1. Extração Primária: O modelo extrai o dado junto com o trecho verbatim (exato) do texto original.
  2. Verificação: Um processo de correspondência de strings e um verificador LLM (MiniCheck) validam se o dado é suportado pela evidência.
  3. Reparo (Repair Pass): Se um campo essencial for perdido na verificação, o modelo tenta uma nova extração focada apenas naquele campo.

3. Principais Contribuições

• Escala e Diversidade: Um corpus sem precedentes com mais de 300 mil revisões, cobrindo 27 áreas científicas (com 64% de medicina, mas uma presença significativa de psicologia, ciências sociais, etc.).
• Camadas de Dados Multidimensionais: O corpus não fornece apenas metadados bibliográficos, mas também:
  • Listas de referências resolvidas (via OpenAlex).
  • Artefatos metodológicos estruturados (critérios, objetivos).
  • Estratégias de busca normalizadas: Conversão de consultas Booleanas complexas e específicas de bases de dados (como Scopus ou PubMed) em expressões Booleanas simplificadas e executáveis via API do OpenAlex.
• Recurso Aberto: Liberação do corpus, do pipeline de pré-processamento e do código de validação.

4. Resultados e Demonstração

Para demonstrar a utilidade do corpus, os autores realizaram um experimento de prova de conceito executando as estratégias de busca normalizadas no OpenAlex e comparando os resultados com as listas de referências das revisões:

• Estratégias Booleanas Normalizadas: Alcançaram um recall de 0,245.
• Listas de Palavras-chave: Alcançaram um recall de 0,180.
• A precisão em ambos os casos foi baixa (aprox. 0,015), o que é esperado, pois as listas de referências contêm literatura de contexto e não apenas os estudos incluídos. No entanto, o experimento provou que o corpus permite realizar experimentos de recuperação controlados e comparáveis entre diferentes disciplinas.

5. Significância

O Webis-SR4ALL-26 é um recurso fundamental para a comunidade de Recuperação de Informação (IR) e Ciência da Ciência (Meta-science). Ele permite:

1. Benchmarking Transdisciplinar: Avaliar algoritmos de busca e triagem de forma justa em diferentes campos científicos.
2. Treinamento de Modelos: Servir como base para treinar modelos de IA especializados em extrair informações de artigos científicos.
3. Estudos Sociológicos e de Prática: Analisar como as práticas de revisão sistemática e a formulação de consultas evoluem ao longo do tempo e entre diferentes disciplinas.