Ranked (In)direct Citation Searching in Systematic Reviews: A methodological case study

Este estudo de caso metodológico apresenta um framework e uma ferramenta de código aberto para a Pesquisa de Citações (In)diretas Ranqueadas (RICS) para compará-la sistematicamente com a Pesquisa de Citações Diretas Não Ranqueadas (UDCS) em revisões sistemáticas, demonstrando que a RICS oferece precisão comparável ou aprimorada, ao mesmo tempo que identifica literatura relevante adicional.

O essencial

Imagine que você é um detetive tentando resolver um caso complexo (uma Revisão Sistemática). Seu primeiro passo é vasculhar bibliotecas massivas de livros e artigos (bases de dados) usando palavras-chave específicas para encontrar pistas (estudos) que possam ajudar a resolver o caso. Você encontra uma lista de pistas "semente" que parecem promissoras.

Mas você sabe que pesquisar apenas por palavras-chave pode deixar passar algumas joias escondidas. Então, decide usar uma segunda estratégia: Pesquisa por Citações. Isso é como perguntar: "Quem escreveu este livro?" (olhando para trás) e "Quem leu e referenciou este livro?" (olhando para frente).

Este artigo apresenta uma nova e mais inteligente maneira de realizar esse trabalho de detetive, comparando dois métodos: o padrão antigo e um novo método ranqueado.

Os Dois Métodos de Detetive

1. O Jeito Antigo: "Pesquisa por Citação Direta Não Ranqueada" (UDCS)
Pense nisso como perguntar às suas pistas semente: "Quem escreveu você e quem leu você?"

• Você obtém uma lista de todos que citaram diretamente suas pistas semente.
• É uma lista direta e "bruta". Você obtém todos que têm uma conexão direta, mas não sabe quais são os mais importantes.
• O Problema: Pode ser um pouco bagunçado. Você pode obter muitos livros irrelevantes apenas porque eles estavam na mesma prateleira.

2. O Jeito Novo: "Pesquisa por Citação (In)Direta Ranqueada" (RICS)
Esta é a principal inovação do artigo. Imagine perguntar às suas pistas semente: "Quem escreveu você? Quem leu você? E quem mais vocês dois leram? Quem mais vocês dois escreveram sobre?"

• Links Diretos: Assim como no jeito antigo (citado/citando).
• Links Indiretos (O Segredo): Também encontra "cocitações" (livros que foram lidos pelas mesmas pessoas que suas pistas semente) e "cocitando" (livros que leram as mesmas fontes que suas pistas semente).
• O Ranqueamento: Como este método encontra milhares de conexões potenciais (não apenas as diretas), os autores criaram uma ferramenta chamada Rede de Cocitação. Esta ferramenta atua como um filtro inteligente. Ela pontua cada livro individualmente com base em quantas maneiras diferentes ele se conecta às suas pistas semente.
• O Limite: Em seguida, diz: "Ok, precisamos apenas olhar os 100 livros mais conectados para manter nossa carga de trabalho gerenciável." Isso garante que o novo método não sobrecarregue o detetive com papelada demais.

O Experimento: Colocando-os à Prova

Os pesquisadores construíram uma ferramenta gratuita e de código aberto (a Rede de Cocitação) para automatizar esse processo. Eles queriam ver se o "Filtro Inteligente" (RICS) era melhor que a "Lista Bruta" (UDCS).

Eles testaram isso de duas maneiras:

1. Olhando para Trás (Retrospectivo): Eles pegaram três casos de detetive do passado que já haviam resolvido e aplicaram ambos os métodos para ver o que teriam encontrado.
2. Olhando para Frente (Estudo de Caso Prospectivo): Eles realizaram uma investigação totalmente nova sobre "demência de início precoce" e usaram ambos os métodos simultaneamente para ver qual encontrava pistas melhores.

O Que Eles Encontraram

• Mais Sobreposição com as "Coisas Boas": Nos casos do passado, o "Filtro Inteligente" (RICS) encontrou uma lista de livros que parecia muito mais semelhante aos livros de alta qualidade que os detetives já haviam encontrado na pesquisa principal na biblioteca. Isso sugere que o RICS é melhor em encontrar material relevante que se encaixa no caso específico.
• A Pontuação "Necessidade de Ler": No novo caso de demência, eles tiveram que ler títulos e resumos para encontrar os vencedores.
  • Com o método antigo (UDCS), tiveram que ler cerca de 57 artigos para encontrar 1 vencedor.
  • Com o novo método (RICS), tiveram que ler cerca de 48 artigos para encontrar 1 vencedor.
  • Tradução: O novo método foi ligeiramente mais eficiente; você desperdiçou menos tempo lendo artigos irrelevantes.
• A Surpresa: Curiosamente, o método antigo (UDCS) encontrou um vencedor final que o novo método (RICS) perdeu. Por quê? Porque aquele vencedor específico não estava "conectado" o suficiente às pistas semente para entrar na lista dos 100 melhores no novo método. Se tivessem abaixado o limite para incluí-lo, teriam que ler mais de 10.000 artigos, o que é impossível.

A Conclusão

O artigo afirma que este novo método de Pesquisa por Citação (In)Direta Ranqueada (RICS) é uma ferramenta promissora. Parece encontrar pistas mais relevantes para o caso específico e exige ligeiramente menos leitura para encontrar os "vencedores".

No entanto, os autores têm o cuidado de dizer: "Ainda não sabemos com certeza se este é o método perfeito."

• Em seu teste, o método antigo encontrou um vencedor único que o novo método perdeu.
• Eles não provaram que o RICS é sempre melhor.

O Objetivo: O ponto principal deste artigo não é declarar um vencedor hoje. É construir a ferramenta (Rede de Cocitação) e o fluxo de trabalho para que equipes de detetives ao redor do mundo possam usá-los juntos. Ao compartilhar seus dados, eles esperam realizar uma comparação global massiva para finalmente responder à pergunta: "O Filtro Inteligente é melhor que a Lista Bruta?"

Em resumo: Eles construíram uma nova lupa mais inteligente para encontrar pistas de pesquisa. Testes iniciais parecem bons, mas precisam de mais detetives para usá-la antes que possam dizer que é o novo padrão.

Resumo técnico

Resumo Técnico: Busca de Citações (In)Diretas Ranqueadas em Revisões Sistemáticas

Declaração do Problema
Autores de Revisões Sistemáticas (RS) frequentemente empregam a busca de citações (BC) como uma técnica suplementar às buscas em bancos de dados primários para garantir a recuperação abrangente de evidências. O fluxo de trabalho padrão atual, BC Direta Não Ranqueada (BCDNR), identifica literatura que cita diretamente ou que é citada por "referências semente" (registros elegíveis encontrados na busca primária). Embora gerenciável em volume, a BCDNR pode deixar de identificar literatura relevante. Pesquisadores propuseram a BC (In)Direta Ranqueada (BCIDR), que expande a busca para incluir literatura co-citada e co-citante (citações indiretas) e aplica um procedimento de ranqueamento de relevância e corte. No entanto, os fluxos de trabalho da BCIDR permanecem não padronizados, tediosos para execução manual, e sua eficácia e eficiência comparativas em relação à BCDNR no contexto de busca suplementar são incertas. Ferramentas existentes para BC indireta automatizada são escassas ou não suportadas, e nenhum estudo comparativo em grande escala avaliou a BCIDR como método suplementar ao lado da BCDNR.

Metodologia
Os autores desenvolveram um quadro metodológico e uma ferramenta de software, Co*Citação Network, para facilitar a execução paralela e a comparação da BCDNR e da BCIDR.

• Desenvolvimento da Ferramenta: O Co*Citação Network é um aplicativo de código aberto construído sobre o índice de citações OpenAlex. O frontend integra-se ao Local Citation Network existente para a BCDNR. Para lidar com o alto volume de citações indiretas (co-citadas/co-citantes), o backend utiliza processamento local de instantâneos do OpenAlex em vez de chamadas diretas à API. Ele implementa um algoritmo de ranqueamento de relevância baseado no método de Belter, somando as relações de citação (citado, citante, co-citado, co-citante) entre um artigo candidato e as referências semente.
• Estratégia de Corte de Ranqueamento: Para garantir que a BCIDR permaneça viável para as cargas de triagem de RS, o sistema determina automaticamente um corte de ranqueamento de relevância. Este corte é definido para retornar um número de resultados da BCIDR aproximadamente igual, mas ligeiramente superior, ao volume de resultados da BCDNR. Esta abordagem empírica visa equilibrar a recuperação de citações indiretas relevantes com as restrições práticas da triagem.
• Desenho do Estudo: O estudo empregou uma abordagem mista:
  1. Análise Retrospectiva: Buscas paralelas de BCDNR e BCIDR foram conduzidas em três RS previamente concluídas (Neuhaus et al., Baroutsou et al., Reid et al.) utilizando seus registros incluídos como referências semente. Os resultados foram deduplicados em relação às buscas originais em bancos de dados primários.
  2. Estudo de Caso Prospectivo: Uma nova RS sobre intervenções não farmacológicas para demência de início precoce foi conduzida. Referências semente (11 registros incluídos + 6 protocolos/revisões relacionados) foram utilizadas para gerar resultados paralelos de BCDNR e BCIDR. Estes foram submetidos a triagem independente de título/resumo e texto completo por dois revisores.

Principais Contribuições

• Aplicação Co*Citação Network: A introdução da primeira ferramenta de código aberto capaz de automatizar buscas paralelas de BCDNR e BCIDR baseadas no índice OpenAlex. Ela fornece um corte de ranqueamento de relevância flexível e empiricamente determinado.
• Fluxo de Trabalho Padronizado: O estabelecimento de um fluxo de trabalho replicável para comparar a BCDNR e a BCIDR suplementares, incluindo deduplicação contra resultados de busca primária e triagem de elegibilidade.
• Infraestrutura de Pesquisa: A criação de um quadro para um consórcio de pesquisa internacional ("estudo coletivo da BCIDR") para reunir dados de múltiplas equipes de RS e avaliar estatisticamente a eficácia da BCIDR versus a BCDNR.

Resultados

• Análise Retrospectiva: Em todas as três RS retrospectivas, os resultados da BCIDR mostraram uma sobreposição maior com os resultados da busca em banco de dados primário em comparação com a BCDNR (por exemplo, 40,9% vs. 22,6% no estudo de Neuhaus). Consequentemente, após a deduplicação, o número de registros únicos que exigiam triagem foi menor para a BCIDR em dois dos três casos.
• Estudo de Caso Prospectivo:
  • Volume: A BCDNR rendeu 917 resultados; a BCIDR (com um corte de ranqueamento automático de 10) rendeu 1.151 resultados.
  • Sobreposição: A BCIDR teve uma sobreposição maior com a busca primária (12,9%) do que a BCDNR (7,5%).
  • Eficiência de Triagem: No estágio de título/resumo, a BCIDR demonstrou uma precisão ligeiramente maior (2,1%) e um Número Necessário para Ler (NNL) menor de 48, comparado à precisão da BCDNR de 1,8% e NNL de 57.
  • Inclusão: Dois artigos elegíveis adicionais foram identificados por meio da busca suplementar. Um foi encontrado tanto pela BCDNR quanto pela BCIDR; o outro foi encontrado exclusivamente pela BCDNR. Notavelmente, o artigo exclusivo da BCDNR tinha um ranqueamento da BCIDR de 6, ficando abaixo do corte automatizado de 10. Reduzir o corte para incluir este artigo teria gerado mais de 10.000 resultados, tornando o fluxo de trabalho inviável.

Significado e Alegações
O artigo alega fornecer o primeiro quadro para a comparação internacional prospectiva da BCDNR e da BCIDR suplementares. Os resultados sugerem que os resultados da BCIDR podem ser mais relevantes (ou seja, mais semelhantes às referências semente e aos resultados da busca primária) do que os resultados da BCDNR, potencialmente oferecendo maior precisão. No entanto, os autores afirmam explicitamente que o estudo de caso atual carece de poder estatístico para determinar definitivamente se a BCIDR é superior à BCDNR. O estudo identifica uma possível compensação: embora a BCIDR possa oferecer maior precisão, um corte de ranqueamento estrito (necessário para a viabilidade) pode deixar de identificar literatura relevante que a BCDNR captura. Os autores concluem que o fluxo de trabalho proposto e a ferramenta de código aberto permitem a formação de um consórcio de pesquisa para gerar evidências conclusivas sobre se a BCIDR deve ser adotada como uma técnica de busca suplementar padrão em revisões sistemáticas.