Does the sensitivity- and precision-maximizing RCT filter find all 'included' records retrieved by the sensitivity-maximizing filter on Ovid MEDLINE? An investigation using 14 Cochrane reviews

Este estudo demonstra que o filtro SaPM, ao otimizar precisão e sensibilidade, reduz significativamente a carga de triagem em revisões sistemáticas em comparação ao filtro SM, com risco mínimo de perda de registros elegíveis que pode ser mitigado por busca de citações.

O essencial

Imagine que você é um detetive tentando encontrar apenas as cartas de um jogo específicas (os "Ensaios Clínicos Randomizados") dentro de uma biblioteca gigante e bagunçada que cresce todos os dias (o banco de dados MEDLINE). O problema é que a biblioteca tem milhões de cartas, mas você só quer as que são realmente importantes para o seu caso.

Para ajudar, existem dois "filtros" ou "peneiras" mágicas criados pelos especialistas da Cochrane (uma organização famosa por revisar evidências médicas). O objetivo deste estudo foi comparar essas duas peneiras para ver qual funciona melhor.

Aqui está a explicação do estudo, traduzida para uma linguagem simples:

1. As Duas Peneiras (Os Filtros)

Pense nas duas peneiras como duas redes de pesca diferentes:

• A Peneira SM (Sensibilidade Máxima): Esta é a rede de pesca com malhas muito finas. Ela é feita para pegar absolutamente tudo. Se houver um peixe (um estudo) na água, essa rede vai pegá-lo. O problema? Ela também pega muita areia, pedrinhas e algas (estudos irrelevantes). O pescador precisa gastar muito tempo limpando a rede para achar os peixes.
• A Peneira SaPM (Sensibilidade e Precisão Máxima): Esta é uma rede um pouco mais grossa. Ela ainda pega a grande maioria dos peixes, mas deixa passar algumas pedrinhas e areias. O resultado? A rede fica muito mais limpa e leve. O pescador gasta menos tempo limpando, mas corre o risco de deixar escapar alguns peixes muito pequenos ou estranhos.

2. O Grande Teste

Os pesquisadores pegaram 14 casos reais de revisões médicas (como se fossem 14 caixas de tesouros já encontrados) e perguntaram:
"Se usássemos a Peneira SaPM (a mais leve) em vez da Peneira SM (a super fina), quantos tesouros nós perderíamos?"

O que eles descobriram:

• A Peneira SM encontrou 98,2% dos tesouros que deveriam estar lá.
• A Peneira SaPM encontrou 95,9% dos tesouros.

Isso significa que a Peneira SaPM deixou escapar apenas 2,3% dos tesouros a mais do que a Peneira SM. Em outras palavras, ela perdeu muito poucos itens importantes.

3. A Grande Vantagem: Menos Trabalho!

Aqui está a parte mais legal. Embora a Peneira SaPM tenha perdido um pouquinho mais de tesouros, ela economizou muito trabalho.

• Com a Peneira SM, você teria que ler e revisar 189 documentos para encontrar 1 tesouro útil.
• Com a Peneira SaPM, você precisaria ler apenas 68 documentos para encontrar 1 tesouro útil.

Analogia: Imagine que você precisa encontrar uma agulha em um palheiro.

• A Peneira SM te dá um palheiro gigante e você tem que vasculhar cada palha.
• A Peneira SaPM te dá um palheiro 28% menor. Você ainda precisa procurar, mas o monte de palha é muito mais gerenciável.

4. E se a gente perder algo importante? (O Plano B)

A grande preocupação é: "E se a Peneira SaPM deixar passar um estudo crucial que a Peneira SM pegaria?"

Os pesquisadores descobriram que, na maioria das vezes, não importa. Eles usaram uma técnica chamada "pesquisa de citações" (que é como olhar para trás e para frente na história de um estudo para ver quem o citou).

• Eles descobriram que, se um estudo fosse perdido pela peneira, 99% das vezes ele poderia ser encontrado facilmente olhando as referências de outros estudos (como encontrar um amigo através dos amigos dele).
• Então, o risco de perder algo importante é baixo e pode ser corrigido com um pequeno esforço extra.

5. Conclusão Simples

Este estudo nos diz que:

1. Não é preciso ter medo da Peneira SaPM. Ela é muito eficiente.
2. Economia de tempo: Usar a Peneira SaPM pode reduzir o trabalho de revisão em quase 30% (você lê menos papéis inúteis).
3. Segurança: O risco de perder um estudo importante é pequeno e pode ser mitigado (corrigido) com uma verificação extra nas referências.

Resumo da Ópera:
Se você tem tempo e recursos ilimitados, use a Peneira SM (a super fina) para garantir que nada escape. Mas, se você tem um prazo apertado, uma equipe pequena ou um tema muito grande, a Peneira SaPM é uma escolha inteligente. Ela deixa o trabalho muito mais leve, com um risco mínimo de perder algo importante, que pode ser facilmente recuperado depois.

É como escolher entre levar um caminhão cheio de areia para limpar (Peneira SM) ou um caminhão menor e mais limpo (Peneira SaPM), sabendo que, se faltar um grão de areia importante, você pode ir buscá-lo na estrada depois.

Resumo técnico

Título do Estudo

O filtro RCT que maximiza sensibilidade e precisão encontra todos os registros 'incluídos' recuperados pelo filtro de máxima sensibilidade no Ovid MEDLINE? Uma investigação usando 14 revisões Cochrane.

1. Problema e Contexto

Com o crescimento diário do volume de literatura no MEDLINE, é crucial equilibrar uma abordagem sistemática e sensível na busca com a necessidade de gerenciar um volume viável de registros para as equipes de revisão. Filtros de estudo (search filters) são estratégias pré-definidas para recuperar resultados de desenhos de estudo específicos, como Ensaios Controlados Aleatorizados (RCTs), visando reduzir o número de registros irrelevantes e o fardo de triagem.

Atualmente, existem duas versões validadas para o Ovid MEDLINE:

• Versão de Máxima Sensibilidade (SM): Prioriza a recuperação de todos os RCTs possíveis, mesmo que isso resulte em muitos falsos positivos.
• Versão de Máxima Sensibilidade e Precisão (SaPM): Busca um equilíbrio, tentando manter alta sensibilidade enquanto melhora a precisão (reduzindo o ruído).

O problema central abordado é que, embora o Cochrane Handbook recomende o uso da versão SM como padrão, a versão SaPM (atualizada em 2023) não foi comparada diretamente com a SM em cenários recentes. Há incerteza sobre se a adoção da SaPM resultaria na perda de registros relevantes ("includes") e qual seria o ganho real em eficiência (redução de triagem). Além disso, mudanças recentes no MEDLINE, como a indexação automática (machine-indexing) iniciada em abril de 2022, podem afetar o desempenho desses filtros.

2. Metodologia

O estudo foi conduzido utilizando dados de 14 revisões Cochrane publicadas ou atualizadas entre 2022 e 2024, que originalmente utilizaram o filtro SM (versão de 2008 ou adaptações) para limitar suas buscas no Ovid MEDLINE.

• Amostra: Os registros finais "incluídos" (que atenderam aos critérios de elegibilidade após a triagem de texto completo) de cada uma das 14 revisões foram extraídos.
• Procedimento de Teste:
  1. Os registros "incluídos" disponíveis no Ovid MEDLINE foram identificados.
  2. As versões atualizadas de 2023 dos filtros SM e SaPM foram aplicadas a esses conjuntos de dados para calcular a recuperação (recall/sensibilidade) de cada um.
  3. Analisou-se o rendimento único (registros recuperados por um filtro e não pelo outro) e as razões pelas quais os registros foram perdidos.
  4. Foi realizada uma busca de citações (para frente e para trás) usando ferramentas como Web of Science e CitationChaser nos registros perdidos pelos filtros, para avaliar se o risco de perda poderia ser mitigado.
  5. Para 9 das 14 revisões (aquelas com estratégias de busca reprodutíveis e volume >1.000 registros), as estratégias originais foram recriadas para calcular a precisão, o Número Necessário para Ler (NNR) e a redução percentual no Número Total Necessário para Triar (ONNS).

3. Contribuições Principais

• Comparação Atualizada: Fornece a primeira comparação direta e detalhada entre as versões atualizadas de 2023 dos filtros SM e SaPM no Ovid MEDLINE.
• Análise de Mitigação de Risco: Investiga empiricamente se a busca por citações pode compensar a perda de sensibilidade ao usar o filtro SaPM.
• Métricas de Eficiência: Quantifica o ganho de eficiência (redução de ONNS e melhoria no NNR) ao trocar do SM para o SaPM, oferecendo dados concretos para especialistas em informação tomarem decisões baseadas em recursos e prazos.
• Identificação de Lacunas Específicas: Detalha exatamente quais tipos de metadados (ex: termos no título vs. resumo, subcabeçalhos flutuantes de "drug therapy") causam a perda de registros em cada filtro.

4. Resultados Chave

• Recuperação (Sensibilidade):

  • O filtro SM recuperou 98,2% (387 de 394) dos registros "incluídos".
  • O filtro SaPM recuperou 95,9% (378 de 394) dos registros.
  • A diferença absoluta foi de 2,3% (9 registros perdidos pelo SaPM).
  • O SaPM teve desempenho igual ou superior ao SM em 11 dos 14 conjuntos de dados.

• Rendimento Único e Precisão:

  • O filtro SM encontrou 12 registros únicos que o SaPM perdeu.
  • O filtro SaPM encontrou 3 registros únicos que o SM perdeu (principalmente registros sem resumo ou com "trial" no título).
  • Precisão Média: SM = 1,5% vs. SaPM = 4,4%.
  • Número Necessário para Ler (NNR) Médio: SM = 189 registros lidos para encontrar 1 "include" vs. SaPM = 68 registros.

• Redução do Fardo de Triagem (ONNS):

  • O filtro SaPM reduziu o ONNS em 83% em média, comparado a 54,8% do filtro SM.
  • Ao usar o SaPM em vez do SM, houve uma redução adicional de 28,2% no número de registros a serem triados.

• Mitigação via Busca de Citações:

  • A busca de citações foi altamente eficaz. Usando o CitationChaser, todos os 7 registros perdidos pelo SM e 15 dos 16 registros perdidos pelo SaPM foram recuperados através de citações (para frente ou para trás).
  • Isso sugere que o risco de perder estudos elegíveis ao usar o SaPM é baixo e mitigável.

• Causas de Perda:

  • O SaPM perdeu mais registros relacionados a "drug therapy" (subcabeçalho flutuante) e termos "trial" no campo de resumo, pois seu design não inclui essas linhas específicas da mesma forma que o SM.
  • O SM perdeu registros que dependiam de "trial" no título ou do cabeçalho "Clinical Trials as Topic", áreas onde o SaPM (que busca no título) teve vantagem.

5. Significado e Conclusão

O estudo conclui que a adoção do filtro SaPM para o Ovid MEDLINE oferece uma redução significativa no fardo de triagem (cerca de 28% a mais de redução em comparação ao SM) com um risco mínimo de perder registros elegíveis (apenas 2,3% a menos de sensibilidade).

• Recomendação Prática: Especialistas em informação devem considerar o uso do SaPM, especialmente em revisões de escopo amplo, revisões rápidas ou quando os recursos de triagem são limitados.
• Estratégia de Mitigação: O risco residual de perda de registros pode ser efetivamente mitigado pela realização de busca de citações (frente e trás) nos registros que não foram recuperados pelo filtro.
• Adaptação Contextual: A escolha do filtro deve ser baseada no tema da revisão. Para revisões focadas em intervenções farmacológicas, o SaPM pode exigir adaptações para incluir o subcabeçalho flutuante de "drug therapy", dado que o SM o recupera melhor.
• Futuro: O estudo destaca a necessidade de monitorar o impacto da indexação automática do MEDLINE e sugere que classificadores de machine learning (como no EPPI-Reviewer) podem ser alternativas complementares, embora os filtros de busca tradicionais ainda sejam fundamentais.

Em suma, o filtro SaPM representa uma evolução eficiente, permitindo que equipes de revisão economizem tempo e recursos sem comprometer significativamente a integridade da revisão sistemática, desde que acompanhada de estratégias de busca de citações.