Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

No mundo da pesquisa científica, uma revisão sistemática é uma ferramenta poderosa. Imagine uma equipe de cientistas que deseja saber a verdade sobre um tratamento médico específico ou uma questão social. Em vez de realizar um único novo experimento, eles reúnem todos os estudos que já foram feitos sobre aquele tema. Eles leem todos, verificam sua qualidade e combinam seus achados para criar uma resposta clara e confiável. Este processo é o padrão ouro para a tomada de decisões em campos como a medicina e a saúde pública porque corta o ruído dos estudos individuais para revelar o panorama geral. No entanto, todo o processo repousa sobre um único e frágil fundamento: a estratégia de busca. Esta é o conjunto específico de instruções que os pesquisadores usam para encontrar esses estudos. Se a busca for muito estreita, eles perdem evidências importantes. Se for muito confusa ou mal escrita, eles podem encontrar lixo irrelevante ou falhar em encontrar os artigos corretos. Quando a busca falha, a conclusão final da revisão é falha, levando potencialmente médicos e formuladores de políticas a tomar decisões baseadas em informações incompletas ou enviesadas.

Apesar de quão crítica é esta etapa, a qualidade dessas estratégias de busca tem sido frequentemente negligenciada. Os pesquisadores sabem há muito tempo que precisam ser minuciosos, mas não havia uma forma padronizada de medir se uma busca foi realmente bem feita. Um novo estudo de Alireza Jahani e Keyvan Salehi, da Universidade de Teerã, visa corrigir essa lacuna. Os pesquisadores propuseram-se a construir um sistema prático de indicadores — um checklist de sinais específicos e mensuráveis — que qualquer pessoa possa usar para julgar a qualidade de uma estratégia de busca em uma revisão sistemática. O objetivo deles era ir além de conselhos vagos e fornecer uma estrutura concreta que pesquisadores, revisores e editores de periódicos pudessem usar para garantir que esses estudos sejam construídos sobre bases sólidas.

Para criar este sistema, os autores realizaram uma investigação em duas fases. Primeiro, eles realizaram um mergulho profundo no conhecimento existente. Eles reuniram e leram trinta e cinco documentos diferentes, incluindo livros, diretrizes internacionais e estudos anteriores que discutiam como escrever e avaliar estratégias de busca. Desta vasta coleção de textos, eles extraíram 128 ideias iniciais sobre o que torna uma busca boa. Eles então organizaram cuidadosamente essas ideias, fundindo aquelas que significavam a mesma coisa e removendo duplicatas. Através deste processo de refinamento, eles destilaram as 128 ideias para um conjunto final de 39 indicadores específicos, que agruparam em sete categorias principais. Estas categorias cobrem todo o ciclo de vida de uma busca, desde o planejamento inicial até o relatório final.

A primeira categoria, que os autores chamam de "Abrangência de Seleção", foca em onde a busca ocorre. O estudo descobriu que uma busca de alta qualidade deve procurar em muitos lugares diferentes, incluindo grandes bases de dados especializadas e coleções multidisciplinares. Os pesquisadores observaram explicitamente que depender de um único mecanismo de busca geral não é suficiente. Eles descobriram que usar apenas uma fonte, ou depender excessivamente de uma busca web geral, aumenta o risco de perder estudos importantes e introduz viés. Uma boa estratégia de busca deve ser ampla o suficiente para capturar evidências relevantes de diversas fontes científicas, evitando a tentação de usar uma única ferramenta fácil como a única fonte da verdade.

A segunda categoria trata do "Design da Estrutura da Estratégia de Busca". Trata-se da lógica por trás da busca. O estudo enfatiza que uma busca forte começa com uma pergunta clara e bem definida, muitas vezes organizada em torno de elementos específicos, como a população sendo estudada e os desfechos sendo medidos. Os pesquisadores descobriram que estratégias eficazes agrupam conceitos-chave e encontram todas as formas possíveis de dizer esses conceitos, incluindo o uso de termos médicos técnicos e linguagem cotidiana. Eles também destacaram que este processo deve ser iterativo, o que significa que os pesquisadores devem testar sua busca, ver o que retorna e, então, refinar suas perguntas e termos com base no que encontrarem. Este ciclo de teste e melhoria evita que a busca seja muito estreita ou perca estudos que utilizam palavras diferentes para descrever a mesma ideia.

A terceira categoria, "Formulação Sintática", aborda as regras técnicas da busca. Assim como uma frase deve seguir regras gramaticais para fazer sentido, uma busca computacional deve seguir regras de sintaxe específicas para funcionar corretamente. O estudo aponta que cada base de dados possui seu próprio conjunto único de regras para como combinar palavras, usar símbolos para "e" ou "ou" e lidar com caracteres especiais. Os pesquisadores descobriram que erros nesses detalhes técnicos são comuns e podem fazer com que uma busca perca documentos relevantes ou retorne milhares de itens irrelevantes. Para evitar isso, buscas de alta qualidade utilizam os símbolos corretos e frequentemente empregam ferramentas para traduzir a busca de uma base de dados para outra, garantindo que a lógica permaneça consistente entre diferentes plataformas.

Além da busca principal, a quarta categoria, "Busca Suplementar", procura por evidências que possam estar escondidas nas sombras. O estudo identifica que muitos achados importantes, particularmente aqueles que não mostraram um efeito dramático, nunca são publicados em periódicos padrão. Para encontrar estes, uma revisão de alta qualidade deve ir além de apenas pesquisar bases de dados. Deve envolver a verificação das listas de referências de artigos que já foram encontrados, a análise de trabalhos de conferências, a busca por ensaios clínicos não publicados e até mesmo o contato com especialistas na área. Os autores argumentam que pular estas etapas extras deixa a revisão vulnerável ao "viés de publicação", onde o resultado final reflete apenas os estudos que tiveram a sorte de serem publicados, em vez da realidade completa da evidência.

A quinta categoria é a "Validação". Este passo trata de verificar o trabalho antes que ele seja finalizado. O estudo descobriu que a melhor prática envolve ter um especialista em informação, um profissional treinado em encontrar informações, para revisar a estratégia de busca. Este especialista pode identificar erros que os pesquisadores originais poderiam deixar passar. Além disso, a busca deve ser testada contra uma lista conhecida de artigos importantes para ver se ela os encontra com sucesso. Se a busca falhar em encontrar estes estudos fundamentais conhecidos, ela não é sensível o suficiente e precisa ser ajustada. Este processo de validação atua como uma rede de segurança, garantindo que a busca seja capaz de recuperar a evidência crítica necessária para a revisão.

A sexta categoria, "Transparência de Relato", foca em como a busca é documentada. O estudo enfatiza que, para uma revisão ser confiável, os autores devem escrever exatamente o que fizeram. Isso inclui listar cada base de dados utilizada, a data exata em que a busca foi realizada e a lista completa de termos de busca. Eles também devem explicar por que incluíram ou excluíram certos estudos e como removeram resultados duplicados. Sem este nível de detalhe, outros cientistas não podem repetir a busca para verificar os resultados. Os pesquisadores descobriram que seguir listas de verificação de relato estabelecidas ajuda a garantir que nenhum passo crítico seja deixado de fora e que o processo seja claro para todos que leem o estudo.

Finalmente, a sétima categoria, "Atualização de Processo", garante que a revisão permaneça atualizada até ser publicada. Como novos estudos são publicados todos os dias, uma busca que era perfeita há um ano pode estar desatualizada no momento em que a revisão é lançada. O estudo recomenda que a busca seja executada novamente pouco antes da publicação para capturar qualquer nova evidência. Também sugere que o processo de seleção de estudos seja feito de forma independente por pelo menos dois pesquisadores para reduzir erros individuais, e que a equipe utilize softwares para gerenciar o grande número de artigos que encontrar.

Após desenvolver este sistema de 39 indicadores, os pesquisadores o testaram. Eles aplicaram seu novo checklist a vinte revisões sistemáticas que haviam sido publicadas em periódicos científicos. Eles avaliaram cada revisão para ver se ela atendia aos indicadores identificados. Os resultados mostraram que, embora algumas revisões fossem fortes, muitas apresentavam lacunas significativas, particularmente nas áreas técnicas de sintaxe e no passo crucial de ter um especialista validando a busca. Os autores concluíram que seu novo sistema fornece uma ferramenta prática e necessária para melhorar a qualidade das revisões sistemáticas. Ao utilizar estes indicadores, os pesquisadores podem reduzir o viés, tornar seus achados mais reproduzíveis e garantir que a evidência que coletam reflita verdadeiramente o mundo como ele é. O estudo sugere que os periódicos devem exigir que os autores utilizem este sistema como parte padrão do processo de revisão, garantindo que o fundamento destas críticas sínteses científicas seja tão forte quanto as conclusões que elas extraem.