Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

En el mundo de la investigación científica, una revisión sistemática es una herramienta poderosa. Imagine a un equipo de científicos que desea conocer la verdad sobre un tratamiento médico específico o un problema social. En lugar de realizar un nuevo experimento individual, reúnen cada estudio que se haya hecho alguna vez sobre ese tema. Los leen todos, comprueban su calidad y combinan sus hallazgos para crear una respuesta clara y fiable. Este proceso es el estándar de oro para la toma de decisiones en campos como la medicina y la salud pública porque atraviesa el ruido de los estudios individuales para revelar el panorama general. Sin embargo, todo el proceso descansa sobre un único y frágil cimiento: la estrategia de búsqueda. Esta es el conjunto específico de instrucciones que los investigadores utilizan para encontrar esos estudios. Si la búsqueda es demasiado estrecha, se pierde evidencia importante. Si es demasiado desordenada o está mal redactada, podrían encontrar basura irrelevante o no hallar los artículos adecuados. Cuando la búsqueda falla, la conclusión final de la revisión es defectuosa, lo que puede llevar a médicos y responsables políticos a tomar decisiones basadas en información incompleta o sesgada.

A pesar de lo crítico que es este paso, la calidad de estas estrategias de búsqueda a menudo ha sido pasada por alto. Los investigadores han sabido desde hace tiempo que deben ser exhaustivos, pero no existía una forma estándar de medir si una búsqueda se había realizado realmente bien. Un nuevo estudio de Alireza Jahani y Keyvan Salehi, de la Universidad de Teherán, pretende solucionar esta brecha. Los investigadores se propusieron construir un sistema práctico de indicadores —una lista de verificación de signos específicos y mensurables— que cualquiera pueda utilizar para juzgar la calidad de una estrategia de búsqueda en una revisión sistemática. Su objetivo era ir más allá de los consejos vagos y proporcionar un marco concreto que los investigadores, revisores y editores de revistas pudieran utilizar para asegurar que estos estudios se construyan sobre bases sólidas.

Para crear este sistema, los autores llevaron a cabo una investigación de dos fases. Primero, realizaron una inmersión profunda en el conocimiento existente. Recopilaron y leyeron treinta y cinco documentos diferentes, incluyendo libros, directrices internacionales y estudios previos que discutían cómo escribir y evaluar estrategias de búsqueda. De esta vasta colección de textos, extrajeron 128 ideas iniciales sobre qué hace que una búsqueda sea buena. Luego organizaron cuidadosamente estas ideas, fusionando aquellas que significaban lo mismo y eliminando duplicados. A través de este proceso de refinamiento, destilaron las 128 ideas hasta llegar a un conjunto final de 39 indicadores específicos, los cuales agruparon en siete categorías principales. Estas categorías cubren todo el ciclo de vida de una búsqueda, desde la planificación inicial hasta el informe final.

La primera categoría, que los autores llaman "Integralidad de la Selección", se centra en dónde tiene lugar la búsqueda. El estudio encontró que una búsqueda de alta calidad debe buscar en muchos lugares diferentes, incluyendo las principales bases de datos especializadas y colecciones multidisciplinarias. Los investigadores señalaron explícitamente que depender de un único motor de búsqueda general no es suficiente. Encontraron que utilizar una sola fuente, o depender demasiado de una búsqueda web general, aumenta el riesgo de perder estudios importantes e introduce sesgo. Una buena estrategia de búsqueda debe ser lo suficientemente amplia como para captar evidencia relevante de diversas fuentes científicas, evitando al mismo tiempo la tentación de usar una única herramienta fácil como la única fuente de la verdad.

La segunda categoría trata sobre el "Diseño de la Estructura de la Estrategia de Búsqueda". Esto se refiere a la lógica detrás de la búsqueda. El estudio enfatiza que una búsqueda sólida comienza con una pregunta clara y bien definida, a menudo organizada en torno a elementos específicos como la población estudiada y los resultados medidos. Los investigadores encontraron que las estrategias efectivas agrupan conceptos clave y encuentran todas las formas posibles de expresar esos conceptos, incluyendo tanto términos médicos técnicos como lenguaje cotidiano. También destacaron que este proceso debe ser iterativo, lo que significa que los investigadores deben probar su búsqueda, ver qué resultados obtienen y luego refinar sus preguntas y términos basándose en lo que encuentren. Este ciclo de prueba y mejora evita que la búsqueda sea demasiado estrecha o que se pierdan estudios que utilizan palabras diferentes para describir la misma idea.

La tercera categoría, "Formulación Sintáctica", aborda las reglas técnicas de la búsqueda. Así como una oración debe seguir reglas gramaticales para tener sentido, una búsqueda informática debe seguir reglas de sintaxis específicas para funcionar correctamente. El estudio señala que cada base de datos tiene su propio conjunto único de reglas sobre cómo combinar palabras, usar símbolos para "y" o "o", y manejar caracteres especiales. Los investigadores encontraron que los errores en estos detalles técnicos son comunes y pueden causar que una búsqueda pierda documentos relevantes o devuelva miles de resultados irrelevantes. Para evitar esto, las búsquedas de alta calidad utilizan los símbolos correctos y a menudo emplean herramientas para traducir la búsqueda de una base de datos a otra, asegurando que la lógica se mantenga constante a través de las diferentes plataformas.

Más allá de la búsqueda principal, la cuarta categoría, "Búsqueda Suplementaria", busca evidencia que podría estar escondida en las sombras. El estudio identifica que muchos hallazgos importantes, particularmente aquellos que no mostraron un efecto dramático, nunca se publican en revistas estándar. Para encontrar estos, una revisión de alta calidad debe ir más allá de la simple búsqueda en bases de datos. Debe implicar la revisión de las listas de referencias de los artículos ya encontrados, la revisión de actas de conferencias, la búsqueda de ensayos clínicos no publicados e incluso el contacto con expertos en el campo. Los autores argumentan que saltarse estos pasos adicionales deja a la revisión vulnerable al "sesgo de publicación", donde el resultado final solo refleja los estudios que tuvieron la suerte de ser publicados, en lugar de la realidad completa de la evidencia.

La quinta categoría es la "Validación". Este paso consiste en revisar el trabajo antes de que esté terminado. El estudio encontró que la mejor práctica implica que un especialista en información, un profesional entrenado en la localización de información, revise la estrategia de búsqueda. Este experto puede detectar errores que los investigadores originales podrían pasar por alto. Además, la búsqueda debe probarse contra una lista conocida de artículos importantes para ver si encuentra con éxito dichos artículos. Si la búsqueda no logra encontrar estos estudios clave conocidos, no es lo suficientemente sensible y necesita ser ajustada. Este proceso de validación actúa como una red de seguridad, asegurando que la búsqueda sea capaz de recuperar la evidencia crítica necesaria para la revisión.

La sexta categoría, "Transparencia en el Reporte", se centra en cómo se documenta la búsqueda. El estudio subraya que, para que una revisión sea digna de confianza, los autores deben escribir exactamente lo que hicieron. Esto incluye enumerar cada base de datos utilizada, la fecha exacta en que se realizó la búsqueda y la lista completa de términos de búsqueda. También deben explicar por qué incluyeron o excluyeron ciertos estudios y cómo eliminaron los resultados duplicados. Sin este nivel de detalle, otros científicos no pueden repetir la búsqueda para verificar los resultados. Los investigadores encontraron que seguir listas de verificación de reporte establecidas ayuda a asegurar que no se omita ningún paso crítico y que el proceso sea claro para todos los lectores del estudio.

Finalmente, la séptima categoría, "Actualización del Proceso", asegura que la revisión se mantenga vigente hasta su publicación. Debido a que se publican nuevos estudios cada día, una búsqueda que era perfecta hace un año podría estar desactualizada para cuando se publique la revisión. El estudio recomienda que la búsqueda se ejecute nuevamente poco antes de la publicación para captar cualquier nueva evidencia. También sugiere que el proceso de selección de estudios debe ser realizado de forma independiente por al menos dos investigadores para reducir errores individuales, y que el equipo debe utilizar software para gestionar el gran número de artículos que encuentren.

Después de desarrollar este sistema de 39 indicadores, los investigadores lo pusieron a prueba. Aplicaron su nueva lista de verificación a veinte revisiones sistemáticas que habían sido publicadas en revistas científicas. Evaluaron cada revisión para ver si cumplía con los indicadores identificados. Los resultados mostraron que, si bien algunas revisiones eran sólidas, muchas presentaban brechas significativas, particularmente en las áreas técnicas de la sintaxis y en el paso crucial de contar con un especialista que validara la búsqueda. Los autores concluyeron que su nuevo sistema proporciona una herramienta práctica y necesaria para mejorar la calidad de las revisiones sistemáticas. Al utilizar estos indicadores, los investigadores pueden reducir el sesgo, hacer que sus hallazgos sean más reproducibles y asegurar que la evidencia que recopilan refleje verdaderamente el mundo tal como es. El estudio sugiere que las revistas deberían exigir a los autores el uso de este sistema como una parte estándar del proceso de revisión, asegurando que el fundamento de estos resúmenes científicos críticos sea tan sólido como las conclusiones que extraen.