Ranked (In)direct Citation Searching in Systematic Reviews: A methodological case study

Este estudio de caso metodológico presenta un marco y una herramienta de código abierto para la Búsqueda de Citas (In)directas Jerarquizadas (RICS) para compararla sistemáticamente con la Búsqueda de Citas Directas No Jerarquizadas (UDCS) en revisiones sistemáticas, demostrando que RICS ofrece una precisión comparable o mejorada mientras identifica literatura relevante adicional.

Lo esencial

Imagina que eres un detective tratando de resolver un caso complejo (una Revisión Sistemática). Tu primer paso es buscar en masivas bibliotecas de libros y artículos (bases de datos) utilizando palabras clave específicas para encontrar pistas (estudios) que puedan ayudar a resolver el caso. Encuentras una lista de pistas "semilla" que parecen prometedoras.

Pero sabes que buscar solo por palabras clave podría hacer que te pierdas algunas joyas ocultas. Así que decides usar una segunda estrategia: Búsqueda por Citas. Esto es como preguntar: "¿Quién escribió este libro?" (mirando hacia atrás) y "¿Quién ha leído y citado este libro?" (mirando hacia adelante).

Este artículo introduce una forma nueva y más inteligente de realizar este trabajo de detective, comparando dos métodos: el método estándar antiguo y un nuevo método clasificado.

Los Dos Métodos de Detective

1. La Vieja Forma: "Búsqueda Directa por Citas No Clasificada" (UDCS)
Piensa en esto como preguntarle a tus pistas semilla: "¿Quién te escribió y quién te leyó?"

• Obtienes una lista de todos los que citaron directamente tus pistas semilla.
• Es una lista directa y "tosca". Obtienes a todos los que tienen una conexión directa, pero no sabes cuáles son los más importantes.
• El Problema: Puede ser un poco desordenado. Podrías obtener muchos libros irrelevantes solo porque casualmente estaban en el mismo estante.

2. La Nueva Forma: "Búsqueda (In)Directa por Citas Clasificada" (RICS)
Esta es la principal innovación del artículo. Imagina preguntarle a tus pistas semilla: "¿Quién te escribió? ¿Quién te leyó? Y ¿quién más leyeron ambos? ¿Quién más escribió sobre ambos?"

• Enlaces Directos: Igual que la vieja forma (citado/citando).
• Enlaces Indirectos (El Secreto): También encuentra "co-citas" (libros que fueron leídos por las mismas personas que tu semilla) y "co-citando" (libros que leyeron las mismas fuentes que tu semilla).
• La Clasificación: Como este método encuentra miles de conexiones potenciales (no solo las directas), los autores crearon una herramienta llamada Red de Co*Citas. Esta herramienta actúa como un filtro inteligente. Puntúa cada libro individualmente basándose en cuántas formas diferentes se conecta con tus pistas semilla.
• El Punto de Corte: Luego dice: "Bien, solo necesitamos mirar los 100 libros más conectados para mantener nuestra carga de trabajo manejable". Esto asegura que el nuevo método no abrume al detective con demasiada documentación.

El Experimento: Poniéndolos a Prueba

Los investigadores construyeron una herramienta gratuita y de código abierto (la Red de Co*Citas) para automatizar este proceso. Querían ver si el "Filtro Inteligente" (RICS) era mejor que la "Lista Tosca" (UDCS).

Lo probaron de dos maneras:

1. Mirando Hacia Atrás (Retrospectivo): Tomaron tres casos de detective pasados que ya habían resuelto y ejecutaron ambos métodos sobre ellos para ver qué habrían encontrado.
2. Mirando Hacia Adelante (Estudio de Caso Prospectivo): Realizaron una investigación totalmente nueva sobre "demencia de inicio temprano" y utilizaron ambos métodos simultáneamente para ver cuál encontraba mejores pistas.

Lo Que Encontraron

• Más Superposición con la "Buena Cosa": En los casos pasados, el "Filtro Inteligente" (RICS) encontró una lista de libros que se parecía mucho más a los libros de alta calidad que los detectives ya habían encontrado en la búsqueda principal de la biblioteca. Esto sugiere que RICS es mejor para encontrar material relevante que se ajusta al caso específico.
• La Puntuación de "Necesidad de Leer": En el nuevo caso de demencia, tuvieron que leer títulos y resúmenes para encontrar a los ganadores.
  • Con el viejo método (UDCS), tuvieron que leer aproximadamente 57 artículos para encontrar 1 ganador.
  • Con el nuevo método (RICS), tuvieron que leer aproximadamente 48 artículos para encontrar 1 ganador.
  • Traducción: El nuevo método fue ligeramente más eficiente; se desperdició menos tiempo leyendo artículos irrelevantes.
• La Sorpresa: Curiosamente, el viejo método (UDCS) encontró un ganador final que el nuevo método (RICS) perdió. ¿Por qué? Porque ese ganador específico no estaba "conectado" lo suficiente con las pistas semilla para entrar en la lista de los 100 mejores en el nuevo método. Si hubieran bajado el punto de corte para incluirlo, habrían tenido que leer más de 10.000 artículos, lo cual es imposible.

La Conclusión

El artículo afirma que este nuevo método de Búsqueda (In)Directa por Citas Clasificada (RICS) es una herramienta prometedora. Parece encontrar pistas más relevantes para el caso específico y requiere ligeramente menos lectura para encontrar a los "ganadores".

Sin embargo, los autores tienen cuidado de decir: "No sabemos con certeza aún si este es el método perfecto".

• En su prueba, el viejo método encontró un ganador único que el nuevo método perdió.
• No han demostrado que RICS sea siempre mejor.

El Objetivo: El punto principal de este artículo no es declarar un ganador hoy. Es construir la herramienta (Red de Co*Citas) y el flujo de trabajo para que los equipos de detective de todo el mundo puedan usarlos juntos. Al compartir sus datos, esperan realizar una comparación masiva y global para responder finalmente a la pregunta: "¿Es el Filtro Inteligente mejor que la Lista Tosca?"

En resumen: Construyeron una nueva lupa más inteligente para encontrar pistas de investigación. Las pruebas iniciales se ven bien, pero necesitan que más detectives la utilicen antes de poder decir que es el nuevo estándar.

Resumen técnico

Resumen Técnico: Búsqueda de Citas (In)Directas Clasificadas en Revisiones Sistemáticas

Planteamiento del Problema
Los autores de Revisiones Sistemáticas (RS) emplean frecuentemente la búsqueda de citas (BC) como una técnica complementaria a las búsquedas en bases de datos principales para garantizar una recuperación exhaustiva de la evidencia. El flujo de trabajo estándar actual, la BC Directa No Clasificada (BCDC), identifica literatura que cita directamente o que es citada por "referencias semilla" (registros elegibles encontrados en la búsqueda principal). Aunque manejable en volumen, la BCDC puede pasar por alto literatura relevante. Los investigadores han propuesto la BC (In)Directa Clasificada (BCIDC), que amplía la búsqueda para incluir literatura co-citada y co-citadora (citas indirectas) y aplica un procedimiento de clasificación por relevancia y corte. Sin embargo, los flujos de trabajo de la BCIDC siguen sin estandarizarse, son tediosos de ejecutar manualmente, y su efectividad y eficiencia comparativas frente a la BCDC en un contexto de búsqueda complementaria no están claros. Las herramientas existentes para la BC indirecta automatizada son escasas o carecen de soporte, y ningún estudio comparativo a gran escala ha evaluado la BCIDC como método complementario junto a la BCDC.

Metodología
Los autores desarrollaron un marco metodológico y una herramienta de software, Co*Citation Network, para facilitar la ejecución paralela y la comparación de la BCDC y la BCIDC.

• Desarrollo de la Herramienta: Co*Citation Network es una aplicación de código abierto construida sobre el índice de citas OpenAlex. El frontend se integra con la Local Citation Network existente para la BCDC. Para manejar el alto volumen de citas indirectas (co-citas/co-citadoras), el backend utiliza el procesamiento local de instantáneas de OpenAlex en lugar de llamadas directas a la API. Implementa un algoritmo de clasificación por relevancia basado en el método de Belter, que suma las relaciones de citas (citado, citador, co-citado, co-citador) entre un artículo candidato y las referencias semilla.
• Estrategia de Corte de Clasificación: Para asegurar que la BCIDC siga siendo viable para las cargas de cribado de las RS, el sistema determina automáticamente un umbral de corte de clasificación por relevancia. Este umbral se establece para devolver un número de resultados de BCIDC aproximadamente igual, pero ligeramente superior, al volumen de resultados de BCDC. Este enfoque empírico busca equilibrar la recuperación de citas indirectas relevantes con las limitaciones prácticas del cribado.
• Diseño del Estudio: El estudio empleó un enfoque mixto:
  1. Análisis Retrospectivo: Se realizaron búsquedas paralelas de BCDC y BCIDC en tres RS previamente completadas (Neuhaus et al., Baroutsou et al., Reid et al.) utilizando sus registros incluidos como referencias semilla. Los resultados se desduplicaron frente a las búsquedas en bases de datos principales originales.
  2. Estudio de Caso Prospectivo: Se realizó una nueva RS sobre intervenciones no farmacológicas para la demencia de inicio temprano. Las referencias semilla (11 registros incluidos + 6 protocolos/resúmenes relacionados) se utilizaron para generar resultados paralelos de BCDC y BCIDC. Estos se sometieron a un cribado independiente de título/resumen y texto completo por dos revisores.

Contribuciones Clave

• Aplicación Co*Citation Network: La introducción de la primera herramienta de código abierto capaz de automatizar búsquedas paralelas de BCDC y BCIDC basadas en el índice OpenAlex. Proporciona un umbral de corte de clasificación por relevancia flexible y determinado empíricamente.
• Flujo de Trabajo Estandarizado: El establecimiento de un flujo de trabajo replicable para comparar la BCDC y la BCIDC complementarias, incluyendo la desduplicación frente a los resultados de la búsqueda principal y el cribado de elegibilidad.
• Infraestructura de Investigación: La creación de un marco para un consorcio de investigación internacional ("estudio multitudinario BCIDC") para recopilar datos de múltiples equipos de RS y evaluar estadísticamente la efectividad de la BCIDC frente a la BCDC.

Resultados

• Análisis Retrospectivo: En las tres RS retrospectivas, los resultados de la BCIDC mostraron una mayor superposición con los resultados de la búsqueda en bases de datos principales en comparación con la BCDC (por ejemplo, 40,9 % frente a 22,6 % en el estudio de Neuhaus). En consecuencia, tras la desduplicación, el número de registros únicos que requerían cribado fue menor para la BCIDC en dos de los tres casos.
• Estudio de Caso Prospectivo:
  • Volumen: La BCDC arrojó 917 resultados; la BCIDC (con un umbral de corte de clasificación automático de 10) arrojó 1.151 resultados.
  • Superposición: La BCIDC tuvo una mayor superposición con la búsqueda principal (12,9 %) que la BCDC (7,5 %).
  • Eficiencia del Cribado: En la etapa de título/resumen, la BCIDC demostró una precisión ligeramente superior (2,1 %) y un Número Necesario para Leer (NNR) más bajo de 48, en comparación con una precisión de la BCDC del 1,8 % y un NNR de 57.
  • Inclusión: Se identificaron dos artículos elegibles adicionales mediante la búsqueda complementaria. Uno fue encontrado tanto por BCDC como por BCIDC; el otro fue encontrado exclusivamente por BCDC. Cabe destacar que el artículo exclusivo de la BCDC tenía una clasificación BCIDC de 6, por debajo del umbral automático de 10. Reducir el umbral para incluir este artículo habría generado más de 10.000 resultados, haciendo inviable el flujo de trabajo.

Significado y Afirmaciones
El artículo afirma proporcionar el primer marco para la comparación internacional prospectiva de la BCDC y la BCIDC complementarias. Los resultados sugieren que los resultados de la BCIDC pueden ser más relevantes (es decir, más similares a las referencias semilla y a los resultados de la búsqueda principal) que los resultados de la BCDC, ofreciendo potencialmente una mayor precisión. Sin embargo, los autores declaran explícitamente que el estudio de caso actual carece de la potencia estadística para determinar definitivamente si la BCIDC es superior a la BCDC. El estudio identifica una posible compensación: si bien la BCIDC puede ofrecer una mayor precisión, un umbral de corte estricto (necesario para la viabilidad) podría pasar por alto literatura relevante que la BCDC captura. Los autores concluyen que el flujo de trabajo propuesto y la herramienta de código abierto permiten la formación de un consorcio de investigación para generar evidencia concluyente sobre si la BCIDC debe adoptarse como una técnica de búsqueda complementaria estándar en las revisiones sistemáticas.