Ranked (In)direct Citation Searching in Systematic Reviews: A methodological case study

Cette étude de cas méthodologique présente un cadre et un outil open source pour la recherche de citations (in)directes classées (RICS) afin de la comparer systématiquement à la recherche de citations directes non classées (UDCS) dans les revues systématiques, démontrant que RICS offre une précision comparable ou améliorée tout en identifiant une littérature supplémentaire pertinente.

L'essentiel

Imaginez que vous êtes un détective tentant de résoudre une affaire complexe (une Revue Systématique). Votre première étape consiste à fouiller d'immenses bibliothèques de livres et d'articles (bases de données) en utilisant des mots-clés spécifiques pour trouver des indices (études) susceptibles d'aider à résoudre l'affaire. Vous obtenez une liste d'indices « semences » qui semblent prometteurs.

Mais vous savez que la recherche par mots-clés seule risque de faire rater certaines pépites cachées. Vous décidez donc d'utiliser une deuxième stratégie : la Recherche par Citations. Cela revient à se demander : « Qui a écrit ce livre ? » (regarder en arrière) et « Qui a lu et référencé ce livre ? » (regarder en avant).

Cet article présente une nouvelle méthode plus intelligente pour mener cette enquête, comparant deux approches : l'ancienne méthode standard et une nouvelle méthode classée.

Les Deux Méthodes d'Enquête

1. L'Ancienne Méthode : « Recherche par Citations Directes Non Classées » (UDCS)
Imaginez demander à vos indices semences : « Qui vous a écrit, et qui vous a lu ? »

• Vous obtenez une liste de tous ceux qui ont directement cité vos indices semences.
• C'est une liste simple et « brute ». Vous obtenez tous ceux qui ont un lien direct, mais vous ne savez pas lesquels sont les plus importants.
• Le Problème : Cela peut être un peu désordonné. Vous risquez d'obtenir beaucoup de livres non pertinents simplement parce qu'ils se trouvaient par hasard sur la même étagère.

2. La Nouvelle Méthode : « Recherche par Citations (In)Directes Classées » (RICS)
C'est l'innovation principale de l'article. Imaginez demander à vos indices semences : « Qui vous a écrit ? Qui vous a lu ? ET qui d'autre avez-vous tous deux lu ? Qui d'autre avez-vous tous deux écrit ? »

• Liens Directs : Tout comme l'ancienne méthode (cité/citant).
• Liens Indirects (La Sauce Secrète) : Elle trouve également des « co-citations » (livres lus par les mêmes personnes que vos semences) et des « co-citations inverses » (livres ayant lu les mêmes sources que vos semences).
• Le Classement : Comme cette méthode trouve des milliers de connexions potentielles (pas seulement les liens directs), les auteurs ont créé un outil appelé Réseau de Co*Citation. Cet outil agit comme un filtre intelligent. Il attribue un score à chaque livre en fonction du nombre de façons différentes dont il se connecte à vos indices semences.
• La Coupure : Il déclare ensuite : « D'accord, nous devons seulement examiner les 100 livres les plus connectés pour maintenir notre charge de travail gérable. » Cela garantit que la nouvelle méthode ne submerge pas le détective avec trop de paperasse.

L'Expérience : Les Mettre à l'Épreuve

Les chercheurs ont développé un outil gratuit et open source (le Réseau de Co*Citation) pour automatiser ce processus. Ils voulaient savoir si le « Filtre Intelligent » (RICS) était meilleur que la « Liste Brute » (UDCS).

Ils ont testé cela de deux manières :

1. Regarder en Arrière (Rétrospectif) : Ils ont pris trois affaires passées qu'ils avaient déjà résolues et ont appliqué les deux méthodes pour voir ce qu'elles auraient découvert.
2. Regarder en Avant (Étude de Cas Prospective) : Ils ont mené une toute nouvelle enquête sur la « démence à début précoce » et ont utilisé les deux méthodes simultanément pour voir laquelle trouvait de meilleurs indices.

Ce Qu'ils Ont Découvert

• Plus de Recoupements avec les « Choses Bonnes » : Dans les affaires passées, le « Filtre Intelligent » (RICS) a produit une liste de livres beaucoup plus similaire aux livres de haute qualité que les détectives avaient déjà trouvés dans la recherche principale de la bibliothèque. Cela suggère que RICS est meilleur pour trouver du matériel pertinent correspondant à l'affaire spécifique.
• Le Score « Besoin de Lire » : Dans la nouvelle affaire sur la démence, ils ont dû parcourir les titres et les résumés pour trouver les gagnants.
  • Avec l'ancienne méthode (UDCS), ils ont dû lire environ 57 articles pour trouver 1 gagnant.
  • Avec la nouvelle méthode (RICS), ils ont dû lire environ 48 articles pour trouver 1 gagnant.
  • Traduction : La nouvelle méthode était légèrement plus efficace ; vous avez perdu moins de temps à lire des articles non pertinents.
• La Surprise : Fait intéressant, l'ancienne méthode (UDCS) a trouvé un gagnant final que la nouvelle méthode (RICS) a manqué. Pourquoi ? Parce que ce gagnant spécifique n'était pas assez « connecté » aux indices semences pour figurer dans la liste des 100 premiers de la nouvelle méthode. S'ils avaient abaissé le seuil pour l'inclure, ils auraient dû lire plus de 10 000 articles, ce qui est impossible.

Le Fond du Problème

L'article affirme que cette nouvelle méthode de Recherche par Citations (In)Directes Classées (RICS) est un outil prometteur. Elle semble trouver des indices plus pertinents pour l'affaire spécifique et nécessite légèrement moins de lecture pour trouver les « gagnants ».

Cependant, les auteurs précisent prudemment : « Nous ne savons pas encore avec certitude si c'est la méthode parfaite. »

• Dans leur test, l'ancienne méthode a trouvé un gagnant unique que la nouvelle méthode a manqué.
• Ils n'ont pas prouvé que RICS est toujours meilleur.

L'Objectif : Le point principal de cet article n'est pas de déclarer un gagnant aujourd'hui. Il s'agit de construire l'outil (Réseau de Co*Citation) et le flux de travail afin que les équipes de détectives du monde entier puissent les utiliser ensemble. En partageant leurs données, ils espèrent mener une comparaison mondiale massive pour enfin répondre à la question : « Le Filtre Intelligent est-il meilleur que la Liste Brute ? »

En bref : Ils ont construit une nouvelle loupe plus intelligente pour trouver des indices de recherche. Les premiers tests sont encourageants, mais ils ont besoin que davantage de détectives l'utilisent avant de pouvoir dire qu'il s'agit du nouveau standard.

Résumé technique

Résumé technique : Recherche de citations (in)directes classées dans les revues systématiques

Énoncé du problème
Les auteurs de revues systématiques (RS) ont fréquemment recours à la recherche de citations (RC) comme technique complémentaire aux recherches dans les bases de données principales afin d'assurer une récupération exhaustive des preuves. Le flux de travail standard actuel, la RC directe non classée (RCDNC), identifie la littérature citant directement ou citée par des « références sources » (documents éligibles trouvés lors de la recherche principale). Bien que gérable en volume, la RCDNC peut manquer des documents pertinents. Les chercheurs ont proposé la RC (in)directe classée (RCIC), qui élargit la recherche pour inclure la littérature co-citée et co-citante (citations indirectes) et applique un classement par pertinence et une procédure de seuil. Cependant, les flux de travail RCIC restent non standardisés, fastidieux à exécuter manuellement, et leur efficacité et leur efficacité comparatives par rapport à la RCDNC dans un contexte de recherche complémentaire sont incertaines. Les outils existants pour la RC indirecte automatisée sont rares ou non pris en charge, et aucune étude comparative à grande échelle n'a évalué la RCIC comme méthode complémentaire aux côtés de la RCDNC.

Méthodologie
Les auteurs ont développé un cadre méthodologique et un outil logiciel, Co*Citation Network, pour faciliter l'exécution parallèle et la comparaison de la RCDNC et de la RCIC.

• Développement de l'outil : Co*Citation Network est une application open source construite sur l'index de citations OpenAlex. L'interface utilisateur s'intègre au Local Citation Network existant pour la RCDNC. Pour gérer le volume élevé de citations indirectes (co-citées/co-citantes), le backend utilise un traitement local d'instantanés OpenAlex plutôt que des appels d'API directs. Il met en œuvre un algorithme de classement par pertinence basé sur la méthode de Belter, sommant les relations de citation (cité, citant, co-cité, co-citant) entre un article candidat et les références sources.
• Stratégie de seuil de classement : Pour garantir que la RCIC reste réalisable face aux charges de dépistage des RS, le système détermine automatiquement un seuil de classement par pertinence. Ce seuil est fixé pour renvoyer un nombre de résultats RCIC approximativement égal, mais légèrement supérieur, au volume des résultats RCDNC. Cette approche empirique vise à équilibrer la récupération de citations indirectes pertinentes avec les contraintes pratiques du dépistage.
• Conception de l'étude : L'étude a adopté une approche mixte :
  1. Analyse rétrospective : Des recherches RCDNC et RCIC parallèles ont été menées sur trois RS précédemment achevées (Neuhaus et al., Baroutsou et al., Reid et al.) en utilisant leurs documents inclus comme références sources. Les résultats ont été dédupliqués par rapport aux recherches dans les bases de données principales originales.
  2. Étude de cas prospective : Une nouvelle RS sur les interventions non pharmacologiques pour la démence à début précoce a été menée. Des références sources (11 documents inclus + 6 protocoles/revues connexes) ont été utilisées pour générer des résultats RCDNC et RCIC parallèles. Ceux-ci ont fait l'objet d'un dépistage indépendant des titres/résumés et des textes intégraux par deux réviseurs.

Contributions clés

• Application Co*Citation Network : L'introduction du premier outil open source capable d'automatiser les recherches RCDNC et RCIC parallèles basées sur l'index OpenAlex. Il fournit un seuil de classement par pertinence flexible et déterminé empiriquement.
• Flux de travail standardisé : L'établissement d'un flux de travail reproductible pour comparer les recherches complémentaires RCDNC et RCIC, incluant la déduplication par rapport aux résultats de la recherche principale et le dépistage de l'éligibilité.
• Infrastructure de recherche : La création d'un cadre pour un consortium de recherche international (« étude de foule RCIC ») afin de rassembler des données auprès de multiples équipes de RS pour évaluer statistiquement l'efficacité de la RCIC par rapport à la RCDNC.

Résultats

• Analyse rétrospective : Dans les trois RS rétrospectives, les résultats RCIC ont montré un chevauchement plus élevé avec les résultats de la recherche dans les bases de données principales par rapport à la RCDNC (par exemple, 40,9 % contre 22,6 % dans l'étude Neuhaus). Par conséquent, après déduplication, le nombre de documents uniques nécessitant un dépistage était plus faible pour la RCIC dans deux des trois cas.
• Étude de cas prospective :
  • Volume : La RCDNC a produit 917 résultats ; la RCIC (avec un seuil de classement automatique de 10) a produit 1 151 résultats.
  • Chevauchement : La RCIC présentait un chevauchement plus élevé avec la recherche principale (12,9 %) que la RCDNC (7,5 %).
  • Efficacité du dépistage : Au stade du titre/résumé, la RCIC a démontré une précision légèrement supérieure (2,1 %) et un Nombre de lectures nécessaires (NNR) plus faible de 48, comparativement à une précision RCDNC de 1,8 % et un NNR de 57.
  • Inclusion : Deux articles éligibles supplémentaires ont été identifiés par la recherche complémentaire. L'un a été trouvé à la fois par la RCDNC et la RCIC ; l'autre a été trouvé exclusivement par la RCDNC. Fait notable, l'article exclusif à la RCDNC avait un classement RCIC de 6, tombant en dessous du seuil automatisé de 10. Abaisser le seuil pour inclure cet article aurait généré plus de 10 000 résultats, rendant le flux de travail irréalisable.

Portée et affirmations
L'article prétend fournir le premier cadre pour la comparaison prospective internationale des recherches complémentaires RCDNC et RCIC. Les résultats suggèrent que les résultats RCIC peuvent être plus pertinents (c'est-à-dire plus similaires aux références sources et aux résultats de la recherche principale) que les résultats RCDNC, offrant potentiellement une précision plus élevée. Cependant, les auteurs déclarent explicitement que l'étude de cas actuelle manque de puissance statistique pour déterminer de manière définitive si la RCIC est supérieure à la RCDNC. L'étude identifie un compromis potentiel : bien que la RCIC puisse offrir une précision plus élevée, un seuil de classement strict (nécessaire pour la faisabilité) pourrait manquer des documents pertinents que la RCDNC capture. Les auteurs concluent que le flux de travail proposé et l'outil open source permettent la formation d'un consortium de recherche pour générer des preuves concluantes sur l'adoption de la RCIC comme technique de recherche complémentaire standard dans les revues systématiques.