Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

Dans le monde de la recherche scientifique, une revue systématique est un outil puissant. Imaginez une équipe de scientifiques qui souhaite connaître la vérité sur un traitement médical spécifique ou un problème social. Au lieu de mener une nouvelle expérience isolée, ils rassemblent chaque étude qui a jamais été réalisée sur ce sujet. Ils les lisent toutes, vérifient leur qualité et combinent leurs résultats pour créer une réponse claire et fiable. Ce processus est l'étalon-or pour la prise de décision dans des domaines comme la médecine et la santé publique, car il permet de traverser le bruit des études individuelles pour révéler une vision d'ensemble. Cependant, l'ensemble du processus repose sur un fondement unique et fragile : la stratégie de recherche. Il s'agit de l'ensemble spécifique d'instructions que les chercheurs utilisent pour trouver ces études. Si la recherche est trop étroite, ils manquent des preuves importantes. Si elle est trop désordonnée ou mal rédigée, ils pourraient trouver des déchets non pertinents ou ne pas trouver les bons articles du tout. Lorsque la recherche échoue, la conclusion finale de la revue est erronée, ce qui peut amener les médecins et les décideurs politiques à prendre des décisions basées sur des informations incomplètes ou biaisées.

Malgré l'importance critique de cette étape, la qualité de ces stratégies de recherche a souvent été négligée. Les chercheurs savent depuis longtemps qu'ils doivent être approfondis, mais il n'existait aucune méthode standard pour mesurer si une recherche était réellement bien réalisée. Une nouvelle étude menée par Alireza Jahani et Keyvan Salehi, de l'Université de Téhéran, vise à combler cette lacune. Les chercheurs se sont donné pour mission de construire un système d'indicateurs pratiques — une liste de contrôle d'indices spécifiques et mesurables — que n'importe qui peut utiliser pour juger la qualité d'une stratégie de recherche dans une revue systématique. Leur objectif était de dépasser les conseils vagues pour fournir un cadre concret que les chercheurs, les examinateurs et les éditeurs de revues pourraient utiliser pour garantir que ces études sont bâties sur des bases solides.

Pour créer ce système, les auteurs ont mené une enquête en deux phases. D'abord, ils ont effectué une immersion profonde dans les connaissances existantes. Ils ont rassemblé et lu trente-cinq documents différents, comprenant des livres, des directives internationales et des études antérieures traitant de la rédaction et de l'évaluation des stratégies de recherche. De cette vaste collection de textes, ils ont extrait 128 idées initiales sur ce qui fait la qualité d'une recherche. Ils ont ensuite soigneusement organisé ces idées, fusionnant celles qui avaient la même signification et supprimant les doublons. À travers ce processus de raffinement, ils ont distillé ces 128 idées pour arriver à un ensemble final de 39 indicateurs spécifiques, regroupés en sept catégories principales. Ces catégories couvrent l'ensemble du cycle de vie d'une recherche, de la planification initiale au rapport final.

La première catégorie, que les auteurs appellent « Exhaustivité de la sélection », se concentre sur l'endroit où la recherche a lieu. L'étude a révélé qu'une recherche de haute qualité doit chercher dans de nombreux endroits différents, y compris des bases de données spécialisées majeures et des collections multidisciplinaires. Les chercheurs ont explicitement noté que s'appuyer sur un seul moteur de recherche général ne suffit pas. Ils ont constaté que l'utilisation d'une seule source, ou la dépendance excessive à un moteur de recherche général, augmente le risque de manquer des études importantes et introduit un biais. Une bonne stratégie de recherche doit être assez large pour capter des preuves pertinentes à partir de diverses sources scientifiques, tout en évitant la tentation d'utiliser un outil unique et facile comme seule source de vérité.

La deuxième catégorie concerne la « Conception de la structure de la stratégie de recherche ». Il s'agit de la logique derrière la recherche. L'étude souligne qu'une recherche solide commence par une question claire et bien définie, souvent organisée autour d'éléments spécifiques comme la population étudiée et les résultats mesurés. Les chercheurs ont découvert que les stratégies efficaces regroupent les concepts clés et trouvent tous les moyens possibles d'exprimer ces concepts, en utilisant à la fois des termes médicaux techniques et un langage courant. Ils ont également souligné que ce processus doit être itératif, ce qui signifie que les chercheurs doivent tester leur recherche, voir ce qui en ressort, puis affiner leurs questions et leurs termes en fonction de ce qu'ils trouvent. Ce cycle de test et d'amélioration empêche la recherche d'être trop étroite ou de manquer des études utilisant des mots différents pour décrire la même idée.

La troisième catégorie, la « Formulation syntaxique », traite des règles techniques de la recherche. Tout comme une phrase doit suivre des règles grammaticales pour avoir du sens, une recherche informatique doit suivre des règles de syntaxe spécifiques pour fonctionner correctement. L'étude souligne que chaque base de données possède son propre ensemble unique de règles pour combiner les mots, utiliser des symboles pour « et » ou « ou », et gérer les caractères spéciaux. Les chercheurs ont constaté que les erreurs dans ces détails techniques sont courantes et peuvent faire en sorte qu'une recherche manque des documents pertinents ou renvoie des milliers de documents non pertinents. Pour éviter cela, les recherches de haute qualité utilisent les symboles corrects et emploient souvent des outils pour traduire la recherche d'une base de données à une autre, garantissant que la logique reste cohérente à travers différentes plateformes.

Au-delà de la recherche principale, la quatrième catégorie, la « Recherche supplémentaire », cherche des preuves qui pourraient se cacher dans l'ombre. L'étude identifie que de nombreux résultats importants, particulièrement ceux qui n'ont pas montré d'effet spectaculaire, ne sont jamais publiés dans les journaux standards. Pour les trouver, une revue de haute qualité doit aller plus loin que la simple recherche dans les bases de données. Elle doit impliquer la vérification des listes de références des articles déjà trouvés, l'examen des communications de conférences, la recherche d'essais cliniques non publiés et même le contact avec des experts du domaine. Les auteurs soutiennent que sauter ces étapes supplémentaires rend la revue vulnérable au « biais de publication », où le résultat final ne reflète que les études qui ont eu la chance d'être publiées, plutôt que la réalité complète des preuves.

La cinquième catégorie est la « Validation ». Cette étape consiste à vérifier le travail avant qu'il ne soit terminé. L'étude a révélé que la meilleure pratique consiste à faire réviser la stratégie de recherche par un spécialiste de l'information, un professionnel formé à la recherche d'informations. Cet expert peut repérer des erreurs que les chercheurs originaux pourraient manquer. De plus, la recherche doit être testée par rapport à une liste connue d'articles importants pour voir si elle les trouve avec succès. Si la recherche ne parvient pas à trouver ces études clés connues, elle n'est pas assez sensible et doit être ajustée. Ce processus de validation agit comme un filet de sécurité, garantissant que la recherche est capable de récupérer les preuves critiques nécessaires à la revue.

La sixième catégorie, la « Transparence du compte rendu », se concentre sur la manière dont la recherche est documentée. L'étude insiste sur le fait que, pour qu'une revue soit digne de confiance, les auteurs doivent écrire exactement ce qu'ils ont fait. Cela inclut la liste de chaque base de données utilisée, la date exacte à laquelle la recherche a été effectuée et la liste complète des termes de recherche. Ils doivent également expliquer pourquoi ils ont inclus ou exclu certaines études et comment ils ont supprimé les résultats en double. Sans ce niveau de détail, d'autres scientifiques ne peuvent pas répéter la recherche pour vérifier les résultats. Les chercheurs ont constaté que le respect de listes de contrôle de compte rendu établies aide à garantir qu'aucune étape critique n'est oubliée et que le processus est clair pour tous les lecteurs de l'étude.

Enfin, la septième catégorie, la « Mise à jour du processus », garantit que la revue reste actuelle jusqu'à sa publication. Parce que de nouvelles études sont publiées chaque jour, une recherche qui était parfaite il y a un an pourrait être obsolète au moment où la revue est publiée. L'étude recommande que la recherche soit relancée peu de temps avant la publication pour capter tout nouvel élément de preuve. Elle suggère également que le processus de sélection des études doit être effectué de manière indépendante par au moins deux chercheurs afin de réduire les erreurs individuelles, et que l'équipe doit utiliser des logiciels pour gérer le grand nombre d'articles trouvés.

Après avoir développé ce système de 39 indicateurs, les chercheurs l'ont testé. Ils ont appliqué leur nouvelle liste de contrôle à vingt revues systématiques qui avaient été publiées dans des revues scientifiques. Ils ont évalué chaque revue pour voir si elle répondait aux indicateurs qu'ils avaient identifiés. Les résultats ont montré que si certaines revues étaient solides, beaucoup présentaient des lacunes importantes, particulièrement dans les domaines techniques de la syntaxe et dans l'étape cruciale consistant à faire valider la recherche par un spécialiste. Les auteurs ont conclu que leur nouveau système constitue un outil pratique et nécessaire pour améliorer la qualité des revues systématiques. En utilisant ces indicateurs, les chercheurs peuvent réduire le biais, rendre leurs conclusions plus reproductibles et s'assurer que les preuves qu'ils rassemblent reflètent véritablement le monde tel qu'il est. L'étude suggère que les revues devraient exiger que les auteurs utilisent ce système comme une partie standard du processus de revue, garantissant ainsi que le fondement de ces résumés scientifiques critiques est aussi solide que les conclusions qu'ils en tirent.