Does the sensitivity- and precision-maximizing RCT filter find all 'included' records retrieved by the sensitivity-maximizing filter on Ovid MEDLINE? An investigation using 14 Cochrane reviews

Cette étude démontre que le filtre SaPM pour les essais contrôlés randomisés sur Ovid MEDLINE réduit considérablement la charge de criblage par rapport au filtre SM tout en conservant la quasi-totalité des études pertinentes, le risque de manquant étant atténuable par la recherche de citations.

L'essentiel

🕵️‍♀️ L'Enquête : Deux Filets de Pêche pour Trouver des Trésors

Imaginez que vous êtes un chercheur qui doit trouver tous les poissons d'une certaine espèce (les études médicales fiables, appelées "Essais Randomisés Contrôlés") dans un océan gigantesque et boueux (la base de données médicales MEDLINE).

Le problème ? L'océan est rempli de déchets, d'algues et de poissons qui ne vous intéressent pas. Si vous lancez un filet trop grand, vous ramassez tout, mais vous devez passer des jours à trier chaque poisson pour trouver les bons. C'est épuisant !

Pour aider, il existe deux types de filets de pêche spéciaux, créés par les experts de la Cochrane (une organisation qui fait le tri dans la science) :

1. Le Filet "Super-Sensible" (SM) : C'est un filet à mailles très fines. Il est conçu pour ne jamais laisser échapper un seul bon poisson. Le risque ? Il attrape aussi beaucoup de "mauvais" poissons (du bruit), ce qui oblige à faire un tri long et fastidieux.
2. Le Filet "Super-Sensible et Précis" (SaPM) : C'est un filet un peu plus ajusté. Il est conçu pour attraper presque tous les bons poissons, mais en laissant échapper un peu plus de déchets. L'objectif est de réduire le temps de tri.

La question de l'étude : Le deuxième filet (SaPM) est-il assez bon pour attraper presque tous les poissons que le premier filet (SM) attrape, tout en nous faisant gagner du temps ?

---

🔍 Ce que les chercheurs ont fait

Au lieu de simuler une pêche théorique, les chercheurs ont regardé dans les archives de 14 grandes enquêtes médicales (des revues Cochrane) qui avaient déjà utilisé le "Filet Super-Sensible" (SM) et trouvé leurs poissons.

Ils ont ensuite pris ces mêmes listes de poissons trouvés et ont demandé : "Si on avait utilisé le Filet Précis (SaPM) à la place, aurions-nous perdu des poissons importants ? Et combien de temps aurions-nous gagné ?"

---

📊 Les Résultats : Le compromis gagnant

Voici ce qu'ils ont découvert, avec des analogies simples :

1. La sécurité (Ne rien rater)

• Le Filet SM a attrapé 98,2 % des poissons importants.
• Le Fileet SaPM a attrapé 95,9 % des poissons importants.
• La différence : Le filet précis en a manqué un tout petit peu moins de 3 %. C'est comme si, sur 100 trésors, le filet précis en laissait échapper 2 ou 3 de plus que le filet super-sensible.

2. L'efficacité (Gagner du temps)

C'est ici que ça devient intéressant.

• Avec le Filet SM, pour trouver un seul bon poisson, il fallait en examiner 189 au total. C'est comme devoir fouiller 189 sacs de sable pour trouver une perle.
• Avec le Filet SaPM, il fallait seulement en examiner 68. C'est beaucoup plus rapide !
• Le gain : En utilisant le filet précis, les chercheurs ont réduit la quantité de documents à lire de 83 % (contre 55 % pour l'autre). C'est comme passer d'une montagne de dossiers à un simple classeur.

3. Le sauvetage (Les poissons perdus)

Les chercheurs se sont demandé : "Et si on perdait ces quelques poissons ?"
Ils ont utilisé une technique appelée "l'enquête par citation" (regarder qui a cité ces études ou quelles études elles ont citées).

• Résultat : Grâce à cette enquête secondaire, ils ont pu retrouver presque tous les poissons qui avaient échappé au filet précis. C'est comme si, après avoir vidé le filet, on regardait sous les rochers pour récupérer les quelques poissons qui s'étaient cachés.

---

💡 La Conclusion Simple

Imaginez que vous devez trier une immense pile de courrier.

• L'option 1 (Filet SM) : Vous prenez tout, vous êtes sûr de ne rien rater, mais vous passez 10 heures à trier des factures inutiles.
• L'option 2 (Filet SaPM) : Vous utilisez un tamis plus fin. Vous ratez peut-être une ou deux lettres importantes, mais vous réduisez votre pile de courrier de moitié. Et si vous avez un doute, vous pouvez rapidement vérifier les enveloppes voisines (citation) pour retrouver ce qui manque.

Le verdict de l'étude :
Le Filet SaPM (Sensibilité et Précision) est souvent le meilleur choix pour gagner du temps et de l'argent, surtout pour les gros projets. Il ne faut pas avoir peur de rater quelques études, car on peut les retrouver facilement avec un peu d'enquête supplémentaire.

Cependant, le choix dépend de la situation :

• Si vous cherchez un médicament très rare ou critique, vous voudrez peut-être le Filet SM (sécurité maximale).
• Si vous avez une urgence ou un projet énorme, le Filet SaPM est un excellent compromis qui vous fait gagner un temps précieux sans risquer de rater l'essentiel.

En résumé : On peut être plus efficace en acceptant un tout petit risque de rater un détail, à condition de savoir comment le retrouver si nécessaire.

Résumé technique

Titre de l'étude

Le filtre RCT maximisant la sensibilité et la précision trouve-t-il tous les enregistrements « inclus » récupérés par le filtre maximisant la sensibilité sur Ovid MEDLINE ? Une enquête utilisant 14 revues Cochrane.

---

1. Problématique et Contexte

L'augmentation continue du volume de littérature dans MEDLINE rend la recherche systématique complexe. Les spécialistes de l'information doivent trouver un équilibre entre une sensibilité maximale (ne rien manquer) et une précision suffisante (limiter le nombre d'enregistrements à examiner) pour rendre le processus de criblage gérable.

Deux filtres de recherche validés pour identifier les essais contrôlés randomisés (ECR) sur Ovid MEDLINE sont disponibles :

• SM (Sensitivity-Maximizing) : Version maximisant la sensibilité (rappel), recommandée par défaut par Cochrane.
• SaPM (Sensitivity- and Precision-Maximizing) : Version visant à maximiser à la fois la sensibilité et la précision.

Bien que le filtre SaPM soit disponible, il est souvent sous-utilisé car les revues systématiques privilégient la sensibilité absolue. Cette étude vise à évaluer l'impact de l'utilisation du filtre SaPM par rapport au filtre SM sur la base de données Ovid MEDLINE, en particulier après les mises à jour de 2023 de ces filtres et l'introduction de l'indexation automatique (machine-indexing) par la NLM en avril 2022.

2. Méthodologie

L'étude est une analyse rétrospective basée sur des données réelles de revues systématiques.

• Échantillon : 14 revues Cochrane publiées ou mises à jour après avril 2022, ayant utilisé le filtre SM (version 2008 ou adaptée) pour limiter leurs recherches aux ECR.
• Données d'entrée : Les enregistrements « inclus » finaux (après criblage texte intégral) de ces 14 revues, totalisant 394 enregistrements disponibles sur Ovid MEDLINE.
• Procédure :
  1. Rappel (Sensibilité) : Application des filtres SM et SaPM (versions 2023) sur les ensembles de données pour déterminer combien d'enregistrements « inclus » sont récupérés par chacun.
  2. Analyse des pertes : Investigation des raisons pour lesquelles certains enregistrements ont été manqués par l'un ou l'autre filtre (analyse des champs de titre, résumé, descripteurs MeSH, etc.).
  3. Rendement unique : Identification des enregistrements récupérés par un filtre mais pas par l'autre.
  4. Atténuation par recherche de citations : Pour les enregistrements manqués, une recherche de citations (vers l'avant et vers l'arrière) a été effectuée via Web of Science et CitationChaser pour voir si le risque de perte pouvait être compensé.
  5. Reproduction des stratégies : Pour 9 des 14 revues, les stratégies de recherche originales ont été reproduites pour calculer la précision, le Nombre Nécessaire à Lire (NNR) et la réduction du Nombre Global Nécessaire à Examiner (ONNS).

3. Contributions Clés et Résultats

A. Performance de Rappel (Sensibilité)

• Le filtre SM a récupéré 98,2 % (387/394) des enregistrements inclus.
• Le filtre SaPM a récupéré 95,9 % (378/394) des enregistrements inclus.
• Différence : Le filtre SaPM a manqué 9 enregistrements supplémentaires par rapport au SM (soit une différence de 2,3 %).
• Rendement unique :
  • Le filtre SM a trouvé 12 enregistrements uniques (non trouvés par SaPM).
  • Le filtre SaPM a trouvé 3 enregistrements uniques (non trouvés par SM).
  • Note : Les enregistrements uniques du SaPM étaient souvent des documents sans résumé (errata, prépublications), où la recherche par titre (spécifique au SaPM) était avantageuse.

B. Analyse des Causes de Perte

Les enregistrements manqués par le SaPM (mais trouvés par le SM) étaient principalement dus à :

• La présence du mot « trial » dans le champ résumé (8 cas).
• L'utilisation du descripteur flottant « drug therapy » (5 cas).
• La présence du mot « groups » dans le résumé (2 cas).
• Observation importante : Le filtre SaPM ne recherche pas « drug therapy » comme sous-titre flottant, ce qui le rend moins performant pour les revues centrées sur les médicaments.

C. Précision et Efficacité du Criblage

Le filtre SaPM offre une amélioration significative de l'efficacité :

• Précision moyenne : 4,4 % pour SaPM contre 1,5 % pour SM (différence de +2,9 %).
• Nombre Nécessaire à Lire (NNR) : 68 pour SaPM contre 189 pour SM. Cela signifie qu'il faut lire beaucoup moins d'enregistrements pour trouver un ECR pertinent avec le SaPM.
• Réduction de la charge de travail (ONNS) :
  • Le filtre SM réduit le nombre d'enregistrements à examiner de 54,8 % en moyenne.
  • Le filtre SaPM réduit ce nombre de 83,0 % en moyenne.
  • Gain supplémentaire : L'utilisation du SaPM permet une réduction supplémentaire de 28,2 % du volume de criblage par rapport au SM.

D. Atténuation par la Recherche de Citations

La recherche de citations (vers l'avant et l'arrière) s'est révélée très efficace pour compenser les pertes du filtre SaPM :

• CitationChaser a permis de retrouver 100 % des 7 enregistrements manqués par le SM et 93,7 % (15/16) des enregistrements manqués par le SaPM.
• Cela suggère que le risque de manquer des études pertinentes avec le SaPM peut être pratiquement éliminé en combinant ce filtre avec une recherche de citations bidirectionnelle.

4. Signification et Implications

• Choix du Filtre : L'étude démontre que le filtre SaPM n'est pas seulement une option pour les cas où le volume est ingérable, mais qu'il offre un gain d'efficacité substantiel (réduction de ~28 % du travail de criblage supplémentaire) avec un risque de perte de données minime (2,3 %).
• Adaptation Thématique : Le choix du filtre doit être adapté au sujet de la revue. Pour les revues portant sur les médicaments, le filtre SM (ou une adaptation du SaPM incluant « drug therapy ») reste préférable car le SaPM standard risque de manquer des études pertinentes.
• Rôle de l'Indexation Automatique : L'étude soulève des questions sur l'impact de l'indexation automatique (machine-indexing) introduite en 2022 sur la fiabilité des filtres basés sur les descripteurs MeSH, bien que cela nécessite des recherches supplémentaires.
• Stratégie Recommandée : Pour les revues à large spectre ou nécessitant rapidité, l'utilisation du filtre SaPM couplée à une recherche de citations (via CitationChaser) apparaît comme une stratégie optimale pour équilibrer sensibilité, précision et charge de travail.

Conclusion

L'utilisation du filtre SaPM sur Ovid MEDLINE permet de réduire considérablement la charge de criblage (réduction supplémentaire de 28,2 % par rapport au SM) tout en maintenant une sensibilité très élevée (95,9 %). Bien qu'il existe un risque minime de manquer quelques enregistrements spécifiques (notamment liés aux médicaments), ce risque peut être efficacement atténué par des méthodes de recherche de citations. Les spécialistes de l'information devraient envisager d'adopter le SaPM, en ajustant éventuellement le filtre en fonction du sujet spécifique de la revue.