Removing animal and nonhuman records in Ovid Embase: A comparison of 11 filters

Cette étude compare l'efficacité de onze filtres Ovid Embase pour exclure les enregistrements non humains, révélant que leurs performances varient considérablement en termes de sensibilité et de spécificité et dépendent de facteurs tels que le sujet, le type de publication et la langue.

L'essentiel

🧹 Le grand ménage de printemps dans la bibliothèque médicale

Imaginez que vous êtes un chercheur qui veut écrire un livre sur la santé des humains. Vous allez dans une immense bibliothèque numérique appelée Embase, qui contient des millions de livres, d'articles et de rapports.

Le problème ? Cette bibliothèque est un peu désordonnée. Parmi les millions de documents, il y a des études sur les humains, mais aussi des études sur les animaux (chiens, souris, rats) et même sur des virus ou des plantes. Si vous voulez étudier uniquement les humains, vous ne voulez pas perdre des heures à lire des articles sur la façon de soigner un chat, n'est-ce pas ?

C'est là qu'interviennent les filtres. Ce sont comme des tamis ou des filtres à café que les bibliothécaires (les spécialistes de l'information) utilisent pour trier les résultats. Ils disent : "Gardez ce qui concerne les humains, jetez le reste."

Mais voici le mystère : personne ne savait vraiment si ces tamis fonctionnaient bien ! Certains laissaient passer des chats, d'autres jetaient par erreur des études sur des humains.

🔍 L'expérience : 11 tamis différents

Les auteurs de cette étude, Helen et Connor, ont décidé de tester 11 filtres différents pour voir lequel était le meilleur. Ils ont créé un jeu de 3 000 documents (un mélange de vrais documents humains et de documents animaux) et ont demandé à deux experts de les trier manuellement pour savoir : "Celui-ci devrait rester (c'est un humain)" ou "Celui-ci devrait partir (c'est un animal)".

Ensuite, ils ont passé ces 3 000 documents à travers chacun des 11 filtres pour voir combien ils en avaient gardés ou jetés correctement.

🏆 Les résultats : Qui est le champion ?

Les résultats sont fascinants et montrent qu'il n'y a pas de "tamis parfait" qui fait tout bien. C'est un peu comme choisir une voiture : vous ne pouvez pas avoir à la fois la voiture la plus rapide et celle qui consomme le moins de carburant.

1. Le filtre "Super-Sensible" (Méthode 11) :
   Imaginez un filet de pêche avec des mailles très fines. Ce filtre (le numéro 11) est le meilleur pour ne rien perdre. Il attrape presque tous les documents sur les humains (90 %).

   • Le bémol : Comme ses mailles sont si fines, il attrape aussi un peu trop de "mauvaises prises" (des documents sur des animaux qu'il aurait dû jeter). C'est un filtre qui dit : "Mieux vaut garder un chat par erreur que de perdre un humain !"

2. Le filtre "Super-Sélectif" (Méthode 3) :
   Ce filtre est comme un garde du corps très strict. Il est excellent pour rejeter les animaux (91 % de réussite).

   • Le bémol : Parfois, il est trop strict et rejette par erreur des documents sur des humains (il ne garde que 75 % des humains). C'est un filtre qui dit : "Je veux être sûr à 100 % que ce n'est pas un animal, même si je risque de perdre un humain."

3. Le dilemme :
   La plupart des autres filtres se situent quelque part entre les deux, mais ils sont moins performants que ces deux champions.

🧐 Ce qui a été jeté par erreur ?

L'étude a aussi regardé ce que les filtres avaient jeté par erreur. Le plus souvent, ce qu'ils ont perdu, ce sont des documents qui parlaient d'humains mais qui n'avaient pas l'étiquette "humain" bien collée dessus.

C'est comme si un livre sur la santé des enfants était rangé dans le rayon "Animaux" parce que l'indexeur a écrit "les enfants aiment jouer avec les chiens". Le filtre, voyant le mot "chien", a jeté le livre, alors qu'il parlait surtout des enfants !

💡 La leçon à retenir

Cette étude nous apprend trois choses importantes, expliquées simplement :

1. Il n'y a pas de solution magique : Aucun filtre ne fonctionne parfaitement pour tout le monde.
2. Le contexte est roi : Si vous faites une recherche sur la santé mentale, vous ne voulez peut-être pas utiliser le filtre le plus strict, car il pourrait jeter des études sur l'animal-thérapie (qui utilise des chiens pour aider les humains). Si vous faites une recherche sur la chirurgie cardiaque, vous pouvez peut-être vous permettre d'être plus strict.
3. La discussion est essentielle : Avant de lancer une recherche, les chercheurs et les bibliothécaires doivent discuter : "Sommes-nous d'accord pour jeter les études sur les animaux ? Y a-t-il des cas où les animaux sont importants pour notre sujet ?"

🎯 En résumé

Cette étude est comme un guide d'achat pour les filtres de recherche. Elle dit aux chercheurs : "Ne prenez pas le premier filtre venu par habitude. Regardez comment il fonctionne, choisissez celui qui correspond le mieux à votre projet, et soyez conscients que vous risquez de perdre quelques pépites (des études humaines) ou de garder quelques mauvaises herbes (des études animales)."

C'est un rappel gentil mais important : dans la recherche scientifique, la précision demande de la réflexion, pas juste de cliquer sur un bouton.

Résumé technique

1. Problématique

Les synthèses de preuves (revues systématiques) centrées sur la population humaine doivent souvent exclure les études précliniques ou les enregistrements concernant des animaux et d'autres entités non humaines. Dans la base de données Ovid Embase, plusieurs filtres de recherche sont couramment utilisés pour cette tâche, mais la plupart d'entre eux ne disposent pas de données de performance validées.

Les défis majeurs identifiés sont :

• L'absence de validation : De nombreux filtres sont utilisés sans avoir été testés contre un « standard d'or ».
• La complexité de l'indexation : L'indexation Emtree (le thésaurus d'Embase) n'est pas infaillible. Un enregistrement pertinent pour l'humain peut ne pas être indexé avec le terme « human/ », ce qui entraîne son exclusion erronée par un filtre.
• La diversité des approches : Les 11 filtres comparés utilisent des stratégies différentes (champs de titre/résumé vs. termes Emtree exclusifs, définitions variables de « non-humain »).
• Le risque de biais : L'utilisation aveugle de filtres peut éliminer des études pertinentes impliquant des animaux dans un contexte de santé humaine (ex: thérapies assistées par les animaux, chiens de détection).

2. Méthodologie

L'étude adopte une approche quantitative et comparative pour évaluer la performance de 11 filtres différents utilisés dans Ovid Embase.

• Construction des jeux de données : Les auteurs ont créé trois stratégies de recherche pour identifier des enregistrements appartenant à trois catégories :
  1. Animaux/non-humains uniquement.
  2. Humains uniquement.
  3. Animaux/non-humains ET humains.
     Un échantillon total de 3 000 enregistrements a été extrait (500 retirés et 500 conservés par filtre pour chaque catégorie).
• Évaluation manuelle (Gold Standard) : Deux examinateurs ont doublement examiné les titres et résumés de ces enregistrements pour les classer en « à retirer » ou « à conserver ». Les désaccords ont été résolus par discussion.
• Mesures de performance : Pour chaque filtre, les auteurs ont calculé :
  • La Sensibilité : Capacité à conserver correctement les enregistrements pertinents (« à conserver »).
  • La Spécificité : Capacité à retirer correctement les enregistrements non pertinents (« à retirer »).
  • La Précision globale (Overall Accuracy).
• Analyse qualitative des erreurs : Les enregistrements pertinents incorrectement retirés (« faux négatifs ») ont été catégorisés selon 7 thèmes (ex: utilisation de participants humains, revues sur des conditions humaines, etc.).
• Contexte d'indexation : Les auteurs ont consulté les guides d'indexation d'Elsevier et contacté l'éditeur pour comprendre comment les termes Emtree (notamment « human/ » et « nonhuman/ ») sont attribués, notamment pour les résumés de conférences et les prépublications qui ne subissent qu'une indexation automatique.

3. Contributions Clés

• Comparaison empirique : C'est l'une des premières études à fournir des données de performance chiffrées pour 11 filtres couramment utilisés dans Embase, comblant un vide important dans la littérature sur la recherche documentaire.
• Analyse des mécanismes de défaillance : L'étude ne se contente pas de classer les filtres, elle analyse pourquoi ils échouent (ex: l'utilisation des champs titre/résumé vs. les termes Emtree, l'impact de l'indexation automatique).
• Catégorisation des exclusions erronées : Identification précise des types de documents pertinents qui sont le plus souvent perdus (notamment ceux impliquant des participants humains mais mal indexés).
• Recommandations pratiques : Fourniture d'une base factuelle pour aider les spécialistes de l'information à choisir le filtre approprié en fonction des besoins spécifiques de leur revue (sensibilité vs spécificité).

4. Résultats

Les résultats montrent des variations significatives entre les filtres, notamment entre ceux qui utilisent uniquement des termes Emtree et ceux qui incluent des termes libres (titre/résumé).

• Performance globale :
  • Filtre 11 (le plus sensible) : A correctement conservé 90,6 % des enregistrements pertinents (sur l'ensemble des données). Cependant, il a une spécificité faible (41,2 %), retirant peu d'enregistrements non pertinents.
  • Filtre 3 (le plus spécifique) : A correctement retiré 71,5 % des enregistrements non pertinents, mais avec une sensibilité plus faible (75,2 %).
  • Filtre 10 : Se situe entre les deux, avec une bonne sensibilité (88,3 %) et une spécificité intermédiaire (49,9 %).
• Impact de la conception du filtre :
  • Les filtres qui n'essaient pas de retirer les termes « non-humains » (comme le Filtre 11, basé uniquement sur « animal experiment/ ») sont plus sensibles mais moins spécifiques.
  • L'utilisation des champs titre et résumé (comme dans le Filtre 3) augmente la spécificité mais réduit la sensibilité, car des termes métaphoriques ou des mentions d'exclusion (« études animales exclues ») peuvent entraîner une suppression erronée.
• Types d'erreurs :
  • La catégorie la plus fréquemment exclue à tort est « utilise des participants ou des données humaines » (44,9 % des erreurs en moyenne).
  • Les filtres 10 et 11 ont montré des profils d'erreur différents des autres, retirant davantage de revues sur des facteurs affectant la santé humaine.
• Problèmes d'indexation : Les enregistrements soumis à une indexation automatique uniquement (résumés de conférences, prépublications, articles non anglais) sont plus susceptibles d'être incorrectement exclus, car les termes Emtree « human/ » peuvent leur manquer.

5. Signification et Conclusion

Cette étude démontre qu'il n'existe pas de filtre « universel » parfait pour supprimer les enregistrements animaux dans Embase. Le choix du filtre dépend d'un compromis entre la sensibilité (ne pas manquer d'études pertinentes) et la spécificité (ne pas garder de bruit).

• Recommandation principale : Les auteurs recommandent le Filtre 11 pour les revues systématiques où la sensibilité est primordiale, car il minimise le risque de perdre des études pertinentes sur l'humain.
• Implication pour la pratique : Les spécialistes de l'information doivent discuter avec les équipes de revue des critères d'inclusion/exclusion spécifiques. L'utilisation aveugle de filtres sans comprendre leur impact potentiel sur des sous-groupes (ex: études économiques, résumés de conférences) est déconseillée.
• Limites et perspectives : L'étude souligne que la performance peut varier selon le sujet, le type d'étude et la langue. Des recherches futures sont nécessaires pour valider ces filtres sur des types de documents spécifiques (qualitatif, économique) et pour mieux comprendre l'indexation des prépublications.

En résumé, ce travail fournit une base critique pour l'optimisation des stratégies de recherche en santé, permettant d'éviter des biais de sélection dus à une exclusion trop agressive des enregistrements non humains.