Limiting to English language records: A comparison of five methods on Ovid MEDLINE and Embase versus removal during screening

Cette étude comparant cinq méthodes de limitation linguistique sur Ovid MEDLINE et Embase à l'exclusion manuelle lors du criblage révèle que, bien que ces filtres soient globalement performants, ils risquent d'éliminer à tort des documents pertinents en raison d'erreurs de métadonnées, un risque qui peut être atténué par des recherches de citations.

L'essentiel

🌍 Le Grand Filtre de la Langue : Une Enquête sur les Biais

Imaginez que vous êtes un détective chargé de résoudre une énigme mondiale. Pour cela, vous devez lire des milliers de rapports écrits dans le monde entier. Mais vous ne parlez que le français (ou l'anglais, dans le cas de l'étude).

Vous avez deux options pour gérer cette barrière de la langue :

1. Le Filtre Automatique : Vous demandez à votre ordinateur de ne vous montrer que les rapports écrits en français dès le début de la recherche.
2. Le Tri Manuel : Vous laissez l'ordinateur vous montrer tous les rapports (français, espagnol, chinois, etc.), et vous les examinez un par un pour décider lesquels lire.

Cette étude, menée par deux experts en recherche (Helen et Kirsty), se pose la question suivante : Lequel de ces deux filtres est le plus sûr pour ne rien manquer d'important ?

---

🕵️‍♀️ L'Enquête : Comment les bases de données "pensent"

Les chercheurs ont utilisé deux immenses bibliothèques numériques (appelées MEDLINE et Embase), qui contiennent des millions de documents médicaux. Ils ont regardé comment ces bibliothèques étiquettent la langue d'un document.

C'est là que ça devient drôle : les étiquettes sont parfois fausses !

Imaginez que vous avez un livre écrit en français et en anglais.

• Parfois, la bibliothèque met une étiquette "Français" sur la couverture.
• Parfois, elle met "Anglais".
• Parfois, elle met "Langue inconnue" ou "Multilingue".
• Et parfois, elle se trompe complètement et dit "Allemand" alors que le livre est en anglais !

L'étude a testé cinq méthodes différentes pour filtrer les documents en anglais (le "Filtre Automatique") et les a comparées au "Tri Manuel" (regarder tout et trier ensuite).

📊 Les Résultats : Le Filtre est-il fiable ?

Les chercheurs ont pris 7 vraies enquêtes médicales passées et ont revu leurs dossiers. Ils ont vu ce qui se serait passé s'ils avaient utilisé les filtres automatiques.

1. Le Filtre est très bon, mais pas parfait (99,8 % de réussite)
Sur 1 000 documents qui devaient être lus (les "gagnants"), le filtre automatique en a bien gardé 998. C'est excellent !

• Mais attention : Il y a eu 5 documents qui auraient été jetés à la poubelle par erreur par le filtre. Pourquoi ? Parce que l'étiquette de la bibliothèque était fausse. Le document était en anglais, mais la bibliothèque pensait qu'il était en espagnol ou en polonais.

2. Le Tri Manuel a aussi ses défauts
Lorsqu'on lit tout à la main, on peut aussi se tromper. Dans cette étude, plusieurs documents qui étaient en anglais ont été jetés par erreur par les humains pendant le tri, simplement parce qu'ils pensaient qu'ils étaient dans une autre langue (souvent à cause d'un titre ou d'un résumé en deux langues).

3. Le problème des "Jumeaux"
L'étude a découvert un phénomène curieux : un même article peut avoir une étiquette "Anglais" sur une bibliothèque, et "Espagnol" sur l'autre. C'est comme si deux bibliothécaires différents regardaient le même livre et ne s'accordaient pas sur sa langue !

🎭 Les Analogies pour mieux comprendre

• L'Analogie du Supermarché :
  Imaginez que vous voulez acheter uniquement des pommes rouges.

  • Le Filtre Automatique (Méthode 1-5) : C'est comme demander au robot du magasin de ne vous donner que les pommes étiquetées "Rouge". Le robot est rapide, mais si une pomme est étiquetée "Verte" par erreur alors qu'elle est rouge, vous ne la verrez jamais.
  • Le Tri Manuel : C'est comme regarder chaque pomme vous-même. Vous pouvez voir qu'une pomme étiquetée "Verte" est en fait rouge. Mais vous êtes fatigué, et vous risquez de jeter une pomme rouge par erreur parce que vous avez eu la flemme de bien regarder.

• L'Analogie du Costume :
  Certains documents sont comme des costumes à double face (bilingues). Si vous ne regardez que l'étiquette sur le dos, vous ne saurez jamais qu'il y a une autre couleur sous le tissu. Les filtres automatiques regardent souvent juste l'étiquette.

💡 La Conclusion : Que faut-il faire ?

L'étude nous dit que les deux méthodes ont des risques, mais que le risque est faible avec les filtres automatiques (seulement 0,2 % d'erreurs).

Cependant, pour être un vrai détective efficace :

1. Ne vous fiez pas aveuglément au filtre : Si vous utilisez un filtre automatique, sachez qu'il peut rater quelques documents importants à cause d'étiquettes fausses.
2. La solution de secours (La "Toile d'Araignée") : Pour ne rien manquer, les chercheurs suggèrent de faire une "chasse aux indices" supplémentaire. Une fois le filtre passé, il faut regarder les références des articles trouvés (ce qu'ils citent) et voir qui les cite (ce qui les cite). C'est comme suivre une toile d'araignée : si vous trouvez un fil manquant, vous pouvez remonter jusqu'au document perdu, même si son étiquette était fausse.
3. La transparence : Il faut toujours dire clairement dans un rapport : "Nous avons filtré en anglais, mais nous savons que cela peut rater quelques documents."

🏁 En résumé

Utiliser un filtre automatique pour ne garder que l'anglais est une méthode rapide et généralement sûre, un peu comme un portique de sécurité dans un aéroport. Il arrête la plupart des problèmes, mais il peut parfois faire sonner l'alarme pour un innocent (un document anglais étiqueté faux) ou laisser passer un coupable (un document étranger étiqueté anglais).

Le plus important est de ne pas s'arrêter là : si vous voulez être sûr à 100 %, il faut compléter ce filtre par d'autres méthodes de recherche, comme suivre les pistes des autres documents.

Résumé technique

1. Problématique et Contexte

Dans le cadre des synthèses de preuves (revues systématiques), l'exclusion des documents non anglophones (NEL - Non-English Language) est une pratique courante souvent motivée par des contraintes de temps, de budget ou de ressources linguistiques. Cependant, cette restriction introduit un « biais de langue » qui peut fausser les conclusions en omettant des preuves pertinentes, notamment car les résultats positifs sont plus susceptibles d'être publiés en anglais.

Le dilemme méthodologique réside dans le moment où cette restriction est appliquée :

• Dans la stratégie de recherche : Limiter la recherche aux documents anglais dès l'interrogation des bases de données (Ovid MEDLINE et Embase).
• Lors du criblage (screening) : Interroger sans limite de langue, puis exclure les documents non anglais lors de la sélection des titres/résumés ou du texte intégral.

Bien que l'exclusion lors du criblage soit théoriquement plus sensible (car elle évite de perdre des documents dont les métadonnées de langue sont erronées), les différentes méthodes techniques disponibles pour limiter la recherche en anglais sur les plateformes Ovid (limites intégrées, codes de champ, opérateurs booléens) n'ont pas été comparées de manière exhaustive. De plus, la fiabilité des métadonnées de langue dans ces bases de données reste une préoccupation majeure.

2. Méthodologie

Cette étude exploratoire a comparé l'impact de cinq méthodes distinctes pour limiter les recherches aux documents anglais sur Ovid MEDLINE et Embase, par rapport à l'exclusion manuelle des documents NEL lors du criblage.

Données utilisées :

• Les auteurs ont analysé les données de sept synthèses de preuves (couvrant des interventions pharmaceutiques, la santé mentale, la neurologie et la santé publique).
• L'échantillon testé comprenait 1 509 enregistrements MEDLINE et 1 584 enregistrements Embase, issus des listes finales d'inclusions (« includes ») et des exclusions pour raison de langue (« NEL excludes ») de ces sept revues.

Les cinq méthodes testées :

1. Limite intégrée : Sélection de « English language » via le menu « Limits » d'Ovid.
2. Limite intégrée étendue : « English language » OU « No language specified » (aucune langue spécifiée).
3. Limite avec langues indéfinies : Ajout des catégories floues (ex: « undetermined », « multilingual » sur MEDLINE ; « polyglot » sur Embase).
4. Méthode « not (NEL not EL) » : Utilisation du code de champ lg pour exclure les documents ayant une métadonnée NEL sans métadonnée EL (méthode développée par Aali et Shokraneh).
5. Méthode « not (NEL not EL/undefined) » : Variante de la méthode 4 incluant les langues indéfinies pour éviter l'exclusion de documents multilingues.

Procédure :
Les auteurs ont appliqué ces cinq filtres aux stratégies de recherche reconstruites pour chaque jeu de données. Ils ont ensuite analysé :

• Le taux de récupération des documents qui auraient dû être inclus (« includes »).
• Le taux de récupération des documents qui avaient été exclus pour raison de langue (« NEL excludes »).
• La précision des métadonnées de langue pour les documents mal classés par les filtres.

3. Résultats Clés

Performance des cinq méthodes :
Sur les jeux de données testés, les cinq méthodes ont produit des résultats identiques.

• Récupération des « includes » (Documents pertinents) :
  • MEDLINE : 99,8 % récupérés (2 documents sur 1 022 perdus).
  • Embase : 99,7 % récupérés (3 documents sur 1 140 perdus).
• Exclusion des « NEL excludes » (Documents non pertinents) :
  • MEDLINE : 98,2 % correctement exclus.
  • Embase : 94,6 % correctement exclus.

Analyse des erreurs (Faux négatifs et Faux positifs) :

• Documents pertinents perdus (Faux négatifs) : Les 5 documents anglais perdus par les filtres (2 sur MEDLINE, 3 sur Embase) présentaient tous des métadonnées de langue incorrectes ou partiellement correctes. Ils étaient publiés dans des journaux bilingues ou multilingues, mais les métadonnées ne listaient que la langue non-anglaise, entraînant leur exclusion automatique.
• Documents non anglais récupérés (Faux positifs) :
  • Sur MEDLINE, 8 des 9 documents récupérés étaient effectivement en anglais (ex: journaux bilingues), un seul était un journal polonais avec uniquement un résumé en anglais.
  • Sur Embase, 9 des 24 documents récupérés étaient en anglais. Les 15 autres étaient des documents non anglais (souvent avec des résumés en anglais ou dans des journaux bilingues) dont les métadonnées étaient erronées (ne listant pas l'anglais alors qu'il était présent, ou l'inverse).

Nature des erreurs de métadonnées :
Les erreurs proviennent principalement de journaux bilingues/multilingues où la langue de l'article n'est pas correctement reflétée dans les métadonnées de la base de données (ex: un article en anglais et français listé uniquement comme « français »).

4. Contributions et Significativité

Contributions techniques :

• Comparaison des méthodes : L'étude confirme que, pour les jeux de données testés, les méthodes complexes (comme l'opérateur not (NEL not EL)) n'offrent pas d'avantage significatif par rapport aux limites intégrées simples, à condition d'inclure les options « aucune langue spécifiée » et « langues indéfinies ».
• Validation des métadonnées : L'étude met en lumière la fiabilité imparfaite des métadonnées de langue sur MEDLINE et Embase, même pour des articles publiés en anglais.

Implications pour les praticiens (Information Specialists et équipes de revue) :

1. Risque d'exclusion : L'utilisation de filtres de langue dans la stratégie de recherche comporte un risque réel (bien que faible, ~0,2-0,3 %) d'exclure des documents pertinents en raison d'erreurs de métadonnées.
2. Stratégie recommandée : Pour les revues où la sensibilité est critique, il est préférable de ne pas appliquer de filtre de langue dans la stratégie de recherche, mais plutôt d'exclure les documents NEL lors du criblage. Cela permet de :
   • Identifier les documents bilingues mal étiquetés.
   • Offrir la possibilité de traduire les documents si les ressources le permettent.
   • Assurer une transparence totale dans le rapport de la revue.
3. Atténuation des risques : Si des filtres de langue sont appliqués (pour des raisons de ressources), les auteurs recommandent de compenser ce risque par des recherches de citations (rétrograde et prospective) pour récupérer les documents potentiellement manqués.
4. Gestion du criblage : Les équipes utilisant le criblage prioritaire (machine learning) doivent être conscientes que les documents sans titre/résumé en anglais risquent d'être repoussés à la fin de la liste, nécessitant une vérification séparée.

Conclusion :
Bien que les filtres de langue semblent efficaces à 99,7-99,8 %, l'étude démontre que les erreurs de métadonnées peuvent entraîner l'exclusion de preuves pertinentes. La méthode la plus robuste pour éviter le biais de langue et les erreurs de métadonnées reste l'exclusion manuelle lors du criblage, couplée à des stratégies de recherche de citations pour pallier les erreurs potentielles.