One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
Cette étude emploie une simulation de Monte Carlo reproductible de 700 universités synthétiques pour démontrer que les classements institutionnels varient de manière significative entre OpenAlex, Scopus et Web of Science en raison de mécanismes propres à chaque base de données, tels que la couverture et la mise à l'échelle des citations, révélant qu'une forte concordance au niveau du système masque une instabilité de rang conséquente au niveau de l'institution et des biais régionaux.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque année, les universités du monde entier sont alignées en une seule colonne, classées de la première à la dernière, comme si leur rang était un fait immuable comme la hauteur d'une montagne. Cette pratique repose sur de vastes bibliothèques numériques qui stockent des millions d'articles de recherche, de citations et de noms d'auteurs. Ces bibliothèques, souvent appelées bases de données, sont les outils que les chercheurs utilisent pour compter la production d'une université et la fréquence à laquelle ce travail est lu par d'autres. L'hypothèse sous-jacente à ces classements est que si l'on compte la même université dans deux bibliothèques différentes, on obtiendra approximativement le même résultat. Cependant, la réalité est qu'aucune de ces bibliothèques ne contient exactement la même collection d'ouvrages. L'une peut inclure davantage d'articles écrits dans des langues autres que l'anglais, tandis qu'une autre peut se concentrer fortement sur des domaines scientifiques spécifiques ou exclure certains types de documents comme les actes de conférences. Parce que la liste de départ des articles est différente, le décompte final et le classement qui en résulte peuvent changer radicalement, même si l'université elle-même n'a pas modifié sa production de recherche.
Un chercheur nommé Mustafa Kayyali s'est donné pour mission de comprendre à quel point ces différences importent. Au lieu de tenter de corriger les classements actuels ou de comparer de vraies universités, il a construit une simulation informatique pour tester la mécanique du système. Il a créé un monde fictif contenant sept cents universités synthétiques. Chacune de ces institutions imaginaires s'est vu attribuer un profil unique, incluant sa taille, la qualité de sa recherche, les langues dans lesquelles elle publie et le mélange de sujets qu'elle étudie, tels que la médecine, l'ingénierie ou les arts. Il a ensuite programmé trois bibliothèques numériques différentes pour « observer » ce même groupe d'universités. Ces bibliothèques ont été conçues pour imiter les comportements connus des systèmes réels : l'une était large et inclusive, une autre se situait dans la moyenne, et la troisième était plus sélective et stricte quant à ce qu'elle incluait. Le but n'était pas de voir quelle bibliothèque était la meilleure, mais de voir de combien le rang d'une seule université fluctuerait selon la bibliothèque utilisée pour la mesurer.
Les résultats ont montré une contradiction surprenante. Lorsque le chercheur examinait la liste globale, les classements des différentes bibliothèques semblaient bien s'accorder. L'ordre des universités se déplaçait de concert, suggérant une connexion forte. Cependant, lorsqu'il examinait les universités individuellement, le tableau changeait complètement. Une université qui apparaissait dans le top cent dans une bibliothèque pouvait descendre de dizaines de places dans une autre. En moyenne, une université changeait d'environ quarante et une places entre la bibliothèque la plus inclusive et la plus sélective. Cela signifiait qu'environ dix-huit universités franchissaient la ligne pour entrer ou sortir du top cent simplement parce que l'observateur changeait. Le haut degré d'accord global masquait une grande part d'instabilité pour des institutions spécifiques.
L'étude a également révélé que ces mouvements n'étaient pas aléatoires. Ils suivaient un schéma clair basé sur l'emplacement d'une université et les langues qu'elle utilisait. Les universités du Sud global, ou celles qui publiaient une partie significative de leurs travaux dans des langues autres que l'anglais, avaient tendance à être classées beaucoup plus haut dans la bibliothèque large et inclusive. Dans la bibliothèque plus sélective, ces mêmes institutions chutaient considérablement. Inversement, les universités d'autres régions voyaient souvent leur classement chuter lorsque la bibliothèque devenait plus inclusive. Cela se produisait parce que le système de classement est un jeu à somme nulle ; si un groupe monte parce qu'une plus grande partie de son travail est comptabilisée, un autre groupe doit nécessairement descendre. La simulation a montré que la direction du changement dépendait entièrement des règles intégrées dans la bibliothèque, et non de la qualité réelle de la recherche.
Pour comprendre pourquoi ces écarts existaient, le chercheur a décomposé les différences en quatre causes principales : le nombre de papiers trouvés, la manière dont le nom de l'université était lié à ses articles, la façon dont les citations étaient comptées, et les erreurs aléatoires dans les données. Le facteur le plus important était la couverture, c'est-à-dire simplement combien de papiers la bibliothèque parvenait à trouver. Ce seul facteur expliquait près des deux tiers de la différence dans les classements. La manière dont les universités étaient liées à leurs articles était un facteur moindre, et dans certains cas, corriger ce lien rendait en fait le désaccord légèrement pire avant de l'améliorer. L'étude a conclu que la variation n'était pas une erreur à corriger par un meilleur comptage, mais une caractéristique fondamentale de l'utilisation de sources différentes.
L'article soutient que rapporter un chiffre unique pour le rang d'une université est trompeur car cela masque l'incertitude derrière ce chiffre. Une université peut être classée quarante-septième dans un système et cinquante-deuxième dans un autre, ce qui est une petite différence, mais elle pourrait aussi être classée soixante-deuxième dans l'un et cent quatre-vingt-un dans l'autre. Le chercheur suggère qu'au lieu d'un rang unique, les universités devraient se voir présenter une plage de positions possibles, ainsi que la probabilité d'être dans le top cent. Cette approche permettrait de rendre clair qu'une position d'université n'est pas un point fixe sur une carte, mais un emplacement qui se déplace selon la lentille à travers laquelle il est observé. L'étude ne prétend pas avoir résolu le problème du classement, mais elle fournit une méthode claire pour mesurer à quel point le choix de la source de données modifie la réponse, exhortant à ce que cette incertitude soit rendue visible à quiconque utilise ces listes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.