Inflationary bibliometric values revisited: Indicator validity under falling production costs

Dans le monde de la recherche académique, il existe une habitude de longue date consistant à compter les choses pour mesurer la qualité. Depuis des décennies, les scientifiques et les administrateurs universitaires observent combien de publications un chercheur écrit, combien de fois ces articles sont cités par d'autres, et combien d'auteurs ont travaillé sur un même projet. Ces chiffres agissent comme un carnet de notes, aidant à décider qui obtient un emploi, une subvention ou une promotion. Cependant, ce système a déjà été confronté à un défi majeur. Il y a vingt ans, les chercheurs ont remarqué que le volume pur de publications et de citations augmentait beaucoup plus rapidement que le nombre de scientifiques réellement actifs. Cette « inflation » signifiait que le simple comptage des articles n'était plus un moyen équitable de juger la qualité, car les chiffres étaient dopés par un travail collaboratif accru plutôt que par une meilleure science. La solution de l'époque fut de cesser de compter les chiffres bruts pour commencer à comparer les chercheurs entre eux, en demandant comment un scientifique s'était comporté par rapport à la moyenne dans son domaine spécifique.

Aujourd'hui, une nouvelle force change le paysage de la rédaction scientifique. L'essor d'outils d'intelligence artificielle puissants a rendu la rédaction et la révision de textes scientifiques nettement moins coûteuses et plus rapides. Ce changement soulève une question critique : si la production d'un article devient plus facile, cela change-t-il la nature fondamentale des articles eux-mêmes, ou signifie-t-il simplement qu'il y en a plus ? Si le coût de production d'un article chute, la distribution de la qualité change-t-elle, ou se contente-t-elle de s'étendre ? C'est le cœur du puzzle abordé par Ahmed Hamid Mahmoud dans une étude récente. Il examine si les anciennes méthodes de comparaison des chercheurs sont toujours valides lorsque le coût de création d'un article scientifique n'est plus constant.

Le travail de Mahmoud commence par séparer les effets de ce nouvel environnement de production moins coûteux en deux possibilités distinctes. La première possibilité est ce qu'il appelle un changement d'« échelle ». Imaginez une usine qui recevrait soudainement une nouvelle machine permettant de produire deux fois plus de pièces. Si la qualité de chaque pièce reste exactement la même, mais qu'il y en a simplement plus, la forme globale de la distribution de la qualité reste la même. Dans le monde de la science, cela signifierait que l'intelligence artificielle permet aux chercheurs de publier plus d'articles, mais que le ratio entre les articles excellents et les articles moyens reste inchangé. La seconde possibilité est un changement de « forme ». Cela se produirait si les nouveaux outils changeaient la nature même du travail, en facilitant peut-être la production de articles de faible qualité ou en modifiant le mélange de travaux de haute et de basse qualité d'une manière qui distord la distribution. Si la forme change, les anciennes règles de jugement de la qualité pourraient ne plus s'appliquer.

L'étude utilise un modèle mathématique de la distribution des citations scientifiques pour tester ces scénarios. Les chercheurs ont découvert que si le changement est purement un effet d'« échelle » — signifiant que plus d'articles sont produits mais que le modèle sous-jacent de qualité reste le même — alors les indicateurs relatifs utilisés aujourd'hui sont toujours sûrs. Comparer un chercheur à ses pairs, ou regarder le ratio de ses citations par rapport à la moyenne du domaine, continue de fournir une mesure valide de la performance. Ces méthodes sont robustes face à une simple augmentation de volume. Cependant, la situation change radicalement si différents chercheurs ont un accès inégal à ces outils de production bon marché. Si certains scientifiques peuvent utiliser l'intelligence artificielle pour publier beaucoup plus d'articles tandis que d'autres ne le peuvent pas, le simple décompte du nombre total d'articles ou de citations totales devient trompeur. Dans ce scénario, les comptes ne reflètent plus la qualité du travail ; ils reflètent simplement qui avait accès aux outils moins chers. Le classement montrerait qui avait l'avantage, et non qui a fait la meilleure science.

L'article examine également ce qui se passe si la « forme » de la distribution de la qualité change réellement. Si le mélange de travaux de haute et de basse qualité bascule, les références standards utilisées pour juger les chercheurs deviennent caduques. Par exemple, un seuil qui séparait autrefois les « bons » articles des articles « moyens » pourrait soudainement classer un grand nombre d'articles de manière incorrecte si la distribution sous-jacente s'est déformée. L'étude montre que si cette déformation de la forme se produit, les anciens standards fixes échoueront à identifier la véritable qualité des chercheurs. Cependant, l'article propose une solution. Il suggère que le domaine peut détecter ces changements en observant les modèles spécifiques de distribution des articles au sein d'un groupe. En estimant la « forme » actuelle de la distribution parallèlement aux classements standards, les évaluateurs peuvent ajuster leurs jugements. La recommandation est de rapporter la position d'un chercheur au sein de son groupe actuel, tout en indiquant explicitement l'état de l'environnement dans lequel il est jugé. Ce double signalement garantit qu'un chercheur n'est ni pénalisé, ni indûment valorisé par un changement du système lui-même.

L'auteur prend soin de noter que, bien que les preuves d'une augmentation massive du volume de publications et de l'utilisation de l'intelligence artificielle soient fortes, il n'a pas encore été prouvé que la forme fondamentale de la distribution de la qualité a changé. L'étude ne prétend pas que les anciennes méthodes sont inutiles, ni que l'intelligence artificielle a ruiné la science. Au contraire, elle fournit un cadre clair pour comprendre ce qui se passe. Elle confirme que les comparaisons relatives développées pour corriger l'inflation du passé sont toujours valides tant que l'environnement de production change de manière uniforme. Elle avertit que si l'accès à ces nouveaux outils est inégal, les décomptés bruts mentiront. Et elle fournit une méthode pour détecter si la nature même du travail est en train de changer, permettant à la communauté scientifique d'adapter ses règles d'évaluation avant qu'elles ne deviennent obsolètes. La conclusion ultime est que les outils de mesure de la science sont toujours sains, mais qu'ils doivent être utilisés avec une compréhension claire de l'environnement dans lequel ils sont appliqués. La question pour l'avenir n'est pas de savoir s'il faut abandonner ces outils, mais de savoir si l'on surveille le système assez étroitement pour savoir si le sol sous nos pieds est en train de se dérober.