📊 statistics

Assessing Methodological Distortions in the Clarivate Highly Cited Researchers List: International Comparisons and a Reform Framework

Cet article critique les limites méthodologiques de la liste des chercheurs hautement cités de Clarivate en démontrant comment des facteurs tels que le comptage entier et les disparités de citations faussent les comparaisons internationales, et propose un cadre de réforme pour remédier à ces biais grâce au comptage fractionnaire, à la normalisation par domaine et à l'amélioration de la désambiguïsation des auteurs.

Auteurs originaux : F. PACHECO-TORGAL

Publié 2026-07-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : F. PACHECO-TORGAL

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de la science comme une immense ligue sportive mondiale. Chaque année, une organisation célèbre appelée Clarivate publie une liste du « Panthéon » appelée les Chercheurs Hautement Cités (HCR). Cette liste est censée identifier le top 1 % des scientifiques dont les travaux sont les plus lus et référencés par leurs pairs. Les universités et les gouvernements utilisent cette liste pour décider de l'attribution des financements, des promotions et du prestige.

Cependant, cet article soutient que les règles du jeu sont truquées. L'auteur, F. Pacheco-Torgal, suggère que la manière dont Clarivate compte les points est défaillante, menant à une vision déformée de qui est réellement le « meilleur » scientifique.

Voici une décomposition des arguments de l'article en utilisant des analogies simples :

1. Le problème du « comptage entier » : Le défaut de la photo de groupe

Le Problème : Actuellement, Clarivate utilise une méthode appelée « comptage entier ». Imaginez qu'une équipe de 200 scientifiques rédige un article révolutionnaire. Si cet article reçoit 500 citations (mentions par d'autres scientifiques), Clarivate attribue 500 points à chacun des 200 auteurs.
La Métaphore : C'est comme une photo de groupe où tout le monde reçoit une médaille d'or simplement pour être présent sur la photo, peu importe qui a réellement pris la photo ou qui a fait le plus gros du travail.
La Conséquence : Cela gonfle massivement les scores des scientifiques qui travaillent dans de très grandes équipes (ce qui est courant dans des domaines comme la biologie ou la physique). Cela récompense le fait de faire partie d'un grand club plutôt que le génie individuel. L'article suggère de passer au « comptage fractionné », où les 500 points seraient divisés par 200, donnant à chaque scientifique seulement 2,5 points. Cela offrirait une réflexion plus juste de la contribution individuelle.

2. Le problème des « Pommes vs Oranges » : Différents sports, même trophée

Le Problème : Différents domaines scientifiques ont différentes « cultures de citation ». Certains domaines, comme la médecine, publient des milliers d'articles et se citent constamment les uns les autres. D'autres, comme les mathématiques ou l'ingénierie, publient moins d'articles et les citent moins souvent.
La Métaphore : Imaginez une course où des sprinteurs (Médecine) courent 100 mètres en 10 secondes, et des marathoniens (Mathématiques) courent 42 kilomètres en 3 heures. Si le trophée est décerné à celui qui parcourt la plus grande distance en une seule heure, les sprinteurs gagneront toujours, même si les marathoniens sont incroyablement talentueux.
La Conséquence : La liste actuelle ne s'ajuste pas bien à ces différences, favorisant les domaines qui génèrent naturellement plus de citations, ce qui fait paraître les scientifiques des domaines au rythme plus lent moins impressionnants qu'ils ne le sont réellement.

3. Le problème de l'« auto-promotion » et de la « confusion de nom »

Le Problème : La liste actuelle n'élimine pas strictement les citations où un scientifique cite ses propres travaux (auto-citation), ni ne distingue parfaitement deux scientifiques portant le même nom (par exemple, « J. Smith »).
La Métaphore : C'est comme un concours de popularité où vous pouvez augmenter votre propre score en criant votre propre nom dans la foule, et où deux personnes différentes pourraient accidentellement recevoir le crédit d'un même prix parce qu'elles portent le même badge nominatif.
La Conséquence : Cela peut gonfler artificiellement les scores et attribuer à tort le mérite à la mauvaise personne.

Le « Ratio de Distorsion » : Comparaison de deux tableaux de bord

Pour prouver ces failles, l'auteur compare la liste de Clarivate avec une autre liste célèbre : la liste des Top 0,5 % des scientifiques de Stanford. La liste de Stanford utilise des règles plus équitables (division des points, suppression des auto-citations et meilleure vérification des noms).

L'auteur a créé un « Ratio de Distorsion » pour voir à quel point les deux listes divergent.

Si le ratio est de 1,0 : Les deux listes s'accordent sur le nombre de scientifiques d'un pays.
Si le ratio est élevé (comme 2,0+) : La liste de Clarivate sur-comptant le nombre de scientifiques de ce pays par rapport à la liste plus équitable de Stanford.
Si le ratio est bas (comme 0,5) : La liste de Clarivate sous-comptant ce pays.

Les Résultats :

La Chine : A présenté la plus forte distorsion. La liste de Clarivate montre qu'elle possède deux fois plus de scientifiques de haut niveau que ne le suggère la liste de Stanford. L'auteur suggère que c'est parce que les chercheurs chinois font souvent partie d'équipes de collaboration massives qui bénéficient de la règle du « comptage entier ».
La Norvège, le Japon, l'Italie, le Canada : Ces pays étaient « sous-représentés » sur la liste de Clarivate. Leurs scientifiques apparaissaient moins fréquemment dans cette liste que dans celle de Stanford, probablement parce que leurs cultures de recherche impliquent des équipes plus petites ou des habitudes de citation différentes que les règles actuelles pénalisent.
Le Test du Prix Nobel : L'article note une statistique choquante : la liste de Clarivate ne comprend qu'environ 10 % des lauréats du prix Nobel. En revanche, la liste de Stanford en comprend plus de 90 %. Cela suggère que la liste de Clarivate passe à côté de nombreux esprits scientifiques les plus brillants du monde.

La Solution Proposée : Une Réforme en Trois Piliers

L'auteur ne dit pas que la liste doit être annulée, mais qu'elle nécessite une refonte majeure utilisant trois piliers :

Diviser les points : Passer au « comptage fractionné » pour que le crédit soit partagé équitablement entre les membres de l'équipe.
Égaliser les chances : Utiliser des mathématiques plus poussées pour comparer les scientifiques au sein de leurs domaines spécifiques et étroits (par exemple, comparer un chirurgien cardiaque uniquement à d'autres chirurgiens cardiaques, et non à un physicien).
Nettoyer les données : Supprimer strictement les auto-citations et utiliser des identifiants uniques (comme ORCID) pour s'assurer que le bon « J. Smith » reçoive le crédit.

L'Essentiel

L'article conclut que, bien que la liste des Chercheurs Hautement Cités de Clarivate soit populaire et influente, ses règles actuelles agissent comme un filtre qui déforme la réalité. Elle favorise les grandes équipes et les domaines à forte citation, tout en masquant potentiellement l'impact réel de chercheurs individuels dans d'autres domaines. Tant que les règles ne seront pas corrigées, nous devrions être très prudents avant d'utiliser cette liste pour prendre des décisions importantes concernant le financement ou les classements universitaires.

Résumé technique : Évaluation des distorsions méthodologiques de la liste des chercheurs hautement cités de Clarivate

Énoncé du problème
L'article traite des limites méthodologiques significatives de la liste des chercheurs hautement cités (Highly Cited Researchers - HCR) de Clarivate, un indicateur d'influence scientifique largement utilisé. L'étude soutient que la méthodologie actuelle de l'HCR repose sur le « comptage intégral » (attribuant le plein crédit de citation à chaque coauteur, quelle que soit la taille de l'équipe) et sur une catégorisation disciplinaire large. Ces pratiques sont supposées gonfler l'impact apparent des chercheurs au sein des grands réseaux collaboratifs et des domaines présentant des densités de citations élevées (par exemple, les sciences biomédicales), tout en désavantageant systématiquement les chercheurs issus de domaines ayant des taux de citation plus faibles ou des structures d'équipe plus réduites. De plus, l'article note que la liste HCR ne capture qu'environ 10 % des lauréats du prix Nobel, ce qui soulève des questions sur sa capacité à identifier de véritables contributions scientifiques exceptionnelles par rapport à d'autres mesures.

Méthodologie
L'étude emploie une analyse quantitative comparative utilisant deux ensembles de données primaires pour le cycle de publication 2024 :

Liste HCR de Clarivate (2024) : Contient 6 886 chercheurs, provenant du corpus Web of Science.
Ensemble de données des scientifiques du top 0,5 % de Stanford (2025) : Contient 57 508 chercheurs, provenant de Scopus, utilisant le comptage fractionnaire, la désambiguïsation des auteurs et l'exclusion des autocitations.

Pour quantifier la divergence entre ces deux listes méthodologiquement distinctes, l'auteur introduit un Ratio de Distorsion (RD) défini comme :
$DR = \frac{\text{Part HCR du pays (\%)}}{\text{Part annuelle de Stanford du pays (\%)}}$

Interprétation : Un RD > 1,0 indique une surreprésentation dans la liste HCR par rapport à la référence de Stanford ; un RD < 1,0 indique une sous-représentation.
Rigueur statistique : L'analyse calcule les intervalles de confiance à 95 % pour le RD en utilisant la méthode delta appliquée aux erreurs types de proportion binomiale. Cela permet de prendre en compte l'incertitude d'échantillonnage, particulièrement pour les pays ayant des effectifs HCR absolus réduits.
Portée : L'analyse couvre les 20 premiers pays par nombre de HCR. Elle reconnaît explicitement que le RD mesure la discordance entre deux instruments imparfaits plutôt qu'un biais absolu, et note les limites telles que les différences de bases de données (Web of Science vs Scopus) et l'absence de décomposition par domaine dans les données agrégées.

Contributions clés

Introduction du Ratio de Distorsion (RD) : Une nouvelle métrique pour quantifier systématiquement la divergence au niveau national entre la liste HCR et le classement de Stanford.
Preuve empirique d'un biais systématique : L'étude fournit des preuves statistiques que la méthodologie HCR produit des distorsions significatives pour des nations spécifiques, attribuant cela aux avantages structurels des grandes collaborations et aux pratiques de citation spécifiques aux domaines.
Validation statistique : En calculant les intervalles de confiance, l'article distingue les résultats statistiquement robustes des artefacts de la variation d'échantillonnage, mettant en garde contre la surinterprétation des estimations ponctuelles pour les pays ayant de petits échantillons.
Cadre de réforme : L'article synthétise la littérature existante en scientométrie pour proposer un cadre de réforme de l'HCR reposant sur trois piliers.

Résultats
L'analyse des données de 2024 révèle des variations substantielles des ratios de distorsion selon les pays :

Chine continentale : Enregistre le RD le plus élevé de l'échantillon (2,10 pour l'ensemble de données annuel ; 8,05 pour l'ensemble de données sur toute la carrière). L'intervalle de confiance à 95 % [1,99, 2,21] confirme que cette surreprésentation est statistiquement robuste. L'article suggère que cela est probablement dû à l'inflation par le comptage intégral dans les grands réseaux collaboratifs et à la concentration dans des domaines à haute citation.
Sous-représentation statistiquement robuste : Plusieurs pays présentent des valeurs de RD nettement inférieures à 1,0 avec des intervalles de confiance excluant 1,0, indiquant qu'ils sont sous-représentés dans la liste HCR par rapport à leur performance à Stanford. Il s'agit de :
- Norvège : DR = 0,46 (IC [0,24, 0,68])
- Italie : DR = 0,65 (IC [0,52, 0,77])
- Japon : DR = 0,69 (IC [0,53, 0,85])
- Suède : DR = 0,74 (IC [0,54, 0,94])
- Canada : DR = 0,76 (IC [0,66, 0,87])
- Royaume-Uni : DR = 0,87 (IC [0,80, 0,95])
Cas statistiquement indéterminés : Pour 11 des 20 pays (incluant l'Allemagne, la France et l'Australie), les intervalles de confiance à 95 % croisent la valeur nulle de 1,0. Pour ces nations, les estimations ponctuelles ne peuvent être distinguées de la parité de manière statistique, et l'article conseille la prudence quant à l'établissement de conclusions politiques sans réplication longitudinale.
Écart des lauréats du Nobel : L'article réitère que la liste HCR ne comprend qu'environ 10 % des lauréats du prix Nobel, alors que le classement de Stanford (qui utilise le comptage fractionnaire et la désambiguïsation) en inclut plus de 90 %.

Signification et revendications
L'article affirme que la méthodologie actuelle de l'HCR ne reflète pas fidèlement l'impact scientifique individuel en raison de son recours au comptage intégral et d'une normalisation par domaine insuffisante. Il soutient que ces failles méthodologiques se propagent dans les classements institutionnels (tels que l'Academic Ranking of World Universities) et influencent les décisions de financement et de recrutement.

L'étude propose un cadre de réforme à trois piliers pour remédier à ces problèmes :

Comptage fractionnaire obligatoire : Remplacer le comptage intégral pour garantir que le crédit de citation est divisé entre les coauteurs, réduisant ainsi l'avantage des grands réseaux collaboratifs.
Normalisation robuste entre les domaines : Adopter une classification par domaines plus granulaire (par exemple, les 54 domaines utilisés par l'ARWU) et appliquer une normalisation par rang de percentile au sein de chaque domaine afin d'éliminer les biais structurels entre les disciplines.
Désambiguïsation des auteurs et exclusion des autocitations : Mettre en œuvre une identification rigoureuse des auteurs (via ORCID, par exemple) et exclure les autocitations pour prévenir l'inflation artificielle de l'impact.

L'article conclut que bien que la liste HCR demeure un indicateur important, elle doit être interprétée avec une « prudence considérable » jusqu'à ce que ces réformes soient adoptées. Il souligne que les résultats concernant la Chine, les États-Unis, le Royaume-Uni, le Canada, l'Italie, la Belgique, le Japon, la Suède et la Norvège sont suffisamment robustes statistiquement pour nécessiter une attention immédiate, tandis que les résultats pour d'autres pays requièrent une étude longitudinale supplémentaire. L'analyse ne prétend pas que l'ensemble de données de Stanford est une « vérité terrain », mais l'utilise comme une référence méthodologique contrastée pour mettre en évidence la discordance systématique de l'approche HCR.