Science-wide mapping and ranking of institutions based on affiliated authors' impact and research integrity proxies

Cette étude présente une cartographie et un classement mondiaux de 2 380 institutions scientifiques qui évaluent leur impact en pondérant le nombre d'auteurs très cités par des pénalités liées aux taux d'auto-citation élevés, aux publications dans des titres désindexés et aux rétractations, révélant ainsi des disparités géographiques significatives dans l'intégrité de la recherche.

L'essentiel

🌍 L'Enquête : Qui fabrique vraiment les meilleures idées ?

Imaginez que le monde scientifique est une immense ville remplie de milliers d'usines (les universités, les instituts de recherche, les entreprises technologiques). Pendant des années, on a classé ces usines uniquement en comptant combien de produits elles ont vendus (le nombre de papiers publiés) et combien de gens les ont achetés (le nombre de citations).

C'est un peu comme juger un restaurant uniquement par le nombre de clients qui passent à la porte, sans se soucier de la qualité de la cuisine ou de l'hygiène de la cuisine.

Les auteurs de cette étude (dont le célèbre John Ioannidis) disent : "Attendez ! Il faut aussi vérifier si la cuisine est propre et si les plats sont réels."

🔍 Les Trois Outils de l'Inspecteur

Pour faire un classement plus juste, ils ont créé une nouvelle méthode qui utilise trois "loupes" pour inspecter chaque institution :

1. La Loupe de l'Impact (Le "Super-Héros")
   Au lieu de compter tous les employés, ils cherchent les Super-Héros : les chercheurs qui sont dans le top 2% de leur domaine.

   • L'analogie : Si une usine a 1000 employés mais seulement 2 Super-Héros, elle est moins impressionnante qu'une petite boutique de 50 employés qui en a 10. Ils regardent donc le pourcentage de Super-Héros, pas juste le nombre total.

2. La Loupe de la Propreté (L'Hygiène)
   Ils vérifient si les Super-Héros ont des taches sur leur tablier. Ils regardent trois choses :

   • Les Retractions : Des papiers qui ont été annulés parce qu'ils étaient faux ou mal faits (comme un plat empoisonné qu'on doit retirer de la carte).
   • Les Auto-citations excessives : Quand un chercheur cite trop souvent ses propres travaux pour gonfler son score (comme un vendeur qui s'achète ses propres produits pour paraître populaire).
   • Les Revues "Discontinues" : Publier dans des journaux que Scopus (la grande bibliothèque) a fermés parce qu'ils étaient de mauvaise qualité (comme vendre ses produits dans des marchés noirs).

3. Le Score Final (La Note de Réputation)
   Ils créent un score unique.

   • Avoir un Super-Héros = +1 point.
   • Avoir un papier rétracté = -1 point (c'est une pénalité très forte !).
   • Avoir trop de "mauvaises habitudes" (auto-citations, journaux douteux) = -0,5 point par Super-Héros concerné.

🏆 Les Résultats Surprenants

Quand ils ont appliqué cette nouvelle règle du jeu, le classement a changé du tout au tout !

• Les Géants ne sont pas toujours les meilleurs : Certaines très grandes universités américaines et européennes restent en haut, mais leur position est souvent ajustée à la baisse à cause de leur taille immense (qui dilue le nombre de Super-Héros).
• Les Petites Pépites : Des petits instituts de recherche, des laboratoires d'État ou même des entreprises technologiques (comme Meta FAIR ou Alphabet/Google) apparaissent en haut du classement. Pourquoi ? Parce qu'ils ont une équipe très petite mais composée presque entièrement de Super-Héros. C'est comme une équipe de football de 11 joueurs où chaque joueur est un champion du monde, par opposition à une équipe de 1000 joueurs où il y a quelques stars et beaucoup de remplaçants.
• Les Problèmes Géographiques : C'est là que ça devient intéressant. Certains pays ont beaucoup d'institutions qui semblent brillantes au premier regard, mais qui tombent très bas une fois qu'on applique les pénalités pour "mauvaise hygiène".
  • Des pays comme l'Arabie Saoudite, la Chine, l'Inde ou l'Iran ont beaucoup d'institutions dans le top 100 des retractions ou des auto-citations.
  • L'analogie : C'est comme si certains pays avaient des usines qui produisent des montagnes de produits, mais beaucoup sont des contrefaçons ou ont été rappelés. Une fois qu'on retire ces produits défectueux, la réputation de l'usine s'effondre.

💡 La Leçon à Retenir

Cette étude nous dit : "Ne vous laissez pas aveugler par la taille ou le nombre."

Une grande université n'est pas forcément meilleure qu'un petit institut juste parce qu'elle a plus de chercheurs. Et un chercheur très cité n'est pas forcément "sain" s'il a trop de papiers annulés ou s'il triche avec ses citations.

L'objectif de cette carte mondiale est d'offrir une boussole plus honnête. Elle aide à distinguer ceux qui construisent vraiment la science (excellence + intégrité) de ceux qui essaient simplement de gonfler leurs statistiques pour paraître importants.

C'est un peu comme passer d'un classement basé sur le chiffre d'affaires à un classement basé sur la satisfaction client et la qualité des produits.

Résumé technique

1. Problématique et Contexte

L'évaluation des institutions de recherche (universités, instituts, entreprises) repose souvent sur des classements basés sur l'impact (citations, nombre de publications). Cependant, ces évaluations souffrent de plusieurs limites majeures :

• Absence de prise en compte de l'intégrité scientifique : Les classements traditionnels ignorent presque totalement les problèmes de malhonnêteté scientifique (retraits de publications, pratiques de citation abusives, publications dans des revues de qualité douteuse).
• Biais de taille et d'hétérogénéité : La comparaison directe entre institutions est faussée par la difficulté de normaliser le nombre de chercheurs actifs (différences de statuts, de hiérarchies, de personnel administratif vs recherche).
• Manque de nuance : Les métriques absolues (nombre total de citations) favorisent les grandes institutions, masquant les institutions plus petites mais très performantes en proportion.

L'objectif de cette étude est de générer des données au niveau des institutions qui ajustent l'impact des auteurs affiliés pour la taille de l'institution et le sous-domaine scientifique, tout en intégrant des proxies d'intégrité de la recherche pour offrir une évaluation plus équilibrée.

2. Méthodologie

Les auteurs ont utilisé la base de données Scopus (gel des données au 1er août 2025) pour analyser plus de 10,9 millions d'auteurs ayant publié au moins 5 articles complets.

A. Définition des "Auteurs Éligibles" et Filtrage

Pour standardiser les comparaisons, les auteurs ont appliqué des filtres stricts afin d'identifier un noyau dur de chercheurs seniors actifs :

• Âge de publication : Début de carrière en 1980 ou après (fenêtre de 45 ans).
• Volume de production : Au moins 40 publications au total.
• Rôle de leadership : Au moins 5 publications en tant qu'auteur unique, premier ou dernier auteur.
• Seuil institutionnel : Seules les institutions ayant au moins 100 auteurs répondant à ces critères ont été incluses dans les classements principaux (2 380 institutions).

B. Indicateurs d'Impact

• Auteurs hautement cités : Identification des auteurs se situant dans le top 2% de leur sous-domaine (ou top 100 000 global) selon un indicateur composite de citation (incluant l'indice h, les citations par auteur unique, etc.).
• Métrique principale : La proportion d'auteurs hautement cités parmi les auteurs éligibles de chaque institution.

C. Indicateurs Proxies d'Intégrité de la Recherche

Trois indicateurs ont été utilisés pour pénaliser les institutions en fonction de pratiques suspectes :

1. Retraits (Retractions) : Nombre total d'auteurs affiliés à l'institution ayant des articles retirés pour des raisons autres que des erreurs de l'éditeur (calculé sur tous les auteurs éligibles, pas seulement les hautement cités).
2. Auto-citations excessives : Proportion d'auteurs hautement cités ayant un taux d'auto-citations supérieur au 95e percentile de leur sous-domaine.
3. Publications dans des titres désactivés : Proportion d'auteurs hautement cités ayant publié dans des revues désactivées par le CSAB de Scopus (pour des problèmes de qualité) avec un taux dépassant le 95e percentile.

D. Score Synthétique et Classement

Un score ajusté a été calculé pour chaque institution selon la formule suivante :
$$Score = \frac{N(t) - \frac{\Sigma R}{2} - [S(t) - 0.05 \times N(t)] - [D(t) - 0.05 \times N(t)]}{N(a)}$$
Où :

• $N(t)$ : Nombre d'auteurs hautement cités.
• $N(a)$ : Nombre total d'auteurs éligibles.
• $\Sigma R$ : Somme des retraits (chaque retrait pénalise l'institution ; 2 retraits équivaut à la perte d'un auteur hautement cité).
• $S(t)$ et $D(t)$ : Nombre d'auteurs hautement cités avec des auto-citations ou des publications dans des revues désactivées excessives.
• Un seuil de 5% est utilisé pour les indicateurs S et D : au-delà, cela devient une pénalité ; en dessous, cela peut être un bonus.

Des analyses de sensibilité ont été menées en variant les seuils de percentiles (80, 95, 99) et les facteurs de pénalité pour les retraits.

3. Résultats Clés

A. Disparité entre Volume et Proportion

• Par volume : Les institutions avec le plus grand nombre absolu d'auteurs hautement cités sont dominées par de grandes universités américaines (Harvard, Stanford, Michigan) et chinoises (Shanghai Jiao Tong, Zhejiang).
• Par proportion : Lorsqu'on regarde la proportion d'auteurs hautement cités, le paysage change radicalement. Les institutions les plus performantes sont souvent des instituts de recherche, des organisations technologiques (ex: Meta FAIR, Alphabet Inc., Max Planck) et des universités de taille modeste. Les grandes universités chinoises, bien que très nombreuses, affichent souvent des proportions plus faibles.

B. Impact des Indicateurs d'Intégrité

L'intégration des pénalités pour l'intégrité modifie considérablement le classement :

• Concentration géographique des pénalités :
  • Retraits : Concentrés massivement en Chine (75 des 100 institutions les plus pénalisées).
  • Auto-citations : Dominées par la Russie, la Chine, l'Indonésie et la Pologne.
  • Revues désactivées : Forte présence en Inde, Chine, Malaisie, Arabie saoudite et Russie.
• Classement ajusté : Après correction, les institutions des pays occidentaux (Royaume-Uni, Suisse, Canada, USA, Australie) conservent des percentiles élevés (médiane > 80e percentile).
• Pays pénalisés : L'Arabie saoudite, la Chine, la Malaisie, l'Iran, l'Inde et l'Indonésie affichent les percentiles les plus bas (médiane entre 3,9 et 21). Pour ces pays, la pénalité cumulative dépasse souvent le nombre d'auteurs hautement cités (facteur de 1,29 à 2,75).

C. Robustesse

Les analyses de sensibilité montrent une forte corrélation (Spearman > 0,92) entre le classement de base et les variantes de paramètres, confirmant la stabilité relative des résultats, bien que certaines institutions spécifiques puissent subir des changements de rang importants.

4. Contributions Principales

1. Méthodologie d'ajustement innovante : Développement d'un score unique qui pondère l'impact citationnel par des indicateurs d'intégrité (retraits, auto-citations, revues douteuses), offrant une vision plus nuancée que les classements traditionnels.
2. Standardisation des comparaisons : Utilisation de critères objectifs (âge de publication, volume, rôle d'auteur) pour contourner les difficultés de comparaison des structures académiques hétérogènes à travers le monde.
3. Données ouvertes : Mise à disposition de jeux de données complets pour près de 7 000 institutions, permettant une exploration transparente par la communauté scientifique.
4. Identification des "Signaux d'Alerte" : Cartographie précise des institutions et des pays où les indicateurs de risque d'intégrité sont élevés, servant de signal d'alarme plutôt que de preuve définitive de fraude.

5. Signification et Limites

Signification :
Cette étude propose un changement de paradigme dans l'évaluation de la recherche : passer d'une logique purement quantitative (volume et impact) à une approche équilibrée intégrant la qualité éthique. Elle met en lumière que certaines institutions, bien que performantes en volume, peuvent être entachées par des pratiques de "gaming" des métriques, tandis que d'autres, plus petites, maintiennent une excellence et une intégrité élevées. Les auteurs espèrent que ces données encourageront des incitations plus saines et réduiront la pression pour publier à tout prix.

Limites :

• Nature des indicateurs : Les métriques d'intégrité sont des proxies (signaux d'alerte) et non des preuves formelles de malhonnêteté. D'autres facteurs (biais de couverture, différences de pratiques disciplinaires) peuvent expliquer les variations.
• Attribution des affiliations : L'agrégation des affiliations dans Scopus peut comporter des erreurs ou des imprécisions, surtout pour les petites institutions.
• Arbitraire du poids : La pondération des pénalités (ex: 2 retraits = 1 auteur hautement cité) est un choix méthodologique arbitraire, bien que les analyses de sensibilité montrent que les classements globaux restent stables.
• Portée : Les données ne capturent pas d'autres dimensions importantes de l'impact (éducation, politique, santé communautaire).

En conclusion, cet article fournit un outil puissant et transparent pour évaluer les institutions de recherche en tenant compte à la fois de leur excellence scientifique et de la probabilité de pratiques douteuses, invitant à une interprétation prudente mais éclairée des classements universitaires.