📈 economics

Efficient Threshold-based Model for Scientific Productivity Evaluation: a Proposal

Cet article propose un modèle rationalisé et respectueux de la vie privée pour évaluer la productivité scientifique dans les universités italiennes en exploitant les seuils existants de la Qualification Scientifique Nationale afin de générer des indicateurs en temps réel, adaptables et transparents, tant pour la gouvernance institutionnelle que pour le suivi individuel des chercheurs.

Auteurs originaux : Giuseppe Sergioli, Francesco Bianchini, Pierluigi Graziani

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giuseppe Sergioli, Francesco Bianchini, Pierluigi Graziani

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une immense bibliothèque où des milliers de chercheurs écrivent des livres et des articles chaque année. Tous les quelques années, la direction de la bibliothèque tente de déterminer quels départements réalisent le meilleur travail. Habituellement, ce processus ressemble à l'organisation de Jeux Olympiques géants s'étalant sur plusieurs années : c'est coûteux, cela prend beaucoup de temps et cela n'arrive que de façon occasionnelle.

Cet article propose un tableau de bord beaucoup plus simple et « en temps réel ». Au lieu d'attendre les Jeux Olympiques, il suggère d'utiliser un ensemble de « notes de passage » préexistantes que le système académique italien calcule déjà chaque jour.

Voici la décomposition de leur idée en utilisant des analogies de la vie quotidienne :

1. Le système de la « Note de Passage » (L'ASN)

En Italie, pour devenir professeur de niveau supérieur (comme passer d'un rôle de « Junior » à un rôle de « Senior »), un chercheur doit remplir des exigences spécifiques. Le gouvernement a déjà calculé la « moyenne » du travail nécessaire pour réussir ces examens.

L'analogie : Considérez ces exigences comme un niveau de jeu vidéo. Pour battre le Niveau 1 (devenir professeur Senior), vous devez collecter un certain nombre de « pièces » (publications), d'« étoiles » (citations) et de « badges » (articles dans des revues de premier rang).
Les données : Le gouvernement sait déjà exactement combien de pièces, d'étoiles et de badges la personne moyenne doit posséder. Ce sont les « Seuils ».

2. Le nouveau tableau de bord (L'Indice de Productivité)

Les auteurs suggèrent une nouvelle façon de mesurer la performance d'une université ou d'un département spécifique. Au lieu d'attendre un grand rapport, ils proposent de vérifier le « compte de pièces » actuel de chaque chercheur par rapport à la « note de passage » de son prochain niveau.

Le calcul :
- Si un chercheur possède exactement le nombre de pièces nécessaires pour réussir, son score est de 1,0.
- S'il possède la moitié des pièces nécessaires, son score est de 0,5.
- S'il possède le double des pièces nécessaires, son score est de 2,0.
Le score du département : Il suffit d'additionner tous les scores des chercheurs d'un département et d'en faire la moyenne. Cela donne un « Indice de Productivité du Département » (DPI).
- DPI > 1,0 : Le département dépasse, en moyenne, la « note de passage ».
- DPI < 1,0 : Le département est, en moyenne, en deçà de la « note de passage ».

3. Pourquoi est-ce utile (Le « Tableau de bord » vs L'« Autopsie »)

L'article compare leur méthode au système actuel (appelé VQR) en utilisant une analogie médicale :

Le système actuel (VQR) : C'est comme une autopsie complète ou un examen médical approfondi. C'est incroyablement détaillé et précis, mais cela prend beaucoup de temps, coûte cher et ne se produit que tous les quelques années. Le temps que les résultats soient publiés, le patient (l'université) a peut-être déjà changé.
Le modèle proposé : C'est comme un tracker de fitness ou une montre connectée. Il ne fait pas une autopsie complète, mais il donne un rythme cardiaque en direct et constamment mis à jour. Il vous indique maintenant si le département court assez vite ou s'il ralentit.

4. Les caractéristiques clés

Aucune nouvelle donnée requise : Les « pièces » et les « notes de passage » sont déjà enregistrées dans le classeur numérique de l'université (appelé IRIS). Le modèle des auteurs se contente de faire les calculs sur ce qui existe déjà.
Respect de la vie privée : Le système peut calculer le « rythme cardiaque moyen » de l'ensemble du département sans jamais révéler le rythme cardiaque spécifique de toute personne. C'est comme connaître la vitesse moyenne du trafic sur une autoroute sans suivre chaque voiture individuellement.
Équité : Comme la « note de passage » varie selon la discipline (par exemple, un philosophe a besoin de différentes « pièces » qu'un physicien), le système s'ajuste automatiquement aux différents types de travail. Il ne compare pas des pommes avec des oranges ; il compare des pommes avec la « norme des pommes » spécifique.

5. Ce que l'article a découvert

Les auteurs ont testé cette idée sur neuf universités (certaines réelles, d'autres simulées). Ils ont constaté que :

Certaines universités avaient des moyennes élevées mais étaient très « inégales » (certains départements étaient des superstars, d'autres étaient en difficulté).
Certaines universités avaient des moyennes plus basses mais étaient très « constantes » (tout le monde accomplissait à peu près la même quantité de travail).
Le modèle pouvait facilement décomposer les données pour voir si le personnel « Junior » travaillait mieux que le personnel « Senior », ou si des départements spécifiques étaient le moteur du succès de l'université.

L'essentiel

L'article soutient que les universités n'ont pas besoin d'attendre une évaluation massive, coûteuse et pluriannuelle pour savoir comment elles se portent. En utilisant les « notes de passage » qui sont déjà calculées pour les promotions, elles peuvent construire un tableau de bord simple, gratuit et constamment mis à jour qui montre exactement comment leurs équipes de recherche sont productives, dès maintenant. C'est un outil de surveillance continue plutôt que de jugement périodique.

Résumé technique : Modèle efficace basé sur des seuils pour l'évaluation de la productivité scientifique

Énoncé du problème
Les systèmes actuels d'évaluation de la recherche, particulièrement en Italie, sont confrontés à des défis importants concernant l'intensité des ressources, le décalage temporel et la complexité. Les principaux mécanismes nationaux d'évaluation — la Valutazione della Qualità della Ricerca (VQR) et l'Abilitazione Scientifica Nazionale (ASN) — sont rigoureux mais nécessitent des ressources financières et temporelles substantielles. La VQR, par exemple, fonctionne sur des cycles pluriannuels (couvrant généralement une période de trois ans avec un processus d'évaluation d'un an), ce qui produit des données qui ne sont pas totalement actualisées concernant la productivité de la recherche actuelle. De plus, alors que la VQR évalue les institutions, l'ASN évalue les individus, créant un paysage fragmenté où un suivi continu et à faible coût de la performance institutionnelle est difficile. Il existe un besoin d'un outil rationalisé et efficace qui exploite les données existantes pour fournir des informations en temps réel, transparentes et conformes à la protection de la vie privée, sans nécessiter de nouvelle collecte de données ou de surcharge algorithmique complexe.

Méthodologie
Les auteurs proposent un modèle simplifié, basé sur des seuils, qui utilise le cadre existant de l'habilitation scientifique nationale (ASN) italienne. La méthodologie repose sur les « valeurs de seuil » déjà calculées par le ministère de l'Université et de la Recherche (MUR) pour différents rangs académiques (professeur assistant, professeur associé, professeur titulaire) et secteurs scientifiques (bibliométriques et non bibliométriques).

Les composantes techniques centrales du modèle sont :

Sources de données :
- Triplets de seuils ( $T$ ) : Valeurs de seuil officielles de l'ASN pour le prochain rang académique (par exemple, un professeur associé est évalué par rapport aux seuils du professeur titulaire ; un professeur titulaire par rapport aux seuils de membre de comité ; ces seuils incluent trois indicateurs) :
  - Secteurs bibliométriques : Nombre d'articles, nombre total de citations et indice h.
  - Secteurs non bibliométriques : Nombre d'articles/contributions, nombre d'articles dans des revues de Classe A et nombre de monographies.
- Triplets de valeurs réelles ( $t$ ) : Données en temps réel pour chaque chercheur, extraites du système d'information de la recherche institutionnelle (IRIS).
Indice de productivité individuelle (PI) :
Pour chaque chercheur $S_i$ , un Indice de Productivité est calculé comme la moyenne arithmétique des ratios entre ses valeurs réelles et les seuils correspondants du rang suivant :
$PI(S_i) = \frac{1}{3} \sum_{j=1}^{3} \frac{t^i_j}{T^i_j}$
- Une valeur $< 1$ indique une performance inférieure au seuil moyen.
- Une valeur $\ge 1$ indique une performance atteignant ou dépassant le seuil.
- Dans les cas où un seuil est nul, l'indicateur est exclu et la moyenne est recalculée sur les valeurs restantes.
Agrégation départementale et institutionnelle :
- Indice de productivité départementale (DPI) : La moyenne arithmétique des scores $PI(S_i)$ pour l'ensemble des $n$ chercheurs d'un département.
- Métriques au niveau universitaire : Une moyenne pondérée ( $\bar{X}$ ) est calculée à travers tous les départements, pondérée par le nombre de professeurs ( $n_j$ ) dans chaque département.
- Métriques de dispersion : Pour évaluer l'homogénéité, le modèle calcule un écart-type pondéré ($WST$) et un coefficient de variation ($CoV$).
Mise en œuvre :
Le modèle est conçu pour être implémenté via un code simple (fourni en matériel supplémentaire) qui s'interface avec le référentiel IRIS. Il permet une analyse désagrégée par secteur scientifique, rang académique ou groupes de facultés spécifiques (par exemple, le personnel nouvellement recruté).

Principales contributions

Applicabilité immédiate : Le modèle ne nécessite aucune nouvelle collecte de données, car il repose entièrement sur les données déjà présentes dans les tables ministérilles et la base de données IRIS.
Suivi en temps réel : Contrairement à la VQR, qui fournit un instantané rétrospectif, ce modèle offre une vue actualisable en continu de la productivité, qui évolue quotidiennement à mesure que les chercheurs mettent à jour leurs profils IRIS.
Granularité et flexibilité : Le cadre permet des analyses de type « drill-down », permettant des comparaisons entre des secteurs scientifiques, des rangs académiques ou des sous-groupes spécifiques au sein d'une institution.
Conformité à la vie privée : Le modèle génère des indicateurs institutionnels agrégés (DPI) sans nécessiter la divulgation publique de la productivité individuelle des chercheurs, respectant ainsi les contraintes de confidentialité.
Adaptabilité disciplinaire : En utilisant des seuils spécifiques aux secteurs, le modèle tient compte intrinsèquement de l'hétérogénéité entre les domaines bibliométriques (STEM) et non bibliométriques (sciences humaines et sociales).

Résultats
L'article présente une simulation du modèle appliquée à un département virtuel et une étude de cas analysant neuf universités italiennes (classées comme grandes, moyennes et petites), utilisant un mélange de données réelles et simulées pour garantir l'anonymat.

Simulation : Un département virtuel de dix chercheurs a produit un DPI de 1,24, indiquant une productivité globale supérieure aux seuils nationaux, bien que les chercheurs individuels présentent des variations (certains étant en dessous de 1,0).
Analyse universitaire :
- L'analyse a démontré qu'une moyenne pondérée élevée n'implique pas nécessairement une excellence uniforme ; les écarts-types élevés et les coefficients de variation ont révélé des disparités significatives entre les départements au sein d'une même université.
- Par exemple, la « Grande Université 1 » présentait une moyenne élevée mais une forte dispersion, portée par quelques départements très performants, tandis que la « Moyenne Université 3 » montrait une grande variabilité avec moins de la moitié de ses départements dépassant le seuil.
- La décomposition par rang académique a révélé que les professeurs assistants et associés affichaient souvent des indices de productivité plus élevés par rapport aux seuils, probablement stimulés par les incitations à la progression de carrière, tandis que les professeurs titulaires présentaient des indices légèrement inférieurs, potentiellement en raison de rôles institutionnels différents ou de mesures d'évaluation internes.
- Le modèle a réussi à identifier des « poches d'excellence » et des zones de sous-performance au sein des mêmes institutions.

Signification et revendications
Les auteurs positionnent ce travail non pas comme un remplacement des évaluations nationales complètes et évaluées par les pairs comme la VQR, mais comme un outil complémentaire et à faible coût pour un suivi dynamique et continu.

Valeur stratégique : Le modèle sert de « couche de surveillance intermédiaire et dynamique » qui peut éclairer la gouvernance interne, soutenir la planification de carrière individuelle et aider les institutions à détecter opportunément les problèmes critiques ou les poches d'excellence.
Efficacité : Il offre une solution pragmatique pour les institutions cherchant à suivre la performance de la recherche sans les coûts substantiels en temps et en personnel associés aux évaluations à grande échelle.
Généralisabilité : Bien que développé dans le contexte italien, les auteurs affirment que la méthodologie est exportable vers d'autres contextes nationaux qui utilisent des systèmes d'évaluation basés sur des seuils ou sur les données de publication, à condition que des données comparables soient disponibles.
Transparence : En exploitant des seuils existants et transparents, le modèle vise à réduire l'opacité souvent associée aux algorithmes d'évaluation complexes, favorisant une culture de responsabilité et d'amélioration continue.

L'article conclut que cette approche basée sur les seuils fournit une mesure compacte, interprétable et sensible de la performance de la recherche qui respecte la diversité disciplinaire et les étapes de carrière, offrant un cadre viable pour affiner les stratégies d'évaluation à l'échelle mondiale.