Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

1. Problématique et Contexte

L'article examine le système italien d'évaluation de la qualité de la recherche, géré par l'ANVUR (Agence nationale pour l'évaluation du système universitaire et de la recherche). Ce système repose sur l'Indice Standardisé de Performance Dipartimentale (ISPD) pour classer les départements universitaires et allouer des fonds publics (notamment pour les « Départements d'Excellence »).

Le problème central identifié :
L'ISPD actuel présente une tendance marquée à la polarisation : un grand nombre de départements obtiennent des scores extrêmes (proches de 0 ou 100), réduisant ainsi la capacité discriminante de l'indice. Les auteurs identifient une cause statistique sous-jacente négligée jusqu'alors : l'hétérogénéité intra-départementale.

• Hypothèse erronée actuelle : La méthode ANVUR suppose que les scores standardisés des produits scientifiques (SP) au sein d'un même département sont indépendants.
• Réalité statistique : Les scores au sein d'un département sont corrélés (homogènes) en raison de facteurs communs (même environnement de recherche, stratégies institutionnelles, spécialisation disciplinaire).
• Conséquence : Cette corrélation positive ($\rho_d > 0$) augmente la variance réelle des moyennes pondérées des départements. L'indice actuel, en ignorant cette variance accrue, sous-estime l'incertitude, ce qui pousse artificiellement les départements (surtout les grands) vers les extrêmes de la distribution, créant des « nœuds » (ties) injustes et faussant les comparaisons.

2. Méthodologie Proposée

Les auteurs proposent un cadre d'estimation et d'ajustement basé sur la modélisation de la corrélation intra-départementale.

A. Modélisation de la Corrélation

Au lieu de supposer l'indépendance ou une corrélation constante, les auteurs modélisent la corrélation moyenne intra-départementale ($\rho_d$) comme une fonction de la taille du département ($N_d$).

• Hypothèse : Les grands départements, contenant des secteurs disciplinaires plus hétérogènes, devraient avoir une corrélation moyenne plus faible.
• Modèle (FCM - Full Correlation Model) : Une transformation de type Fisher modifiée relie $\rho_d$ à $N_d$ :
  $$\log \left( \frac{1 + \tilde{N}\rho_d}{1 - \rho_d} \right) = \alpha + \beta(N_d - 1)$$
  où $\tilde{N}$ est la taille maximale du département. Le paramètre $\beta$ est attendu négatif, indiquant que la corrélation diminue avec la taille.

B. Estimation par Maximum de Vraisemblance (ML)

Deux approches sont développées selon la disponibilité des données :

1. Données complètes (Micro-données) : Si les scores individuels sont disponibles, une estimation non paramétrique ou un modèle à effets aléatoires (Random Intercept Model) peut être utilisé.
2. Données publiques (Macro-données) : C'est le cas réel pour l'ANVUR (seuls les ISPD arrondis sont publics). Les auteurs adaptent le cadre ML pour gérer :
   • L'arrondi : Les ISPD sont arrondis au demi-entier le plus proche.
   • La troncature : Pour l'exercice 2022, seules les valeurs supérieures (top 350) sont disponibles.

C. La Distribution « Betoidal »

Pour gérer les données arrondies et tronquées, les auteurs introduisent une nouvelle distribution de probabilité appelée Betoidal.

• Elle est définie comme la distribution de $X = \Phi(\tilde{Z})$, où $\tilde{Z} \sim \mathcal{N}(0, \sigma^2)$.
• Elle ressemble à une distribution Bêta symétrique mais possède des propriétés analytiques adaptées à la transformation normale.
• Une version tronquée à gauche (LT-Betoidal) est utilisée pour l'analyse des données 2022.

D. Ajustement de l'ISPD

L'indice ajusté ($ISPD^{adj}$) corrige la moyenne pondérée standardisée ($\tilde{z}_d$) en la divisant par l'écart-type estimé $\hat{\sigma}_d = \sqrt{1 + \hat{\rho}_d(N_d - 1)}$. Cela permet de ramener les scores à une distribution de référence commune, garantissant une comparabilité équitable entre départements de tailles différentes.

3. Résultats Principaux

A. Estimation sur les données réelles (2017 et 2022)

• Présence de corrélation : Les tests de rapport de vraisemblance (LRT) rejettent massivement l'hypothèse nulle d'absence de corrélation ($p \approx 0$).
• Effet de la taille : L'estimation du paramètre $\beta$ est négative et significative, confirmant que la corrélation intra-départementale diminue à mesure que la taille du département augmente.
• Comparaison des modèles : Le modèle à corrélation complète (FCM) est statistiquement supérieur aux modèles à corrélation constante (CCM) ou nulle (NCM, modèle actuel).
• Impact sur la variance : Les écarts-types estimés ($\hat{\sigma}_d$) sont significativement supérieurs à 1 (parfois jusqu'à 3), prouvant que la variance réelle des moyennes est beaucoup plus grande que celle supposée par l'ANVUR.

B. Étude de Simulation

Une simulation de Monte Carlo (1000 réplications) compare l'ISPD original et trois versions ajustées ($ISPD_{np}$, $ISPD_{rim}$, $ISPD_{fcm}$) par rapport à une vérité terrain.

• Métriques : Écart absolu moyen (MAD) et pourcentage de comparaisons discordantes (PDC).
• Performance :
  • L'ISPD original et la version non-paramétrique ($ISPD_{np}$) montrent de fortes erreurs et une instabilité élevée.
  • L'ISPD ajusté via le modèle FCM ($ISPD_{fcm}$) et le modèle à corrélation constante ($ISPD_{rim}$) surclassent largement les autres.
  • $ISPD_{fcm}$ est le meilleur : Il minimise l'écart par rapport à la vérité terrain et réduit drastiquement les inversions de rangs, même en présence de perturbations dans la relation taille-correlation.
• Distribution : La distribution des ISPD ajustés est beaucoup plus uniforme, éliminant la polarisation artificielle observée dans les données réelles.

4. Contributions Clés

1. Identification d'un biais structurel : Démonstration que la polarisation de l'ISPD italien n'est pas un artefact aléatoire mais la conséquence directe de l'ignorance de la corrélation intra-départementale.
2. Nouvelle distribution statistique : Introduction de la distribution Betoidal pour permettre l'estimation de modèles complexes à partir de données publiques agrégées, arrondies et tronquées.
3. Méthodologie d'ajustement robuste : Proposition d'un indice corrigé qui ne nécessite pas l'accès aux micro-données (scores individuels), rendant la méthode applicable aux données publiques actuelles.
4. Preuve par simulation : Démonstration que l'approche basée sur des données macro (modèle de corrélation) est plus robuste et précise que les méthodes alternatives nécessitant des données micro, souvent instables pour les estimations de second ordre.

5. Signification et Implications

• Équité et Justice : L'ajustement proposé rend les comparaisons entre départements plus justes, en particulier pour les départements de tailles différentes. Il évite de pénaliser ou de sur-rewarder arbitrairement les grandes institutions.
• Transparence et Redevabilité : L'article souligne que les choix méthodologiques dans les indicateurs de performance ont des conséquences distributives réelles sur le financement public. Ignorer la structure de corrélation biaisée les décisions d'allocation.
• Gouvernance de la recherche : Pour les agences d'évaluation, il est crucial de modéliser explicitement les dépendances internes aux unités évaluées. La rigueur statistique n'est pas une simple formalité technique, mais une condition nécessaire pour la légitimité du système d'évaluation.
• Généralisation : Bien que l'étude se concentre sur l'Italie, la problématique de l'homogénéité intra-unité et la méthode proposée sont applicables à d'autres systèmes d'évaluation académique mondiaux utilisant des indices agrégés.

En conclusion, cet article démontre que la prise en compte correcte de la corrélation intra-départementale transforme un indice de performance polarisé et peu discriminant en un outil de classement plus fiable, équitable et statistiquement fondé.