Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

Titel

Modellering van homogeniteit binnen departementen in rangschikkingen van onderzoeksqualiteit: een toepassing op de Italiaanse ISPD.

1. Het Probleem

Het artikel analyseert het Italiaanse systeem voor het evalueren en rangschikken van academische departementen, gebaseerd op de Indice Standardizzato di Performance Dipartimentale (ISPD). Deze index wordt gebruikt om "Departments of Excellence" te identificeren en overheidsfinanciering toe te wijzen.

De auteurs identificeren twee kritieke tekortkomingen in de huidige ISPD-methode:

1. Polarisatie: De verdeling van de ISPD-scores vertoont een sterk U-vormig patroon, waarbij veel departementen extreme waarden (0 of 100) krijgen in plaats van een uniforme spreiding. Dit vermindert het onderscheidend vermogen van de index.
2. Statistische onjuistheid: De huidige methode gaat er ten onrechte van uit dat de gestandaardiseerde scores van onderzoeksoutput (Scientific Products - SPs) binnen een departement onafhankelijk van elkaar zijn. In werkelijkheid bestaat er sprake van intra-departementale correlatie (homogeniteit) omdat:
   • Onderzoekers binnen hetzelfde departement vaak samenwerken.
   • Departementen homogene wetenschappelijke capaciteiten hebben.
   • Onderzoekers meerdere publicaties indienen die onderling gecorreleerd zijn.

Door deze correlatie te negeren, wordt de variantie van de "geschaalde gemiddelden" (scaled averages) onderschat. Dit leidt tot een vertekening waarbij grotere departementen onterecht extreme scores krijgen, wat de eerlijkheid van de vergelijking tussen departementen van verschillende grootte ondermijnt.

2. Methodologie

De auteurs ontwikkelen een statistisch raamwerk om deze correlatie te modelleren en de ISPD aan te passen.

• Correlatiemodel: In plaats van aan te nemen dat scores onafhankelijk zijn, modelleren ze de intra-departementale correlatie ($\rho_d$) als een functie van de grootte van het departement ($N_d$). Het model veronderstelt dat grotere departementen (met meer diverse onderzoeksgroepen) een lagere gemiddelde correlatie hebben.

  • Ze gebruiken een Full Correlation Model (FCM) waarbij $\rho_d$ wordt gelinkt aan $N_d$ via een aangepaste Fisher-transformatie:
    $$\log \left( \frac{1 + \tilde{N}\rho_d}{1 - \rho_d} \right) = \alpha + \beta(N_d - 1)$$
  • Hierbij is $\beta$ negatief, wat aangeeft dat correlatie afneemt naarmate de departementsgrootte toeneemt.

• Aangepaste ISPD: De theoretische ISPD wordt herschreven door de geschaalde gemiddelde ($\tilde{z}_d$) te delen door de geschatte standaardafwijking ($\hat{\sigma}_d$) die rekening houdt met de correlatie:
  $$ISPD^{fcm}_d = \lfloor 200 \cdot \Phi(\tilde{z}_d / \hat{\sigma}_d) + 0.5 \rfloor / 2$$
  Waarbij $\Phi$ de cumulatieve verdelingsfunctie van de standaardnormale verdeling is.

• Schattingsprobleem en de "Betoidal" Distributie:

  • De publiek beschikbare data (ISPD-scores) zijn gecoarsend (afgerond op halve getallen) en voor de 2022-rangschikking links-getruncateerd (alleen de top 350 zijn bekend). De onderliggende micro-data (individuele scores) zijn niet beschikbaar.
  • Om de parameters ($\alpha, \beta$) te schatten op basis van deze ruwe data, introduceren de auteurs een nieuwe kansverdeling: de Betoidal-verdeling.
  • Dit is de verdeling van $X = \Phi(\tilde{Z})$ waarbij $\tilde{Z} \sim N(0, \sigma^2)$. De vorm lijkt op een symmetrische Beta-verdeling, maar is wiskundig afgeleid van de normale verdeling.
  • Ze passen Maximum Likelihood Schatting (ML) toe op zowel de volledige dataset (2017) als de getruncateerde dataset (2022) door de waarschijnlijkheid van de afgeronde scores te berekenen via de Betoidal CDF.

3. Belangrijkste Bijdragen

1. Identificatie van een onbekende determinant: Het artikel formaliseert voor het eerst dat intra-departementale homogeniteit de oorzaak is van de polarisatie in de Italiaanse rangschikkingen.
2. Nieuwe statistische verdeling: Introductie van de Betoidal-verdeling en de links-getruncateerde variant, essentieel voor het schatten van correlaties uit gecoarsende en getruncateerde overheidsdata.
3. Aangepaste Index: Ontwikkeling van een ISPD-fcm (Full Correlation Model) die eerlijkere vergelijkingen mogelijk maakt tussen departementen van verschillende grootte en de polarisatie wegneemt.
4. Robuustheidstest: Een simulatiestudie die aantoont dat de voorgestelde methode superieur is aan bestaande alternatieven (zoals niet-parametrische schatters of Random Intercept Models), zelfs wanneer de data beperkt zijn.

4. Resultaten

• Empirische Analyse (2017 en 2022):

  • De ML-schattingen bevestigen dat er significant intra-departementale correlatie is ($\rho > 0$).
  • De parameter $\beta$ is significant negatief, wat bevestigt dat de correlatie afneemt naarmate het departement groter wordt.
  • De variantie van de geschaalde gemiddelden is groter dan 1 (vaak tussen 2 en 3), wat de U-vormige verdeling van de huidige ISPD verklaart.
  • De Full Correlation Model (FCM) past de data beter aan dan modellen met constante correlatie (CCM) of geen correlatie (NCM).

• Simulatiestudie:

  • De auteurs simuleerden 1000 datasets met bekende "waarheid" (ground truth) en vergeleken de oorspronkelijke ISPD met de aangepaste versies.
  • MAD (Mean Absolute Deviation): De oorspronkelijke ISPD had een hoge afwijking (12-14 punten). De ISPD-fcm had een extreem lage afwijking (0,02 - 2,27 punten), wat aangeeft dat deze index de werkelijke prestaties veel nauwkeuriger weergeeft.
  • PDC (Percentage of Discordant Comparisons): De kans op verkeerde rangschikkingen (waarbij een slechter departement hoger scoort dan een beter) was bij de oorspronkelijke ISPD rond de 6%, terwijl de ISPD-fcm dit terugbracht tot minder dan 1% (in de ideale scenario's).
  • De ISPD-fcm presteerde beter dan alternatieven die micro-data vereisten (zoals ISPD-rim), wat aantoont dat de macro-data benadering met de Betoidal-verdeling zeer effectief is.

5. Betekenis en Conclusie

De studie heeft belangrijke implicaties voor het beleid en de statistische methodologie in het hoger onderwijs:

• Eerlijkheid en Transparantie: De huidige ISPD is statistisch onjuist en bevoordeelt onterecht grote of zeer homogene departementen. De voorgestelde correctie is noodzakelijk om de legitimiteit van de rangschikking en de bijbehorende financiering te herstellen.
• Beleid: Evaluatiebureaus (zoals ANVUR in Italië) moeten de onderliggende statistische aannames (zoals onafhankelijkheid van scores) expliciteren en corrigeren voor interne correlaties.
• Methodologische Vooruitgang: De introductie van de Betoidal-verdeling biedt een nieuwe tool voor statistici die te maken hebben met gecoarsende en getruncateerde data in rangschikkingssystemen wereldwijd.
• Verantwoordingsplicht: Wanneer rangschikkingen leiden tot aanzienlijke financiële middelen, is methodologische rigour geen louter technisch detail, maar een kwestie van publieke verantwoordelijkheid.

Kortom, het artikel bewijst dat het negeren van binnen-departementale homogeniteit leidt tot systematische vertekeningen, en biedt een wiskundig onderbouwde oplossing om deze te corrigeren, zelfs met beperkte publieke data.