Efficient Threshold-based Model for Scientific Productivity Evaluation: a Proposal

Technische Samenvatting: Efficiënt drempelgebaseerd model voor de evaluatie van wetenschappelijke productiviteit

Probleemstelling
Huidige systemen voor onderzoeksevaluatie, met name in Italië, kampen met aanzienlijke uitdagingen wat betreft de intensiteit van de benodigde middelen, tijdsverloop en complexiteit. De primaire nationale evaluatiemechanismen—de Valutazione della Qualità della Ricerca (VQR) en de Abilitazione Scientifica Nazionale (ASN)—zijn rigoureus, maar vereisen aanzienlijke financiële en temporele middelen. De VQR werkt bijvoorbeeld in meerjarige cycli (doorgaans een periode van drie jaar met een éénjarig evaluatieproces), wat resulteert in gegevens die niet volledig actueel zijn met betrekking tot de huidige wetenschappelijke productiviteit. Bovendien beoordeelt de VQR instellingen, terwijl de ASN individuen beoordeelt, wat een gefragmenteerd landschap creëert waarin continue, goedkope monitoring van institutionele prestaties moeilijk is. Er is behoefte aan een gestroomlijnde, efficiënte tool die gebruikmaakt van bestaande gegevens om realtime, transparante en privacy-conforme inzichten in wetenschappelijke productiviteit te bieden, zonder dat nieuwe gegevensverzameling of complexe algoritmische overhead vereist is.

Methodologie
De auteurs stellen een vereenvoudigd, drempelgebaseerd model voor dat gebruikmaakt van het bestaande kader van de Italiaanse Nationale Wetenschappelijke Kwalificatie (ASN). De methodologie steunt op de "drempelwaarden" die reeds door het Ministerie van Universiteit en Onderzoek (MUR) zijn berekend voor verschillende academische rangen (assistent-professor, docent-professor, hoogleraar) en wetenschappelijke sectoren (bibliometrisch en niet-bibliometrisch).

De kerncomponenten van de technische methodologie zijn:

1. Databronnen:

   • Drempel-triplets ($T$): Officiële ASN-drempelwaarden voor de volgende academische rang (bijv. een docent-professor wordt beoordeeld tegen de drempelwaarden van een hoogleraar; een hoogleraar tegen de drempelwaarden van een commissielid). Deze bevatten drie indicatoren:
     • Bibliometrische sectoren: Aantal artikelen, totaal aantal citaties en h-index.
     • Niet-bibliometrische sectoren: Aantal artikelen/bijdragen, aantal artikelen in Class A-tijdschriften en aantal monografieën.
   • Werkelijke Waarde-triplets ($t$): Realtime gegevens voor individuele onderzoekers, afkomstig uit het Institutioneel Onderzoeksinformatiesysteem (IRIS).

2. Individuele Productiviteitsindex (PI):
   Voor elke onderzoeker $S_i$ wordt een Productiviteitsindex berekend als het rekenkundig gemiddelde van de ratio's tussen hun werkelijke waarden en de bijbehorende drempelwaarden voor de volgende rang:
   $$PI(S_i) = \frac{1}{3} \sum_{j=1}^{3} \frac{t^i_j}{T^i_j}$$

   • Een waarde $< 1$ duidt op een prestatie onder het gemiddelde van de drempelwaarde.
   • Een waarde $\ge 1$ duidt op een prestatie die de drempelwaarde haalt of overschrijdt.
   • In gevallen waar een drempelwaarde nul is, wordt de indicator uitgesloten en wordt het gemiddelde herrekend over de resterende waarden.

3. Departementale en Institutionele Aggregatie:

   • Departementale Productiviteitsindex (DPI): Het rekenkundig gemiddelde van de $PI(S_i)$-scores voor alle $n$ wetenschappers in een departement.
   • Universitaire Metrieken: Een gewogen gemiddelde ($\bar{X}$) wordt berekend over alle departementen, gewogen door het aantal faculteitsleden ($n_j$) in elk departement.
   • Dispersiemetrieken: Om homogeniteit te beoordelen, berekent het model een gewogen standaarddeviatie ($WST$) en een variatiecoëfficiënt ($CoV$).

4. Implementatie:
   Het model is ontworpen om geïmplementeerd te worden via eenvoudige code (verstrekt als aanvullend materiaal) die interfaceert met de IRIS-repository. Het maakt gedisaggregeerde analyse mogelijk op basis van wetenschappelijke sector, academische rang of specifieke faculteitsgroepen (bijv. nieuw aangenomen personeel).

Belangrijkste Bijdragen

• Directe Toepasbaarheid: Het model vereist geen nieuwe gegevensverzameling, aangezien het volledig rust op gegevens die al aanwezig zijn in de ministeriële tabellen en de IRIS-database.
• Realtime Monitoring: In tegen tegenstelling tot de VQR, die een retrospectieve momentopname biedt, biedt dit model een continu bij te werken beeld van de productiviteit dat dagelijks verandert naarmate onderzoekers hun IRIS-profielen bijwerken.
• Granulariteit en Flexibiliteit: Het framework staat "drill-down"-analyses toe, waardoor vergelijkingen mogelijk zijn tussen specifieke wetenschappelijke sectoren, academische rangen of subgroepen binnen een instelling.
• Privacy-naleving: Het model genereert geaggregeerde institutionele indicatoren (DPI) zonder dat de publieke bekendmaking van de productiviteitsindices van individuele onderzoekers vereist is, waarmee aan de privacyvoorschriften wordt voldaan.
• Disciplinaire Aanpasbaarheid: Door gebruik te maken van sectorspecifieke drempelwaarden, houdt het model inherent rekening met de heterogeniteit tussen bibliometrische (STEM) en niet-bibliometrische (Geesteswetenschappen/Sociale Wetenschappen) velden.

Resultaten
Het artikel presenteert een simulatie van het model toegepast op een virtueel departement en een casestudy-analyse van negen Italiaanse universiteiten (gecategoriseerd als groot, middelgroot en klein), waarbij een mix van echte en gesimuleerde gegevens wordt gebruikt om anonimiteit te waarborgen.

• Simulatie: Een virtueel departement van tien wetenschappers leverde een DPI op van 1,24, wat wijst op een algemene productiviteit boven de nationale drempelwaarden, hoewel individuele wetenschappers variatie vertoonden (sommigen onder de 1,0).
• Universiteitsanalyse:
  • De analyse toonde aan dat een hoog gewogen gemiddelde niet noodzakelijkerwijs een uniforme excellentie impliceert; hoge standaarddeviaties en variatiecoëfficiënten onthulden significante verschillen tussen departementen binnen dezelfde universiteit.
  • Bijvoorbeeld, "Grote Universiteit 1" had een hoog gemiddelde maar een hoge dispersie, gedreven door enkele hoogpresterende departementen, terwijl "Middelgrote Universiteit 3" een hoge variabiliteit vertoonde met minder dan de helft van de departementen die de drempelwaarde overschreden.
  • De uitsplitsing naar academische rang toonde aan dat assistent- en docent-professoren vaak hogere productiviteitsindices vertoonden ten opzichte van de drempelwaarden, waarschijnlijk gedreven door carrièreprogressie-incentives, terwijl hoogleraren iets lagere indices lieten zien, mogelijk door andere institutionele rollen of interne evaluatiemetrieken.
  • Het model identificeerde succesvol "pockets of excellence" en gebieden van onderprestatie binnen dezelfde instellingen.

Betekenis en Claims
De auteurs positioneren dit werk niet als een vervanging voor uitgebreide, door peers beoordeelde nationale evaluaties zoals de VQR, maar als een complementaire, goedkope tool voor dynamische en continue monitoring.

• Strategische Waarde: Het model dient als een "intermediaire, dynamische laag" van monitoring die het interne bestuur kan informeren, individuele carrièreplanning kan ondersteunen en instellingen kan helpen om tijdig kritieke problemen of pockets of excellence te detecteren.
• Efficiëntie: Het biedt een pragmatische oplossing voor instellingen die onderzoeksprestaties willen volgen zonder de aanzienlijke tijd- en personeelskosten die gepaard gaan met grootschalige evaluaties.
• Generaliseerbaarheid: Hoewel ontwikkeld binnen de Italiaanse context, beweren de auteurs dat de methodologie exporteerbaar is naar andere nationale contexten die gebruikmaken van drempelgebaseerde of op publicatiegegevens gebaseerde evaluatiesystemen, mits vergelijkbare gegevens beschikbaar zijn.
• Transparantie: Door gebruik te maken van bestaande, transparante drempelwaarden, streeft het model ernaar de opaciteit te verminderen die vaak geassocieerd wordt met complexe evaluatiealgoritmen, en bevordert het een cultuur van verantwoording en continue verbetering.

Het artikel concludeert dat deze drempelgebaseerde aanpak een compacte, interpreteerbare en gevoelige maatstaf biedt voor onderzoeksprestaties die de disciplinaire diversiteit en carrièrefasen respecteert, en daarmee een levensvatbaar kader biedt voor het verfijnen van evaluatiestrategieën wereldwijd.