Science-wide mapping and ranking of institutions based on affiliated authors' impact and research integrity proxies

Deze studie presenteert een wereldwijde rangschikking van bijna 7.000 wetenschappelijke instellingen die de impact van hun auteurs combineert met correcties voor researchintegriteitsproblemen zoals hoge zelfcitering, publicaties in gedegradeerde tijdschriften en gerevokede artikelen, waardoor een gebalanceerde evaluatie mogelijk is die specifieke landen met lagere scores identificeert.

De kern

Stel je voor dat de wereld van wetenschap een enorme, drukke stad is vol met universiteiten, onderzoeksinstituten en bedrijven. Vaak kijken we naar wie de "grootste" is door simpelweg te tellen hoeveel mensen er werken of hoeveel boeken (publicaties) ze hebben geschreven. Maar wat als die teller wordt gemanipuleerd? Wat als iemand 100 boeken schrijft, maar ze allemaal zelf leest en aan elkaar doorgeeft om rijk te lijken? Of wat als een boek later blijkt vol te staan met fouten en uit de bibliotheek moet worden gehaald?

Dit artikel van John Ioannidis en zijn team is als een nieuwe, eerlijke kompas voor die stad. Ze hebben een manier bedacht om niet alleen te kijken naar hoeveel wetenschappers er zijn, maar ook naar hoe goed en eerlijk ze werken.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het oude probleem: "Groot" is niet altijd "Beter"

Vroeger keken ranglijsten alleen naar het volume.

• De analogie: Stel je twee restaurants voor. Restaurant A heeft 100 koks en serveert 10.000 maaltijden. Restaurant B heeft 10 koks en serveert 100 maaltijden. De oude ranglijst zegt: "Restaurant A is de beste, want ze hebben meer koks en meer eten!"
• Het probleem: Maar misschien is Restaurant A rommelig, en zijn de koks daar niet zo goed. Restaurant B heeft misschien maar 10 koks, maar ze zijn allemaal Michelin-sterren-koks. De oude lijst zag dat niet, omdat ze alleen naar het aantal keukens keken.

2. De nieuwe methode: Kwaliteit en Integriteit

De auteurs van dit artikel zeggen: "Laten we niet alleen tellen, maar ook kijken naar de kwaliteit en de eerlijkheid." Ze gebruiken een database (Scopus) als een gigantische bibliotheek om drie dingen te meten:

A. De "Sterren" (Top-cited authors)

Ze kijken niet naar alle koks, maar alleen naar degenen die echt beroemd zijn in hun vakgebied.

• De analogie: Ze tellen hoeveel "Michelin-sterren-koks" een restaurant heeft, in plaats van gewoon het totale aantal personeelsleden. Dit geeft een eerlijker beeld van de echte kracht van een instelling.

B. De "Integriteits-Alarmen" (Research Integrity Proxies)

Dit is het nieuwe en spannende deel. Ze kijken naar drie rode vlaggetjes die kunnen wijzen op gedoe of oneerlijkheid:

1. De "Zelf-omhelzing" (Hoge zelfcitaties):

   • Wat is het? Wetenschappers die hun eigen werk 100 keer citeren om hun cijfers op te blazen.
   • De analogie: Stel je een muzikant voor die elke keer dat hij een liedje speelt, ook zijn eigen oude nummers in de achtergrond zet om het luider te laten klinken. Dat is niet eerlijk. Als een instelling veel van deze "muzikanten" heeft, krijgen ze een straf.

2. De "Afgekeurde Bladen" (Gestopte tijdschriften):

   • Wat is het? Het publiceren in tijdschriften die door Scopus zijn geschorst omdat ze slecht werk publiceren.
   • De analogie: Het is alsof een kok probeert zijn eten te verkopen in een restaurant dat bekendstaat om vergiftigd voedsel. Als een instelling veel van haar "sterren-koks" laat werken in die slechte restaurants, krijgen ze een straf.

3. De "Teruggetrokken Boeken" (Retracties):

   • Wat is het? Papers die later zijn ingetrokken omdat ze fouten of fraude bevatten (niet omdat de drukker een fout maakte).
   • De analogie: Stel je voor dat een schrijver een boek publiceert, maar later blijkt dat het verhaal verzonnen was of gestolen. Het boek moet uit de winkel. Als een universiteit veel van deze "vervalste boeken" heeft, wordt dat zwaar bestraft.

3. Het resultaat: Een nieuwe ranglijst

Toen ze deze nieuwe regels toepasten, veranderde het plaatje drastisch.

• De grote reuzen: Sommige enorme universiteiten (zoals Harvard of Stanford) bleven bovenaan staan, maar hun positie werd iets aangepast.
• De kleine juweeltjes: Kleine, gespecialiseerde instituten (zoals onderzoeksbureaus of tech-bedrijven) bleken soms een heel hoog percentage aan echte "sterren" te hebben. Ze werden ineens veel hoger gezet dan voorheen.
• De waarschuwingen: Sommige landen en instellingen, die vroeger hoog stonden door enorme aantallen publicaties, kregen een zware straf. Vooral landen zoals Saoedi-Arabië, China, Maleisië, Iran, India en Indonesië vielen hard terug in de ranglijst.
  • Waarom? Omdat ze een heel groot aantal "rode vlaggetjes" hadden: veel teruggetrokken papers, veel zelf-citeren en veel publicaties in slechte tijdschriften. Het was alsof ze een enorme fabriek hadden, maar de producten waren vaak van slechte kwaliteit of nep.

4. Waarom is dit belangrijk?

De auteurs zeggen: "We willen niet dat iedereen bang is, maar we willen wel eerlijkheid."

• Het is alsof je een kwaliteitscontroleur bent in plaats van alleen een teller.
• Het helpt om te zien welke instellingen echt goed werk leveren, en welke instellingen misschien hun cijfers "gamen" (manipuleren) om er beter uit te zien.
• Het geeft een waarschuwing: "Kijk eens goed naar deze instelling, er is iets mis met de kwaliteit of de eerlijkheid."

Samenvatting in één zin

Dit artikel is als het invoeren van een eerlijke keurmerk voor wetenschapsinstellingen: het kijkt niet alleen naar hoe groot de fabriek is, maar ook naar hoe schoon de machines draaien en of de producten niet bedorven zijn. Hierdoor krijgen de eerlijke, kwalitatieve instituten hun eer, en krijgen degenen die trucs gebruiken, een flinke tik op hun duim.

Technische samenvatting

Probleemstelling

Bestaande institutionele rankings en evaluaties van wetenschappelijke prestaties vertonen vaak ernstige tekortkomingen:

1. Gebrek aan integriteitsmeting: De meeste rankings focussen uitsluitend op impact (citaties, publicaties) en negeren volledig kwesties van onderzoeksintegriteit, zoals retractions (intrekkingen), neppe citaties of publicaties in tijdschriften met lage kwaliteit.
2. Groottebias: Absolute aantallen publicaties en citaties zijn sterk afhankelijk van de grootte van de instelling. Dit maakt vergelijkingen tussen grote universiteiten en kleinere onderzoeksinstellingen of bedrijven onrechtvaardig.
3. Heterogeniteit van personeel: Het is moeilijk om gestandaardiseerd te bepalen hoeveel onderzoekers een instelling telt (bijv. verschil tussen vaste aanstellingen, adjuncts, postdocs, en personeel in verschillende landen).
4. Gaming van metrics: Er is geen mechanisme om instellingen te straffen voor praktijken die leiden tot kunstmatig hoge citatiecijfers zonder echte wetenschappelijke waarde.

Het doel van deze studie is het ontwikkelen van een gestandaardiseerde methode om instellingen wereldwijd te beoordelen op basis van zowel impact als integriteitsproxi's, terwijl er wordt gecorrigeerd voor instellingsgrootte en wetenschappelijke subdomeinen.

Methodologie

Data Bron:

• Scopus-database: Gegevens met een "freeze" op 1 augustus 2025.
• Selectie: 10.933.183 auteurs met minimaal 5 volledige publicaties (artikelen, reviews, conferentiepapers).
• Top-cited auteurs: Gebruik van bestaande datasets van de top 2% van auteurs per subdomein (174 subdomeinen) of de top 100.000 wereldwijd, gebaseerd op een samengesteld citatie-indicator (combinatie van totale citaties, h-index, co-auteur-gecorrigeerde h-index, en citaties voor single/first/last author papers).

Aggregatie en Filters:

• Instellingsniveaus: Scopus-organisaties worden gegroepeerd tot "aggregated institutions" (bijv. Harvard University omvat alle scholen en afdelingen, maar ziekenhuizen blijven gescheiden).
• Primaire Analyse (De "Senior Actieve" Cohort): Om een eerlijke vergelijking mogelijk te maken, wordt een specifieke subset van auteurs gedefinieerd:
  • Start van publiceren in 1980 of later (max. 45 jaar carrière).
  • Minimaal 40 Scopus-gedocumenteerde items in totaal.
  • Minimaal 5 items als single-, first- of last-author.
  • Instellingen moeten minimaal 100 auteurs hebben die aan deze criteria voldoen om in de ranglijsten te worden opgenomen.

Integriteitsproxi's:
Drie indicatoren worden gebruikt om mogelijke problemen met onderzoeksintegriteit te detecteren (gezien als waarschuwingssignalen, niet als bewijs van misdraging):

1. Retractions (Intrekkingen): Het totale aantal auteurschappen van papers die zijn ingetrokken om redenen anders dan fouten van de uitgever/journal (ΣR).
2. Zelfcitaties: Het percentage top-cited auteurs met een zelfciteringspercentage hoger dan de 95e percentiel in hun subdomein.
3. Gedisciplineerde titels: Het percentage top-cited auteurs met een hoog aandeel publicaties in tijdschriften die door Scopus zijn stopgezet vanwege kwaliteitszorgen.

Berekening van de Samenvattende Score:
Een aangepaste score wordt berekend die impact afweegt tegen integriteitsstraffen:
$$Score = \frac{N(t) - \frac{\Sigma R}{2} - \mathbb{I}(S(t) > 0.05 \cdot N(t)) \cdot N(t) - \mathbb{I}(D(t) > 0.05 \cdot N(t)) \cdot N(t)}{N(a)}$$
(Waarbij $N(t)$ het aantal top-cited auteurs is, $\Sigma R$ het aantal retractions, en de termen voor zelfcitaties en gedisciplineerde titels een straf of bonus toekennen afhankelijk van of ze boven de 5% drempel liggen. Retractions worden zwaar gewogen: twee retracties zijn gelijk aan het verlies van één top-cited auteur.)

Belangrijkste Bijdragen

1. Gestandaardiseerde Dataset: Publicatie van data voor 6.979 instellingen, met gedetailleerde analyses voor 2.380 instellingen die voldoen aan de strenge "primaire analyse" criteria.
2. Integratie van Integriteit: Voor het eerst wordt een wereldwijde ranking gepresenteerd die citatie-impact expliciet combineert met straffen voor retractions, extreme zelfcitaties en publicaties in gedisciplineerde tijdschriften.
3. Onthulling van Discrepanties: De studie toont aan dat rankings puur op basis van volume of zelfs op basis van het percentage top-cited auteurs (zonder integriteitscorrectie) sterk kunnen afwijken van rankings die integriteitsproxi's meenemen.

Resultaten

Impact en Grootte:

• Er is slechts een beperkte overlap tussen instellingen met het hoogste aantal top-cited auteurs (vaak grote universiteiten zoals Harvard, Stanford) en instellingen met het hoogste percentage top-cited auteurs.
• Instellingen met het hoogste percentage top-cited auteurs zijn vaak kleinere onderzoeksinstellingen, tech-bedrijven (bijv. Meta FAIR, Alphabet Inc.) en instituten, in plaats van grote universiteiten.

Integriteitsprofielen per Land:

• Retractions: China domineert de lijst van instellingen met de meeste retractions (75 van de top 100). Andere landen met hoge aantallen zijn Indonesië, Maleisië, Marokko en Zuid-Korea.
• Zelfcitaties: Rusland domineert hier (26 van de top 100), gevolgd door China, Indonesië, Polen en Tsjechië.
• Gedisciplineerde titels: India, China, Maleisië, Saoedi-Arabië en Rusland hebben de hoogste percentages.

Gecorrigeerde Rangschikking:

• Wanneer de integriteitsstraffen worden toegepast, verschuiven de ranglijsten drastisch.
• Hoge Prestaties: Instellingen in het VK, Nederland, Zwitserland, Canada, de VS en Australië behouden hoge percentielrangschikkingen (mediaan 82,6e - 85,5e percentiel).
• Lage Prestaties (Gestraft): Instellingen in Saoedi-Arabië, China, Maleisië, Iran, India en Indonesië dalen sterk in de ranglijst. De cumulatieve straf voor deze landen is 1,29 tot 2,75 keer hun aantal top-cited auteurs. Bijvoorbeeld, Saoedi-Arabië heeft een mediaan rangschikking van slechts de 3,9e percentiel.
• Veel Chinese instellingen die hoog staan op volume, zakken sterk door de hoge retraction-penalty's. Veel Russische instellingen zakken door hoge zelfcitaties.

Betekenis en Conclusie

De studie biedt een krachtig instrument voor een meer genuanceerde beoordeling van wetenschappelijke instellingen. De belangrijkste conclusies zijn:

• Impact is niet alles: Een hoge citatie-impact gaat niet altijd samen met hoge onderzoeksintegriteit. Sommige instellingen, vooral in landen met specifieke macro-omgevingen (zoals Saoedi-Arabië, China, Iran), genereren hoge cijfers die sterk worden beïnvloed door praktijken die als risicovol worden beschouwd (retractions, zelfcitering).
• Waarschuwingssignalen: De gebruikte proxi's (retractions, zelfcitaties, gedisciplineerde titels) moeten worden gezien als waarschuwingssignalen die verdere inspectie vereisen, niet als definitief bewijs van misdraging op instellingsniveau.
• Transparantie: Door de dataset publiek beschikbaar te stellen, kunnen beleidsmakers, universiteiten en onderzoekers zelf de balans tussen excellentie en integriteit onderzoeken.
• Beperkingen: De auteurs benadrukken dat er onzekerheden zijn in de data (toewijzing van auteurs, aggregatie van instellingen) en dat retractions slechts een fractie van alle mogelijke misdragingen vertegenwoordigen. Toch biedt deze methode een betere, meer transparante basis voor evaluatie dan traditionele rankings.

De studie pleit voor een pragmatische benadering waarbij rankings niet volledig worden afgeschaft, maar wel worden aangepast om gaming van metrics en integriteitskwesties systematisch te incorporeren.