Assessing Methodological Distortions in the Clarivate Highly Cited Researchers List: International Comparisons and a Reform Framework
Dit artikel bekritiseert de methodologische beperkingen van de Clarivate Highly Cited Researchers-lijst door aan te tonen hoe factoren zoals volledige telling en citatieverschillen internationale vergelijkingen vertekenen, en stelt een hervormingskader voor om deze biases aan te pakken via fractionele telling, veldnormalisatie en verbeterde auteursdisambiguatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van de wetenschap voor als een enorme, wereldwijde sportcompetitie. Elk jaar publiceert een beroemde organisatie genaamd Clarivate een "Hall of Fame"-lijst genaamd de Highly Cited Researchers (HCR). Deze lijst is bedoeld om de top 1% van de wetenschappers te identificeren wiens werk het meest wordt gelezen en geciteerd door hun vakgenoten. Universiteiten en overheden gebruiken deze lijst om te beslissen over financiering, promoties en prestige.
Dit artikel betoogt echter dat de regels van het spel gemanipuleerd zijn. De auteur, F. Pacheco-Torgal, suggereert dat de manier waarop Clarivate punten telt gebrekkig is, wat leidt tot een vertekend beeld van wie eigenlijk de "beste" wetenschapper is.
Hier is een uitsplitsing van de argumenten uit het artikel met behulp van eenvoudige analogieën:
1. Het probleem van het "volledige tellen": De groepsfoto-fout
Het probleem: Momenteel gebruikt Clarivate een methode die "whole counting" (volledig tellen) wordt genoemd. Stel je voor dat een team van 200 wetenschappers één baanbrekend artikel schrijft. Als dat artikel 500 citaties krijgt (vermeldingen door andere wetenschappers), geeft Clarivate 500 punten aan elke van de 200 auteurs.
De metafoor: Het is also[t] een groepsfoto waarbij iedereen een gouden medaille krijgt, alleen maar omdat ze op de foto staan, ongeacht wie de foto daadwerkelijk heeft genomen of wie het zware werk heeft gedaan.
Het gevolg: Dit blaast de scores van wetenschappers die in enorme teams werken (veelvoorkomend in velden zoals biologie of fysica) enorm op. Het beloont het deel uitmaken van een grote club in plaats van individuele genialiteit. Het artikel suggereert over te stappen op "fractional counting" (fractioneel tellen), waarbij de 500 punten door 200 personen worden verdeeld, waardoor elke wetenschapper slechts 2,5 punt krijgt. Dit zou een eerlijkere reflectie zijn van de individuele bijdrage.
2. Het "Appels versus Oranges"-probleem: Verschillende sporten, dezelfde trofee
Het probleem: Verschillende wetenschappelijke velden hebben verschillende "citatierituelen". Sommige velden, zoals de geneeskunde, publiceren duizenden artikelen en citeren elkaar constant. Andere, zoals de wiskunde of techniek, publiceren minder vaak en citeren minder vaak.
De metafoor: Stel je een race voor waarbij sprinters (Geneeskunde) 100 meter rennen in 10 seconden, en marathonlopers (Wiskunde) 42 kilometer rennen in 3 uur. Als de trofee wordt toegekend aan degene die de snelste afstand aflegt in één uur, zullen de sprinters altijd winnen, ook al zijn de marathonlopers ongelooflijk bekwaam.
Het gevolg: De huidige lijst past zich niet goed aan deze verschillen aan, waardoor velden die van nature meer citaties genereren worden bevoordeeld. Dit zorgt ervoor dat wetenschappers in langzamere velden minder indrukwekkend lijken dan ze in werkelijkheid zijn.
3. Het probleem van "Zelfpromotie" en "Naamverwarring"
Het probleem: De huidige lijst verwijdert niet strikt citaties waarbij een wetenschapper naar eigen werk verwijst (zelfcitatie), noch maakt het perfect onderscheid tussen twee wetenschappers met dezelfde naam (bijv. "J. Smith").
De metafoor: Het is als een populariteitswedstrijd waarbij je je eigen score kunt verhogen door je eigen naam in de menigte te roepen, en waarbij twee verschillende mensen per ongeluk credit kunnen krijgen voor dezelfde prijs omdat ze hetzelfde naamkaartje hebben.
Het gevolg: Dit kan scores kunstmatig opblazen en de eer onterecht toeschrijven aan de verkeerde persoon.
De "Distortieratio": Twee scoreborden vergelijken
Om deze gebreken te bewijzen, vergelijkt de auteur de lijst van Clarivate met een andere beroemde lijst: de Stanford Top 0.5% Scientists-lijst. De Stanford-lijst gebruikt eerlijkere regels (punten verdelen, zelfcitaties verwijderen en betere naamcontrole).
De auteur heeft een "Distortieratio" (vervormingsratio) gecreëerd om te zien hoeveel de twee lijsten van elkaar verschillen.
- Als de ratio 1,0 is: Stemmen beide lijsten overeen over het aantal wetenschappers in een land.
- Als de ratio hoog is (zoals 2,0+): Telt de Clarivate-lijst dat land over in vergelijking met de eerlijkere Stanford-lijst.
- Als de ratio laag is (zoals 0,5): Telt de Clarivate-lijst dat land onder in vergelijking met de Stanford-lijst.
De bevindingen:
- China: Had de hoogste distortie. De Clarivaet-lijst laat zien dat zij twee keer zoveel topwetenschappers hebben als de Stanford-lijst suggereert. De auteur suggereert dat dit komt omdat Chinese onderzoekers vaak in enorme samenwerkende teams werken die profiteren van de "whole counting"-regel.
- Noorwegen, Japan, Italië, Canada: Deze landen waren "ondervertegenwoordigd" op de Clarivate-lijst. Hun wetenschappers verschenen minder vaak op die lijst dan op de Stanford-lijst, waarschijnlijk omdat hun onderzoeksculturen kleinere teams of andere citatiegewoonten kennen die de huidige regels benadelen.
- De Nobelprijs-test: Het artikel merkt een schokkende statistiek op: de Clarivate-lijst bevat slechts ongeveer 10% van de Nobelprijswinnaars. In contrast hiermee bevat de Stanford-lijst meer dan 90%. Dit suggereert dat de Clarivate-lijst veel van de werkelijk grootste wetenschappelijke geesten mist.
De Voorgestelde Oplossing: Een Hervorming met Drie Zuilen
De auteur zegt niet dat de lijst moet worden afgeschaft, maar dat deze een grote revisie nodig heeft met drie zuilen:
- Verdeel de punten: Stap over op "fractional counting" zodat eer is aan alle teamleden.
- Maak het speelveld gelijk: Gebruik betere wiskunde om wetenschappers binnen hun specifieke, nauwe vakgebieden te vergelijken (bijv. een hartchirurg alleen te vergelijken met andere hartchirurgen, en niet met een natuurkundige).
- Ruim de data op: Verwijder strikt zelfcitaties en gebruik unieke ID-nummers (zoals ORCID) om ervoor te zorgen dat de juiste "J. Smith" de eer krijgt.
De Kern van de Zaak
De auteur concludeert dat hoewel de Clarivate Highly Cited Researchers-lijst populair en invloedrijk is, de huidige regels werken als een filter die de realiteit vervormt. Het bevoordeelt grote teams en velden met veel citaties, terwijl het potentieel de echte impact van individuele onderzoekers in andere gebieden verbergt. Totdat de regels worden aangepast, moeten we zeer voorzichtig zijn met het gebruik van deze lijst bij het nemen van grote beslissingen over financiering of universiteitsranglijsten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.