Assessing Methodological Distortions in the Clarivate Highly Cited Researchers List: International Comparisons and a Reform Framework
Diese Arbeit kritisiert die methodischen Einschränkungen der Clarivate-Liste der am häufigsten zitierten Forscher, indem sie aufzeigt, wie Faktoren wie das Ganzzahl-Zählen und Zitationsdisparitäten internationale Vergleiche verzerren, und schlägt einen Reformrahmen vor, um diese Verzerrungen durch fraktioniertes Zählen, Feldnormalisierung und verbesserte Autoren-Disambiguierung zu adressieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Wissenschaft als eine riesige, globale Sportliga vor. Jedes Jahr veröffentlicht eine berühmte Organisation namens Clarivate eine „Hall of Fame“-Liste mit dem Titel Highly Cited Researchers (HCR). Diese Liste soll die obersten 1 % der Wissenschaftler identifizieren, deren Arbeit von ihren Fachkollegen am häufigsten gelesen und referenziert wird. Universitäten und Regierungen nutzen diese Liste, um zu entscheiden, wer Fördergelder, Beförderungen und Prestige erhält.
Dieses Paper argumentiert jedoch, dass die Regeln des Spiels manipuliert sind. Der Autor, F. Pacheco-Torgal, deutet an, dass die Art und Weise, wie Clarivate Punkte zählt, fehlerhaft ist, was zu einer verzerrten Sicht darauf führt, wer tatsächlich der „beste“ Wissenschaftler ist.
Hier ist eine Aufschlüsselung der Argumente des Papers unter Verwendung einfacher Analogien:
1. Das Problem der „Ganzzahl-Zählung“: Der Gruppenfoto-Fehler
Das Problem: Derzeit verwendet Clarivate eine Methode namens „Whole Counting“ (Ganzzahl-Zählung). Stellen Sie sich vor, ein Team aus 200 Wissenschaftlern schreibt eine bahnbrechende Arbeit. Wenn diese Arbeit 500 Zitationen (Erwähnungen durch andere Wissenschaftler) erhält, gibt Clarivate jeden der 200 Autoren 500 Punkte.
Die Metapher: Es ist wie bei einem Gruppenfoto, bei dem jeder eine Goldmedaille bekommt, nur weil er auf dem Bild zu sehen ist, unabhängig davon, wer das Foto tatsächlich gemacht hat oder wer die eigentliche Schwerstarbeit geleistet hat.
Die Konsequenz: Dies bläht die Punktzahlen von Wissenschaftlern, die in riesigen Teams arbeiten (was in Feldern wie der Biologie oder Physik üblich ist), massiv auf. Es belohnt das Teilhaben an einem großen Club statt individueller Brillanz. Das Paper schlägt vor, zur „fraktionierten Zählung“ überzugehen, bei der die 500 Punkte durch 200 geteilt würden, sodass jeder Wissenschaftler nur 2,5 Punkte erhält. Dies wäre ein faireres Abbild des individuellen Beitrags.
2. Das „Äpfel vs. Orangen“-Problem: Unterschiedliche Sportarten, dieselbe Trophäe
Das Problem: Verschiedene wissenschaftliche Felder haben unterschiedliche „Zitationskulturen“. Einige Felder, wie die Medizin, veröffentlichen tausende Arbeiten und zitieren einander ständig. Andere, wie die Mathematik oder das Ingenieurwesen, veröffentlichen weniger Arbeiten und zitieren diese seltener.
Die Metapher: Stellen Sie sich ein Rennen vor, bei dem Sprinter (Medizin) 100 Meter in 10 Sekunden laufen und Marathonläufer (Mathematik) 42 Kilometer in 3 Stunden. Wenn die Trophäe an denjenigen verliehen wird, der die schnellste Distanz innerhalb einer Stunde zurücklegt, werden die Sprinter immer gewinnen, obwohl die Marathonläufer unglaublich geschickt sind.
Die Konsequenz: Die aktuelle Liste passt diese Unterschiede nicht gut an. Sie bevorzugt Felder, die von Natur aus mehr Zitationen generieren, wodurch Wissenschaftler in langsameren Forschungsbereichen weniger beeindruckend erscheinen, als sie eigentlich sind.
3. Das Problem der „Selbstpromotion“ und „Namensverwechslung“
Das Problem: Die aktuelle Liste entfernt nicht strikt Zitationen, bei denen ein Wissenschaftler seine eigene Arbeit zitiert (Selbstzitation), und sie unterscheidet auch nicht perfekt zwischen zwei Wissenschaftlern mit demselben Namen (z. B. „J. Smith“).
Die Metapher: Es ist wie ein Popularitätswettbewerb, bei dem man seinen eigenen Score steigern kann, indem man seinen eigenen Namen in der Menge ruft, und bei dem zwei verschiedene Personen versehentlich die gleiche Auszeichnung erhalten könnten, weil sie dasselbe Namensschild tragen.
Die Konsequenz: Dies kann die Punktzahlen künstlich aufblähen und die Anerkennung fälschlicherweise der falschen Person zuschreiben.
Das „Verzerrungsverhältnis“: Vergleich zweier Bestenlisten
Um diese Mängel zu beweisen, vergleicht der Autor die Clarivate-Liste mit einer anderen berühmten Liste: der Stanford Top 0.5% Scientists Liste. Die Stanford-Liste verwendet fairere Regeln (Aufteilung der Punkte, Entfernung von Selbstzitationen und bessere Namensprüfung).
Der Autor erstellte ein „Verzerrungsverhältnis“ (Distortion Ratio), um zu sehen, wie sehr die beiden Listen voneinander abweichen.
- Wenn das Verhältnis 1,0 beträgt: Stimmen beide Listen darin überein, wie viele Wissenschaftler ein Land hat.
- Wenn das Verhältnis hoch ist (wie 2,0+): Überzählt die Clarivate-Liste dieses Land im Vergleich zur faireren Stanford-Liste.
- Wenn das Verhältnis niedrig ist (wie 0,5): Unterzählt die Clarivate-Liste dieses Land.
Die Ergebnisse:
- China: Verzeichnete die höchste Verzerrung. Die Clarivate-Liste zeigt für China doppelt so viele Spitzenwissenschaftler an, wie die Stanford-Liste suggeriert. Der Autor vermutet, dass dies daran liegt, dass chinesische Forscher oft in massiven kollaborativen Teams arbeiten, die von der „Ganzzahl-Zählung“ profitieren.
- Norwegen, Japan, Italien, Kanada: Diese Länder waren auf der Clarivate-Liste „unterrepräsentiert“. Ihre Wissenschaftler tauchten dort seltener auf, als sie es auf der Stanford-Liste taten, was wahrscheinlich darauf zurückzuführen ist, dass ihre Forschungskulturen kleinere Teams oder andere Zitationsgewohnheiten beinhalten, die durch die aktuellen Regeln benachteiligt werden.
- Der Nobelpreis-Test: Das Paper stellt eine schockierende Statistik fest: Die Clarivate-Liste enthält nur etwa 10 % der Nobelpreisträger. Im Gegensatz dazu umfasst die Stanford-Liste über 90 %. Dies deutet darauf hin, dass die Clarivate-Liste viele der wirklich größten wissenschaftlichen Köpfe der Welt übersieht.
Die vorgeschlagene Lösung: Eine Drei-Säulen-Reform
Der Autor sagt nicht, dass die Liste abgeschafft werden sollte, sondern dass sie eine umfassende Überarbeitung benötigt, die auf drei Säulen basiert:
- Teilung der Punkte: Wechsel zur „fraktionierten Zählung“, damit der Kredit gerecht unter den Teammitgliedern aufgeteilt wird.
- Chancengleichheit schaffen: Verwendung besserer mathematischer Modelle, um Wissenschaftler innerhalb ihrer spezifischen, engen Fachgebiete zu vergleichen (z. B. einen Herzchirurgen nur mit anderen Herzchirurgen zu vergleichen, nicht mit einem Physiker).
- Daten bereinigen: Strikte Entfernung von Selbstzitationen und Verwendung eindeutiger Identifikationsnummern (wie ORCID), um sicherzustellen, dass der richtige „J. Smith“ die Anerkennung erhält.
Das Fazal
Das Paper kommt zu dem Schluss, dass die Clarivate Highly Cited Researchers Liste zwar populär und einflussreich ist, ihre aktuellen Regeln jedoch wie ein Filter wirken, der die Realität verzerrt. Sie begünstigt große Teams und hochzitierende Fachbereiche, während sie den wahren Einfluss einzelner Forscher in anderen Bereichen potenziell verbirgt. Bis die Regeln korrigiert werden, sollten wir bei der Nutzung dieser Liste für wichtige Entscheidungen über Fördergelder oder Universitätsrankings sehr vorsichtig sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.