One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
Diese Studie verwendet eine reproduzierbare Monte-Carlo-Simulation von 700 synthetischen Universitäten, um zu demonstrieren, dass institutionelle Rankings über OpenAlex, Scopus und Web of Science aufgrund datenbankspezifischer Mechanismen wie Abdeckung und Zitationsskalierung signifikant variieren, was offenlegt, dass eine hohe Übereinstimmung auf Systemebene eine folgenreiche Instabilität der institutionellen Ränge und regionale Verzerrungen maskiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Jahr werden Universitäten auf der ganzen Welt in einer einzigen Spalte aufgereiht, von der ersten bis zur letzten, als wäre ihr Rang eine feste Tatsache wie die Höhe eines Berges. Diese Praxis stützt sich auf massive digitale Bibliotheken, die Millionen von Forschungsarbeiten, Zitaten und Autorennamen speichern. Diese Bibliotheken, oft Datenbanken genannt, sind die Werkzeuge, mit denen Forscher zählen, wie viel eine Universität produziert und wie oft diese Arbeit von anderen gelesen wird. Die Annahme hinter diesen Rankings ist, dass man bei der Zählung derselben Universität in zwei verschiedenen Bibliotheken etwa das gleiche Ergebnis erhält. Die Realität ist jedoch, dass keine zwei Bibliotheken exakt dieselbe Sammlung von Werken enthalten. Eine könnte mehr Arbeiten in Sprachen außer Englisch enthalten, während eine andere sich stark auf bestimmte wissenschaftliche Felder konzentriert oder bestimmte Arten von Dokumenten wie Konferenzberichte ausschließt. Da die Ausgangsliste der Arbeiten unterschiedlich ist, können die endgültige Anzahl und das daraus resultierende Ranking drastisch variieren, obwohl sich die Universität selbst in ihrem Forschungsoutput überhaupt nicht verändert hat.
Ein Forscher namens Mustafa Kayyali setzte sich zum Ziel zu verstehen, wie sehr diese Unterschiede tatsächlich eine Rolle spielen. Anstatt zu versuchen, die aktuellen Rankings zu korrigieren oder echte Universitäten zu vergleichen, baute er eine Computersimulation, um die Mechanik des Systems zu testen. Er erschuf eine fiktive Welt mit sieben hundert synthetischen Universitäten. Jede dieser erfundenen Institutionen erhielt ein einzigartiges Profil, einschließlich ihrer Größe, ihrer Forschungsqualität, der Sprachen, in denen sie publizierten, und der Mischung der Fachgebiete, die sie studierten, wie etwa Medizin, Ingenieurwesen oder Kunst. Er programmierte dann drei verschiedene digitale Bibliotheken, um dieselbe Gruppe von Universitäten zu „beobachten“. Diese Bibliotheken wurden so konzipiert, dass sie das bekannte Verhalten realer Systeme nachahmten: Eine war breit und inklusiv, eine andere lag irgendwo in der Mitte, und die dritte war selektiver und strenger bei dem, was sie einschloss. Das Ziel war nicht zu sehen, welche Bibliothek die beste sei, sondern zu sehen, wie stark der Rang einer einzelnen Universität schwankt, je nachdem, welche Bibliothek zur Messung verwendet wird.
Die Ergebnisse zeigten einen überraschenden Widerspruch. Wenn der Forscher die Gesamtliste betrachtete, schienen die Rankings der verschiedenen Bibliotheken sehr gut übereinzustimmen. Die Reihenfolge der Universitäten bewegte sich gemeinsam in einer Weise, die auf eine starke Verbindung hindeutete. Doch wenn er sich einzelne Universitäten ansah, änderte sich das Bild vollkommen. Eine Universität, die in einer Bibliothek unter den obersten einhundert erschien, konnte in einer anderen dutzende Plätze abrutschen. Im Durchschnitt bewegte sich eine Universität etwa einundvierzig Stellen zwischen der inklusivsten Bibliothek und der selektivsten. Dies bedeutete, dass etwa achtzehn Universitäten die Grenze zu oder aus den obersten einhundert überschritten, nur weil sich der Beobachter änderte. Die hohe Übereinstimmung im Gesamten verbarg eine große Instabilität für spezifische Institutionen.
Die Studie zeigte auch, dass diese Bewegungen nicht zufällig waren. Sie folgten einem klaren Muster basierend auf dem Standort einer Universität und den von ihr verwendeten Sprachen. Universitäten aus dem Globalen Süden oder solche, die einen signifikanten Teil ihrer Arbeit in Sprachen außer Englisch veröffentlichten, tendierten dazu, in der breiten, inklusiven Bibliothek deutlich höher zu ranken. In der selektiveren Bibliothek fielen dieselben Institutionen erheblich ab. Umgekehrt sahen Universitäten aus anderen Regionen oft einen Rückgang ihres Rankings, wenn die Bibliothek inklusiver wurde. Dies geschah, weil das Rankingsystem ein Nullsummenspiel ist; wenn eine Gruppe aufsteigt, weil mehr von ihrer Arbeit gezählt wird, muss eine andere Gruppe absteigen. Die Simulation zeigte, dass die Richtung der Verschiebung vollständig von den Regeln abhing, die in die Bibliothek eingebaut waren, und nicht von der tatsächlichen Qualität der Forschung.
Um zu verstehen, warum diese Lücken existierten, brach der Forscher die Unterschiede in vier Hauptursachen auf: wie viele Arbeiten gefunden wurden, wie gut der Name der Universität mit ihren Arbeiten verknüpft war, wie Zitate gezählt wurden und zufällige Fehler in den Daten. Der größte Faktor war die Abdeckung, also schlichtweg wie viele Arbeiten die Bibliothek finden konnte. Dieser einzelne Faktor erklärte fast zwei Drittel der Unterschiede in den Rankings. Die Art und Weise, wie Universitäten mit ihren Arbeiten verknüpft waren, war ein kleinerer Faktor, und in einigen Fällen machte die Korrektur der Verknüpfung die Uneinigkeit sogar leicht schlimmer, bevor sie besser wurde. Die Studie kam zu dem Schluss, dass die Variation kein Fehler war, der durch besseres Zählen behoben werden konnte, sondern ein grundlegendes Merkmal der Verwendung verschiedener Quellen.
Das Paper argumentiert, dass die Angabe einer einzigen Zahl für den Rang einer Universität irreführend ist, da sie die Unsicherheit hinter dieser Zahl verbirgt. Eine Universität kann in einem System auf Platz siebenundvierzig und in einem anderen auf Platz zweiundfünfzig stehen, was ein kleiner Unterschied ist, aber sie könnte auch in einem System auf Platz zweiundsechzig und in einem anderen auf Platz einhunderteinundachtzig stehen. Der Forscher schlägt vor, dass anstelle eines einzelnen Rangs den Universitäten eine Spanne möglicher Positionen angezeigt werden sollte, zusammen mit der Wahrscheinlichkeit, unter den obersten einhundert zu liegen. Dieser Ansatz würde verdeutlichen, dass die Position einer Universität kein fester Punkt auf einer Landkarte ist, sondern ein Ort, der sich verschiebt, je nachdem, durch welche Linse man ihn betrachtet. Die Studie behauptet nicht, das Problem des Rankings gelöst zu haben, aber sie liefert eine klare Methode, um zu messen, wie sehr die Wahl der Datenquelle das Ergebnis verändert, und mahnt an, dass diese Unsicherheit für jeden, der diese Listen verwendet, sichtbar gemacht werden muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.