AttribRank: An Open and Reproducible Framework for Diagnosing Attribution Sensitivity in Author-Level Research Assessment
Diese Studie stellt AttribRank vor, ein Open-Source-Python-Framework, das quantifiziert, wie sich die Rankings von Autoren auf Forschungsebene basierend auf Evaluationsentscheidungen wie Kollaborationsregeln und Indikatortypen verschieben, wobei aufgezeigt wird, dass diese Variationen durch wissenschaftliche Fachbereiche und nicht durch zufälliges Rauschen strukturiert sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wie entscheiden wir in der Welt der modernen Wissenschaft, wer der wichtigste Forscher ist? Jahrzehntelang kam die Antwort oft auf Zahlen zurück: wie viele Arbeiten ein Wissenschaftler geschrieben hat und wie oft andere Wissenschaftler diese Arbeiten zitiert haben. Diese Zählungen werden verwendet, um lebensverändernde Entscheidungen über Einstellungen, Beförderungen und die Vergabe von Fördermitteln zu treffen. Aber diese Zahlen sind keine einfachen Fakten wie das Gewicht eines Steins; sie sind konstruierte Zusammenfassungen, die stark von den Regeln abhängen, die zur Berechnung verwendet werden. Wenn man die Regel ändert, wie die Anerkennung innerhalb eines Teams von Autoren aufgeteilt wird, oder wenn man entscheidet, Zitate eines Wissenschaftlers für die eigene Arbeit zu ignorieren, kann sich der Endwert verschieben. Das bedeutet, dass der Status eines Forschers kein fester Punkt auf einer Landkarte ist, sondern eine Position, die sich je nach der Linse, durch die man sie betrachtet, verschiebt. Die Frage, vor der die wissenschaftliche Gemeinschaft steht, ist nicht nur, wer an der Spitze steht, sondern wie stark sich dieses Ranking verändert, wenn man die Regeln des Spiels leicht anpasst.
Um dies zu beantworten, hat ein Team von Forschern ein neues Werkzeug namens AttribRank entwickelt, das genau misst, wie sehr das Ranking eines Wissenschaftlers schwankt, wenn sich die Bewertungsregeln ändern. Stellen Sie sich einen Wissenschaftler vor, der auf einer Leiter steht; die Forscher wollten wissen, wie viele Sprossen er aufwärts oder abwärts gleiten würde, wenn sich die Definition von „Klettern“ leicht ändern würde. Sie haben keine neuen Wege erfunden, um Erfolg zu messen, sondern vier gängige Methoden zur Anpassung des Scores genommen – wie die Anerkennung in einem Team aufgeteilt wird, wie mit Selbstzitaten umgegangen wird, wie die Reihenfolge der Autoren gewichtet wird und welche Art von Score verwendet wird – und diese auf eine massive Gruppe hochzitierter Wissenschaftler angewendet. Indem sie diese verschiedenen Regelsätze durch ihre Software laufen ließen, konnten sie sehen, wie stark sich die relative Stellung jedes Wissenschaftlers verschob. Das Ergebnis war ein klares Bild davon, wie fragil oder stabil diese Rankings wirklich sind.
Die Forscher wandten ihr Framework auf eine Datenbank an, die über 230.000 hochzitierte Wissenschaftler aus der ganzen Welt enthält und ein breites Spektrum an Fachgebieten von der Medizin bis zur Physik abdeckt. Sie fanden heraus, dass die Rankings in der Tat empfindlich auf die verwendeten Regeln reagieren. Im Durchschnitt verschob sich die Position eines Wissenschaftlers um etwa zehn Prozentpunkte, wenn sich die Regeln änderten. Um dies in Perspektive zu setzen: Wenn ein Forscher unter einem Satz von Regeln zu den obersten 10 Prozent seines Fachgebiets gehörte, könnte er unter einem anderen Satz von Regeln in die obersten 20 Prozent fallen oder sogar noch höher aufsteigen. Dies ist keine winzige Fluktuation; es handelt sich um eine nicht unerhebliche Änderung des Status, die reale Entscheidungen beeinflussen könnte. Die Studie zeigte, dass diese Verschiebungen kein zufälliges Rauschen oder Fehler in den Daten sind, sondern strukturierte Konsequenzen der Entscheidungen derjenigen, die die Bewertung vornehmen.
Nicht alle Regeln verursachten das gleiche Ausmaß an Bewegung. Die Forscher entdeckten, dass das Ausschließen von Selbstzitaten – das Entfernen von Zitaten, die ein Wissenschaftler für seine eigene vorangegangene Arbeit verwendet – die geringste Veränderung in den Rankings bewirkte. Im Gegensatz dazu waren die größten Verschiebungen zu beobachten, als die Forscher von einem Standard-Zitierwert zu einem komplexeren, zusammengesetzten Score wechselten, der mehrere verschiedene Metriken kombiniert. Die Änderung der Art und Weise, wie die Anerkennung unter Co-Autoren aufgeteilt wird oder wie die Reihenfolge der Autoren auf einem Papier interpretiert wird, verursachte ebenfalls signifikante Bewegungen, wenn auch etwas weniger als der Wechsel des gesamten Bewertungssystems. Dies zeigt uns, dass die Wahl des zu verwendenden Gesamtscores wichtiger ist als die Entscheidung, Selbstzitate herauszufiltern, wenn es darum geht, die Bestenliste neu zu ordnen.
Die Studie ergab auch, dass diese Verschiebungen nicht für jeden gleich sind. Das Ausmaß, um das sich ein Ranking bewegt, hängt stark vom spezifischen wissenschaftlichen Fachgebiet ab, in dem ein Forscher arbeitet. In Feldern wie Physik und Astronomie, in denen große Teams üblich sind, hatte die Art und Weise, wie die Anerkennung unter den Autoren aufgeteilt wird, einen großen Einfluss darauf, wer an der Spitze landete. In anderen Fachbereichen war die Reihenfolge der Autoren auf einem Papier der einflussreichste Faktor. Das bedeutet, dass eine einzige Regel nicht fair auf jedes Fachgebiet angewendet werden kann, ohne zu berücksichtigen, wie Wissenschaftler in diesem Bereich tatsächlich arbeiten. Die Forscher fanden heraus, dass das spezifische Teilgebiet, zu dem ein Wissenschaftler gehört, oft ein besserer Prädiktor dafür ist, wie sensibel sein Ranking ist, als sein Herkunftsland.
Als die Forscher die nationalen Unterschiede betrachteten, stellten sie fest, dass das Land selbst – sobald man die Arten der Fachgebiete berücksichtigt, in denen die Wissenschaftler arbeiten, und wie lange sie bereits publizieren – nur sehr wenig zur Variation der Sensitivität des Rankings beitrug. Während einige Länder etwas höhere oder niedrigere durchschnittliche Verschiebungen zeigten, waren diese Unterschiede im Vergleich zu den Unterschieden zwischen einzelnen Wissenschaftlern und zwischen verschiedenen wissenschaftlichen Disziplinen gering. Dies deutet darauf hin, dass nationale Forschungssysteme nicht die primären Treiber dieser Ranking-Änderungen sind; vielmehr sind die Struktur der Wissenschaft selbst und die spezifischen Entscheidungen im Bewertungsprozess weita viel entscheidender.
Die Forscher betonen, dass ihr Werkzeug, AttribRank, kein neuer Weg ist, um Wissenschaftler zu ranken, oder ein Maß dafür, wer wirklich der Beste ist. Es ist vielmehr ein Diagnosetool, vergleichbar mit einem Stresstest für ein Bewertungssystem. Es sagt Ihnen nicht, wer einen Job oder eine Förderung erhalten sollte; es sagt Ihnen, wie sehr sich diese Entscheidung ändern würde, wenn Sie einen leicht anderen Satz von Regeln verwenden würden. Indem das Tool diese Verschiebungen sichtbar und messbar macht, ermöglicht es Universitäten, Förderorganisationen und politischen Entscheidungsträgern zu sehen, welche Annahmen hinter einer einzelnen Zahl verborgen liegen. Es fördert einen transparenteren Ansatz, bei dem die Regeln des Spiels anerkannt und diskutiert werden, anstatt ein Ranking als eine unveränderliche Tatsache zu behandeln. Die Studie kommt zu dem Schluss, dass für eine verantwortungsvolle und faire wissenschaftliche Bewertung die Suche nach einer einzigen, perfekten Zahl eingestellt und stattdessen verstanden werden muss, wie unsere Entscheidungen die Ergebnisse formen, die wir sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.