Inflationary bibliometric values revisited: Indicator validity under falling production costs

In der Welt der akademischen Forschung gibt es eine langjährige Gewohnheit, Dinge zu zählen, um Qualität zu messen. Jahrzehntelang haben Wissenschaftler und Universitätsadministratoren darauf geschaut, wie viele Arbeiten ein Forscher schreibt, wie oft diese Arbeiten von anderen zitiert werden und wie viele Autoren an einem einzelnen Projekt mitgewirkt haben. Diese Zahlen fungieren als Scorecard, die dabei hilft zu entscheiden, wer einen Job, ein Stipendium oder eine Beförderung erhält. Dieses System sah sich jedoch bereits in der Vergangenheit einer großen Herausforderung gegenüber. Vor zwanzig Jahren stellten Forscher fest, dass das schiere Volumen an Papieren und Zitaten viel schneller wuchs als die Anzahl der Wissenschaftler, die tatsächlich die Arbeit verrichteten. Diese „Inflation“ bedeutete, dass das bloße Zählen von Papieren nicht länger ein faires Maß für die Qualität war, da die Zahlen durch mehr Menschen, die zusammenarbeiteten, statt durch bessere Wissenschaft gesteigert wurden. Die Lösung zu jener Zeit bestand darin, auf das Zählen von Rohzahlen zu verzichten und stattdessen Forscher mit ihren Fachkollegen zu vergleichen, indem man fragte, wie sich ein Wissenschaftler im Verhältnis zum Durchschnitt in seinem spezifischen Fachgebiet geschlagen hatte.

Heute verändert eine neue Kraft die Landschaft des wissenschaftlichen Schreibens. Der Aufstieg leistungsstarker Werkzeuge der künstlichen Intelligenz hat es signifikant billiger und schneller gemacht, wissenschaftliche Texte zu entwerfen und zu überarbeiten. Dieser Wandel wirft eine kritische Frage auf: Wenn es einfacher wird, eine Arbeit zu produzieren, verändert das die grundlegende Natur der Arbeiten selbst, oder bedeutet es nur, dass es mehr von ihnen gibt? Wenn die Kosten für die Produktion eines Papers sinken, verändert sich dann die Verteilung der Qualität oder expandiert sie lediglich? Dies ist das Kernrätsel, das Ahmed Hamid Mahmoud in einer aktuellen Studie untersucht. Er untersucht, ob die alten Methoden zur Bewertung von Forschern noch gültig sind, wenn die Kosten für die Erstellung eines wissenschaftlichen Papers nicht mehr konstant sind.

Mahmouds Arbeit beginnt damit, die Effekte dieser neuen, billigeren Produktionsumgebung in zwei unterschiedliche Möglichkeiten zu trennen. Die erste Möglichkeit ist das, was er eine „Skalierungsänderung“ nennt. Stellen Sie sich eine Fabrik vor, die plötzlich eine neue Maschine erhält, die es ihr ermöglicht, doppelt so viele Widgets zu produzieren. Wenn die Qualität jedes einzelnen Widgets exakt gleich bleibt, aber einfach mehr von ihnen vorhanden sind, bleibt die allgemeine Form der Qualitätsverteilung gleich. In der Welt der Wissenschaft würde dies bedeuten, dass die künstliche Intelligenz es Forschern ermöglicht, mehr Arbeiten zu veröffentlichen, aber das Verhältnis von exzellenten zu durchschnittlichen Arbeiten unverändert bleibt. Die zweite Möglichkeit ist eine „Formänderung“. Dies würde eintreten, wenn die neuen Werkzeuge die Natur der Arbeit selbst verändern würden, etwa indem sie es einfacher machen, qualitativ minderwertige Arbeiten zu produzieren, oder indem sie die Mischung aus qualitativ hochwertigen und minderwertigen Arbeiten auf eine Weise verzerren, die die Verteilung beeinflusst. Wenn sich die Form ändert, könnten die alten Regeln zur Beurteilung der Qualität nicht mehr gelten.

Die Studie nutzt ein mathematisches Modell darüber, wie wissenschaftliche Zitationen verteilt sind, um diese Szenarien zu testen. Die Forscher fanden heraus, dass, wenn die Änderung rein ein „Skalierungseffekt“ ist – das heißt, es werden mehr Arbeiten produziert, aber das zugrunde liegende Qualitätsschema bleibt gleich –, dann sind die heute verwendeten relativen Indikatoren weiterhin sicher. Den Forscher mit seinen Fachkollegen zu vergleichen oder das Verhältnis seiner Zitationen zum Durchschnitt des Fachgebiets zu betrachten, liefert weiterhin ein gültiges Maß für die Leistung. Diese Methoden sind robust gegenüber einer einfachen Zunahme des Volumens. Die Situation ändert sich jedoch drastisch, wenn verschiedene Forscher einen ungleichen Zugang zu diesen billigen Produktionstools haben. Wenn einige Wissenschaftler künstliche Intelligenz nutzen können, um viel mehr Arbeiten zu veröffentlichen, während andere dies nicht können, wird das bloße Zählen der Gesamtzahl der Arbeiten oder der Gesamtzahl der Zitationen irreführend. In diesem Szenario spiegeln die Zählungen nicht mehr die Qualität der Arbeit wider; sie spiegeln lediglich wider, wer Zugang zu den billigeren Werkzeugen hatte. Das Ranking würde zeigen, wer den Vorteil hatte, nicht wer die bessere Wissenschaft betrieb.

Das Paper untersucht auch, was passiert, wenn sich die „Form“ der Qualitätsverteilung tatsächlich ändert. Wenn sich die Mischung aus qualitativ hochwertiger und minderwertiger Arbeit verschiebt, werden die Standard-Benchmarks, die zur Beurteilung von Forschern verwendet werden, unbrauchbar. Beispielsweise könnte ein Schwellenwert, der einst „gute“ Arbeiten von „durchschnittlichen“ unterschied, plötzlich eine große Anzahl von Arbeiten falsch klassifizieren, wenn die zugrunde liegende Verteilung verzerrt wurde. Die Studie zeigt, dass, falls diese Formdeformation auftritt, die alten, festen Standards scheitern werden, die wahre Qualität von Forschern zu identifizieren. Das Paper bietet jedoch eine Lösung an. Es schlägt vor, dass das Fachgebiet diese Änderungen erkennen kann, indem es die spezifischen Muster betrachtet, wie Arbeiten innerhalb einer Gruppe verteilt sind. Indem man das aktuelle „Shape“ (die Form) der Verteilung zusammen mit den Standard-Rankings schätzt, können Evaluatoren ihre Urteile anpassen. Die Empfehlung lautet, die Position eines Forschers innerhalb seiner aktuellen Gruppe zu melden und gleichzeitig explizit den Zustand des Umfelds anzugeben, in dem er beurteilt wird. Diese duale Berichterstattung stellt sicher, dass ein Forscher nicht durch eine Verschiebung im System selbst benachteiligt oder ungerechtfertigt begünstigt wird.

Der Autor weist sorgfältig darauf hin, dass die Beweise für einen massiven Anstieg des Volumens an Papieren und die Nutzung künstlicher Intelligenz zwar stark sind, aber noch nicht bewiesen wurde, dass sich die grundlegende Form der Qualitätsverteilung geändert hat. Die Studie behauptet nicht, dass die alten Methoden nutzlos sind, noch sagt sie, dass die künstliche Intelligenz die Wissenschaft ruiniert hat. Stattdessen bietet sie einen klaren Rahmen, um zu verstehen, was gerade geschieht. Sie bestätigt, dass die zur Korrektur der Inflation der Vergangenheit entwickelten relativen Vergleiche weiterhin gültig sind, solz sich die Produktionsumgebung einheitlich verändert. Sie warnt davor, dass die Rohzahlen lügen, wenn der Zugang zu diesen neuen Werkzeugen ungleich verteilt ist. Und sie bietet eine Methode, um zu erkennen, ob sich die Natur der Arbeit selbst ändert, was es der wissenschaftlichen Gemeinschaft ermöglicht, ihre Bewertungsregeln anzupassen, bevor sie obsolet werden. Die letztendliche Schlussfolgerung ist, dass die Werkzeuge zur Messung der Wissenschaft noch intakt sind, aber mit einem klaren Verständnis für das Umfeld verwendet werden müssen, in dem sie angewendet werden. Die Frage für die Zukunft ist nicht, ob man diese Werkzeuge aufgeben sollte, sondern ob man das System eng genug überwacht, um zu wissen, ob sich der Boden unter ihnen verschiebt.