Regulatory effect of document samples on the fluctuation of journal impact factor
Diese Studie zeigt, dass die Neuberechnung der Impact-Faktoren von Zeitschriften durch den Ausschluss extremer Zitations-Ausreißer aus der Dokumentenstichprobe, mit einem optimalen Beibehaltungs-Schwellenwert von 90 %, die Fluktuationen der Indikatoren effektiv reduziert und die Stabilität sowie Rationalität von Zeitschriftenbewertungssystemen verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Qualität eines Restaurants anhand seiner durchschnittlichen Kundenbewertung zu beurteilen. Normalerweise würden Sie jede einzelne Bewertung nehmen, sie zusammenzählen und durch die Anzahl der Bewertungen teilen. Das ergibt den „Impact Factor“ (oder in diesem Fall den Journal Impact Factor) für eine wissenschaftliche Zeitschrift.
Es gibt jedoch ein Problem mit dieser einfachen Mathematik. Wenn eine Person eine Bewertung schreibt, in der steht: „Das ist das beste Essen in der Geschichte des Universums!“ und dafür 100 Sterne vergibt, während eine andere sagt: „Das Essen war okay,“ und 3 Sterne vergibt, kann diese eine 100-Sterne-Bewertung den gesamten Durchschnitt verzerren. Plötzlich sieht ein Restaurant, das normalerweise ordentliches Essen serviert, wie ein Fünf-Sterne-Meisterwerk aus, selbst wenn es am nächsten Tag wieder durchschnittliche Mahlzeiten serviert.
Genau das passiert bei wissenschaftlichen Fachzeitschriften. Eine einzige, unglaublich populäre Arbeit (ein „viraler Hit“) kann den Wert einer Zeitschrift in einem Jahr massiv ansteigen lassen und im nächsten Jahr wieder abstürzen lassen, was es schwierig macht, zu erkennen, ob die Zeitschrift wirklich gut ist oder nur Glück hatte.
Das Problem: Der „Ausreißer“-Effekt
Die Autoren dieser Arbeit untersuchten neun berühmte wissenschaftliche Zeitschriften (darunter Giganten wie Nature, Science und Cell sowie mehrere Physik-Journale). Sie stellten fest, dass diese Zeitschriften oft extreme Schwankungen in ihren Werten aufweisen.
Manchmal veröffentlicht eine Zeitschrift eine Arbeit, die von anderen Wissenschaftlern tausende Male zitiert wird. Das ist großartig, aber weil das aktuelle Bewertungssystem jede Arbeit gleich zählt, zieht diese eine Superhelden-Arbeit den Durchschnitt so stark nach oben, dass er nicht mehr die Qualität der anderen 99 Arbeiten repräsentiert, die die Zeitschrift in diesem Jahr veröffentlicht hat. Es ist wie in einem Klassenzimmer, in dem ein einzelner Geniestudent eine perfekte Punktzahl erreicht und plötzlich die ganze Klasse wie ein Genie aussieht, obwohl der Rest der Schüler Schwierigkeiten hat.
Die Lösung: Die „Trimming“-Strategie
Um dies zu beheben, schlugen die Forscher eine neue Art vor, den Wert zu berechnen. Sie nannten es eine „Dual-End Trimming“-Strategie (Zweiseitiges Beschneiden).
Stellen Sie sich das so vor: Stellen Sie sich eine lange Reihe von Schülern vor, die nach ihren Testergebnissen sortiert sind.
- Der alte Weg: Sie nehmen den Durchschnitt der Punktzahl aller Schüler.
- Der neue Weg: Sie schauen sich die Reihe an und bitten die obersten 1 % der Schüler (die Superstars) und die untersten 1 % der Schüler (diejenigen, die vielleicht einen schlechten Tag hatten), sich beiseite zu stellen. Dann berechnen Sie den Durchschnitt der verbleibenden 98 % der Schüler.
Durch das Entfernen der „Extreme“ an beiden Enden der Reihe erhalten Sie einen Wert, der das repräsentiert, was der typische Schüler (oder die typische Arbeit) tatsächlich leistet, anstatt von Ausreißern beeinflusst zu werden.
Was sie herausfanden
Die Forscher testeten diese Idee an ihren neun Zeitschriften über einen Zeitraum von 16 Jahren. Dies geschah:
- Stabilität: Als sie die obersten und untersten Arbeiten entfernten, verschwanden die wilden Schwankungen der Werte. Die Werte wurden viel glatter und vorhersehbarer.
- Der „Sweet Spot“: Sie probierten aus, wie viele Arbeiten sie entfernten (1 %, 2 %, 5 %, etc.). Sie fanden heraus, dass das Entfernen von nur einem winzigen Teil (jeweils die obersten und untersten 1 %, sodass 98 % übrig bleiben) schon viel half, aber das Entfernen von etwas mehr noch mehr half.
- Die magische Zahl: Sie ermittelten, dass das Behalten von 90 % der Arbeiten (das Entfernen der obersten 5 % und der untersten 5 %) die perfekte Balance war.
- Wenn man 100 % behält, sind die Werte zu unbeständig.
- Wenn man nur 50 % behält, wirft man zu viele Informationen weg, und der Wert repräsentiert die Zeitschrift möglicherweise nicht mehr gut.
- 90 % ist die „Goldlöckchen-Zone“: Sie entfernt die extremen Ausreißer, die die Spitzen verursachen, behält aber genug Daten, um die wahre, stetige Qualität der Zeitschrift zu zeigen.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass wir durch diese „Trimming“-Methode verhindern können, dass die Werte wissenschaftlicher Zeitschriften von einem einzigen glücklichen Treffer gekapert werden. Es macht das Bewertungssystem fairer und ehrlicher. Anstatt einer Achterbahnfahrt der Werte erhalten wir ein stabiles, zuverlässiges Maß dafür, wie gut eine Zeitschrift wirklich ist, Arbeit für Arbeit.
Kurz gesagt: Lassen Sie sich nicht von einer einzelnen Superhelden-Arbeit täuschen. Schauen Sie auf die mittleren 90 %, um die wahre Geschichte zu sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.