The disruption index is biased by citation inflation

Stellen Sie sich vor, Sie versuchen zu messen, wie „cool“ oder „revolutionär“ eine neue Erfindung ist, indem Sie darauf schauen, wie viele Menschen darüber sprechen. In der Welt der Wissenschaft machen Forscher etwas Ähnliches, indem sie ein Werkzeug namens Disruption Index verwenden. Betrachten Sie diesen Index als einen Scorecard für wissenschaftliche Arbeiten und Patente. Er versucht, eine einfache Frage zu beantworten: Hat diese neue Arbeit die alten Regeln gebrochen und einen frischen Pfad eingeschlagen, oder hat sie nur einen kleinen Anbau an ein bestehendes Haus errichtet? Wenn eine Arbeit wirklich disruptiv ist, werden zukünftige Wissenschaftler die neue Arbeit zitieren, aber die alten Arbeiten ignorieren, auf denen sie stand. Wenn sie nur „konsolidierend“ ist, werden sie sowohl die neue Arbeit als auch die alten Arbeiten zitieren.

Lange Zeit haben Wissenschaftler diesen Scorecard verwendet, um die Geschichte der Innovation zu verfolgen. Dabei bemerkten sie etwas Beunruhigendes: Die Scores schienen zu sinken. Es sah so aus, als würde die moderne Wissenschaft immer weniger revolutionär werden und stattdicher so, als würden alle nur auf der Stelle treten, einander kopieren und kleine Anpassungen vornehmen. Dies löste eine große Debatte aus: Verlieren wir unsere Fähigkeit, große Dinge zu erfinden? Oder ist etwas anderes im Gange? Um dies zu verstehen, müssen Sie wissen, dass wissenschaftliche Arbeiten zwei Teile haben: die neuen Ideen, die sie präsentieren, und das „Literaturverzeichnis“ am Ende, das eine Liste aller älteren Arbeiten ist, auf denen sie stehen.

Dieser Text, geschrieben von einem Team von Forschern, argumentiert, dass der „Rückgang der Disruption“ nicht daher rührt, dass Wissenschaftler ihren Funken verlieren. Stattdessen schlagen sie vor, dass der Scorecard selbst kaputt ist, und zwar aufgrund eines Phänomens, das sie „Zitationsinflation“ nennen. Genau wie Geld an Wert verlieren kann, wenn zu viel davon gedruckt wird, verändert sich der Wert einer einzelnen Zitation, wenn die Anzahl der Zitationen explodiert. Die Autoren behaupten, dass die Disruption Index durch die Tatsache, dass Wissenschaftler immer längere Literaturverzeichnisse schreiben und sich gegenseitig auf komplexere, selbstbezügliche Weise zitieren, verzerrt wird. Sie sagen nicht, dass die Wissenschaft schlecht ist; sie sagen, dass das Lineal, mit dem wir sie messen, gedehnt wurde.

Die große Inflation der Referenzen

Stellen Sie sich vor, Sie sind ein Student, der einen Geschichtsaufsatz schreibt. In den 1960er Jahren hatten Sie vielleicht 9 Bücher finden müssen, um Ihr Argument zu stützen. Sie haben sie gelesen, die besten ausgewählt und sie unten aufgelistet. Nun, springen wir in die heutige Zeit. Sie haben das Internet, und Ihr Aufsatz muss vielleicht 23 oder sogar 50 Quellen enthalten. Das liegt nicht nur daran, dass es mehr Bücher gibt; es liegt daran, dass das „Angebot“ an Referenzen inflatorisch gestiegen ist.

Die Autoren dieses Papers weisen darauf hin, dass die Anzahl der Referenzen pro Artikel dramatisch gewachsen ist. In den 1960er Jahren hatte eine durchschnittliche Arbeit etwa 9 Referenzen. Bis in die 2000er Jahre war diese Zahl auf 23 gesprungen. Das ist ein 2,6-facher Anstieg über 50 Jahre. Aber hier ist der entscheidende Punkt: Der Disruption Index ist eine mathematische Formel, die nach dem Verhältnis von „neuen“ zu „alten“ Zitationen sucht. Wenn das Literaturverzeichnis (das „alte“ Zeug) riesig wird, wird die Mathematik unordentlich.

Betrachten Sie den Disruption Index wie ein Spielchen „Hot Potato“ (heiße Kartoffel). Wenn Sie die neue Arbeit sind und den „Disruption“-Preis gewinnen wollen, müssen zukünftige Spieler die Kartoffel zu Ihnen werfen und nicht zu den alten Arbeiten, die Sie zitiert haben. Aber wenn Ihr Literaturverzeichnis ein riesiger Sack mit 50 alten Arbeiten ist, steigt die Wahrscheinlichkeit, dass mindestens eine dieser alten Arbeiten ein „Superstar“ ist, den jeder ohnehin zitiert. Selbst wenn Ihre neue Arbeit brillant ist, bedeutet die schiere Anzahl der alten Arbeiten, die Sie zitiert haben, dass zukünftige Wissenschaftler fast garantiert mindestens eine von ihnen zitieren werden. Dies lässt Ihre neue Arbeit weniger „disruptiv“ erscheinen, einfach weil der Nenner der mathematischen Gleichung zu groß geworden ist.

Das „Selbstumarmungs“-Problem

Es gibt einen zweiten Teil dieser Inflationsgeschichte, und der betrifft die Art und Weise, wie Wissenschaftler einander zitieren. Die Autoren nennen dies triadische Schließung (triadic closure), was eine schicke Art zu sagen ist: „das Dreieck schließen“. Stellen Sie sich drei Freunde vor: Alice, Bob und Charlie. Wenn Alice Bob zitiert und Bob Charlie zitiert, ist die Wahrscheinlichkeit hoch, dass Alice auch Charlie zitiert. Dies erzeugt ein eng vernetztes Dreieck aus Zitationen.

In der Vergangenheit passierten diese Dreiecke natürlich. Aber heute argumentieren die Autoren, dass diese Dreiecke häufiger entstehen, und zwar durch Selbstzitationen und strategisches Zitieren. Wissenschaftler zitieren möglicherweise ihre eigene frühere Arbeit oder die Arbeit ihrer engen Kollegen, um ihre eigenen Zahlen zu steigen oder ihrem Journal zu helfen. Dies erzeugt ein Netz von Zitationen, das eng miteinander verbunden ist. Der Disruption Index zählt diese engen Dreiecke als „Konsolidierung“ (nicht Disruption). Daher, wenn Wissenschaftler besser darin werden, diese Zitationsnetze aufzubauen, denkt der Index, dass sie weniger disruptiv sind, selbst wenn sie eigentlich großartige Arbeit leisten. Es ist, als würde ein Richter einen Turner niedriger bewerten, nur weil er ein sehr glänzendes, kompliziertes Kostüm trägt, das ihn weniger agil aussehen lässt, obwohl seine Salti perfekt sind.

Die Simulation: Die Inflation ausschalten

Um ihren Punkt zu beweisen, haben die Forscher nicht nur echte Daten betrachtet; sie haben eine Computersimulation erstellt. Sie erschufen eine fiktive Welt wissenschaftlicher Arbeiten, die über die Zeit wuchs, genau wie die reale Welt. Sie programmierten diese fiktive Welt mit zwei verschiedenen Einstellungen:

1. Die „Keine Inflation“-Welt: Hier blieb die Anzahl der Referenzen pro Arbeit gleich, und die Wissenschaftler änderten nicht die Art und Weise, wie sie einander zitierten.
2. Die „Inflation“-Welt: Hier programmierten sie die Arbeiten so, dass sie längere Literaturverzeichnisse und mehr „triadische Schließung“ (mehr Selbstzitationen und Gruppenzitationen) hatten, genau wie in der realen Welt.

Als sie die Simulation mit den „Keine Inflation“-Einstellungen durchführten, blieb der Disruption Index stabil. Er sank nicht. Aber als sie die „Inflation“-Einstellungen aktivierten – indem sie die Literaturverzeichnisse länger machten und die Zitationsmuster dichter gestalteten –, begann der Disruption Index zu stürzen, genau wie er es in der Realität tut.

Dies deutet darauf hin, dass der Rückgang der Disruption nicht daher kommt, dass Wissenschaftler weniger kreativ werden. Es ist, weil die Metrik empfindlich auf die Länge des Literaturverzeichnisses reagiert. Die Autoren fanden heraus, dass mit steigender Anzahl der Referenzen ($r$) auch die Rate der „extraneous citations“ ($R_k$) steigt, was den Disruption Index ($CD$) näher an Null drängt. In ihren Simulationen, als sie die Länge der Literaturverzeichnisse nach einem gewissen Punkt auf eine feste Zahl begrenzten (wie z. B. 25 Referenzen), hörte der Disruption Index auf zu sinken und begann tatsächlich wieder zu steigen. Dies bestätigt, dass der „Rückgang“ ein Artefakt der wachsenden Literaturverzeichnisse war und nicht ein Rückgang der Innovation.

Was dies für die Zukunft bedeutet

Die Autoren betonen vorsichtig, dass sie das Problem der Messung von Innovation nicht „gelöst“ haben, aber sie haben einen großen Fehler im aktuellen Lineal identifiziert. Sie argumenten, dass der Disruption Index, wie er derzeit verwendet wird, voreingenommen und ungeeignet für den Vergleich verschiedener Zeiträume ist. Man kann eine Arbeit aus dem Jahr 1960 nicht mit einer Arbeit aus dem Jahr 2020 mit diesem Index vergleichen, da sich die „Währung“ der Zitationen geändert hat.

Sie weisen auch darauf hin, dass diese Inflation andere Messungen beeinflusst. Zum Beispiel behaupteten einige Studien, dass größere Forschungsteams weniger disruptive Arbeit leisten. Aber die Autoren fanden heraus, dass sich die Beziehung änderte, wenn sie berücksichtigten, dass größere Teams auch dazu neigen, längere Literaturverzeichnisse zu haben. Es stellt sich heraus, dass größere Teams tatsächlich disruptiver sein könnten, aber die Zitationsinflation diese Tatsache verborgen hat.

Was ist also die Lehre daraus? Die wissenschaftliche Welt verliert nicht unbedingt ihre Schärfe. Stattdessen muss die Art und Weise, wie wir diese Schärfe messen, ein Upgrade erhalten. Die Autoren schlagen vor, dass Fachzeitschriften möglicherweise eine „Obergrenze“ für die Anzahl der Referenzen einer Arbeit festlegen oder neue Wege entwickeln sollten, um Disruption zu messen, die nicht durch das schiere Volumen der Zitationen verwirrt werden. Bis dahin sollten wir sehr vorsichtig damit sein, den Disruption Index zu verwenden, um zu behaupten, dass die Wissenschaft weniger revolutionär wird. Es könnte schlichtweg sein, dass das Scoreboard kaputt ist, nicht die Spieler.