📈 economics

The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice

Diese Arbeit zeigt auf, dass der Disruption-Index (CD) aufgrund von Zitationsinflation und sich ändernden Zitierpraktiken systematisch über die Zeit abnimmt, anstatt auf tatsächliche Veränderungen in der Innovation zurückzuführen sein, ein Befund, der durch mathematische Deduktion, Simulationen und empirische Analysen von Publikationsdaten gestützt wird.

Ursprüngliche Autoren: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Veröffentlicht 2026-07-20

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu messen, wie „revolutionär“ eine neue Erfindung ist. In der Welt der Wissenschaft und Patente haben Forscher einen speziellen Wert entwickelt, den man den Disruption-Index (CD) nennt. Denken Sie bei diesem Index an ein „Coolness-Messgerät“ für Ideen. Wenn eine neue Arbeit oder ein neues Patent wirklich disruptiv ist, ist es wie ein Superheld, der auftaucht und das Spiel so grundlegend verändert, dass alle aufhören, die alten Schurken (die vorherigen Ideen) anzusehen, und anfangen, nur noch auf den neuen Helden zu schauen. In diesem Szenario zitieren zukünftige Wissenschaftler den neuen Helden und ignorieren die alten Schurken. Der Index versucht, diese Zitate zu zählen, um zu sehen, ob eine Idee neuen Boden erschließt oder lediglich auf dem aufbaut, was zuvor da war.

Warum ist das wichtig? Weil Regierungen, Universitäten und Unternehmen wissen wollen, ob wir immer besser darin werden, neue Dinge zu erfinden. Wenn das „Coolness-Messgerät“ zu sinken beginnt, könnte das bedeuten, dass uns die großen, weltverändernden Ideen ausgehen. Aber was, wenn das Messgerät kaputt ist? Was, wenn es nicht so ist, dass unsere Ideen weniger „cool“ werden, sondern dass die Art und Weise, wie wir sie zählen, einen Fehler hat? Das ist die große Frage, die Wissenschaftler gerade beschäftigen: Ist der Rückgang der „Disruption“ eine echte Krise des menschlichen Fortschritts oder handelt es sich nur um einen Messfehler?

Der Große Zitier-Glitch

In dieser Arbeit agieren die Autoren wie digitale Detektive, die ein verdächtiges Sinken des Disruption-Index untersuchen. Sie argumentieren, dass der Index nicht tatsächlich zeigt, dass die Wissenschaft weniger innovativ wird. Stattdessen zeigen sie, dass der Index unter einem massiven Fall von „Zitationsinflation“ leidet.

Um dies zu verstehen, stellen Sie sich eine Bibliothek vor, in der jedes Buch immer dicker wird. In der Vergangenheit hatte ein Buch vielleicht eine kurze Liste von „Büchern, die ich gelesen habe, um dieses hier zu schreiben“ (Referenzen) am Ende. Aber im Laufe der Zeit begannen Autoren, immer mehr Bücher zu dieser Liste hinzuzufügen. Stellen Sie sich nun vor, ein neues Buch kommt an. Da die Listen in jedem Buch so lang sind, ist es statistisch gesehen fast unmöglich, dass das neue Buch das einzige ist, das die Leute zitieren. Selbst wenn das neue Buch großartig ist, wird unweigerlich jemand anderes eines der alten, langen Listen aus einem anderen Buch erwähnen.

Die Autoren erklären, dass der Disruption-Index wie eine Waage ist, die auf einer Seite immer schwerer wird. Die Formel für den Index hat einen „Nenner“ (die untere Zahl), der riesig wird, wenn die Referenzlisten länger werden. Während diese untere Zahl explodiert, wird der endgültige Wert gegen Null gedrückt, was alles weniger disruptiv erscheinen lässt, selbst wenn die Ideen eigentlich genauso revolutionär sind wie zuvor.

Die zwei Verdächtigen: Verhalten und Struktur

Die Arbeit identifiziert zwei Hauptgründe für das Sinken des Index, und keiner davon hat etwas mit einem Mangel an Genie in der wissenschaftlichen Gemeinschaft zu tun.

Der strukturelle Verdächtige (Zitationsinflation): Dies ist der entscheidende Punkt. Es handelt sich um ein mechanisches Problem. Da die Anzahl der wissenschaftlichen Arbeiten wächst und gleichzeitig die Anzahl der Referenzen pro Arbeit steigt, nimmt das „Rauschen“ im Zitationsnetzwerk zu. Die Autoren nutzen einen mathematischen Beweis und Computersimulationen, um zu zeigen, dass die „Disruption“ nicht sinkt, wenn man die Referenzlisten einfach nicht wachsen ließe. Es ist wie ein Thermometer, das eine niedrigere Temperatur anzeigt, nicht weil der Raum kälter wird, sondern weil jemand ein riesiges Stück Eis dagegenhält.
Der verhaltensbezogene Verdächtige: Hierbei geht es darum, wie Wissenschaftler tatsächlich agieren. Dinge wie „Selbstzitation“ (Autoren, die ihre eigenen früheren Arbeiten zitieren) oder das Zitieren populärer Arbeiten, nur um gut dazustehen, sind häufiger geworden. Dies erzeugt mehr „Dreiecke“ in den Zitaten, in denen alle auf jeden zeigen, was der Index als „Konsolidierung“ statt als „Disruption“ interpretiert.

Das PNAS-Experiment: Ein Realwelt-Test

Um ihren Punkt zu beweisen, haben die Autoren ein kluges „Quasi-Experiment“ mit der Fachzeitschrift PNAS (Proceedings of the National Academy of Sciences) durchgeführt. Diese Zeitschrift hat zwei Formate:

Standardartikel: Gedruckt in der Zeitschrift und online, mit strengen Limits für die Länge.
PNAS Plus-Artikel: Nur online verfügbar, was es Autoren ermöglicht, längere Arbeiten mit wesentlich längeren Referenzlisten zu verfassen.

Die Autoren verglichen diese beiden Gruppen. Sie sind in jeder Hinsicht nahezu identisch – dieselbe Zeitschrift, derselbe Begutachtungsprozess, dieselben Autoren – mit Ausnahme der Länge der Referenzliste. Das Ergebnis? Die PNAS Plus-Artikel mit ihren längeren Listen hatten signifikant niedrigere Disruption-Werte. Dies bestätigte, dass allein die Länge der Referenzliste den Score nach unten zog, was bewies, dass die „Inflation“ der Zitationen der Übeltäter war und nicht ein Mangel an Innovation.

Was ist mit der Teamgröße?

Eine weitere populäre Idee in der jüngeren Forschung war, dass größere Teams weniger disruptive Arbeit leisten. Die Autoren haben die Daten hierzu neu analysiert und dabei 7,8 Millionen Artikel untersucht. Sie fanden heraus, dass die Beziehung zwischen Teamgröße und Disruption fast nicht existent war, sobald sie die Messfehler korrigierten (wie etwa die Berücksichtigung der Länge der Referenzlisten).

Tatsächlich stellten sie fest, dass der „Rückgang“ der Disruption im Zeitverlauf so gering ist, dass er im Grunde nur statistisches Rauschen darstellt. Als sie den Effekt der Teamgröße betrachteten, war der Unterschied so winzig (etwa 0,09 Standardabweichungen), dass er praktisch unsichtbar ist. Die Arbeit legt nahe, dass die Idee, dass „große Teams die Innovation töten“, wahrscheinlich ein Trugbild ist, das durch schlechte Mathematik entsteht, nicht durch die Realität.

Das Urteil

Die Autoren kommen zu dem Schluss, dass der Disruption-Index derzeit nicht geeignet ist, um langfristige Trends zu messen, da er nicht damit umgehen kann, dass Referenzlisten immer länger werden. Sie argumentieren, dass der berühmte „Rückgang der Disruption“, der in früheren Studien berichtet wurde, höchstwahrscheinlich eine Illusion ist, die durch diese Inflation verursacht wurde.

Sie sagen nicht, dass die Innovation gestoppt hat; sie sagen, dass unser Lineal verbogen ist. Sie schlagen vor, dass Zeitschriften möglicherweise eine Obergrenze für die Anzahl der Referenzen festlegen sollten, die ein Autor angeben darf, ähnlich wie manche Zeitschriften die Wortanzahl eines Artikels begrenzen. Bis wir das Lineal reparieren, können wir nicht sicher sein, ob uns wirklich die großen Ideen ausgehen oder ob wir sie einfach nur falsch zählen.

Technisches Resümee: Der Disruption-Index leidet unter Zitationsinflation und konfundierenden Verschiebungen in der wissenschaftlichen Zitierpraxis

Problemstellung
Der Disruption-Index ($CD$) wurde entwickelt, um den Grad zu quantifizieren, mit dem ein intellektueller Beitrag (z. B. eine Publikation oder ein Patent) seine zitierten Referenzen übertrifft, um dadurch „disruptive“ Innovationen zu identifizieren, die Wissensnetzwerke verändern. Jüngste Literaturberichte deuten jedoch auf einen systematischen zeitlichen Rückgang von $CD$ hin, was auf eine Stagnation disruptiver Innovation hindeutet. Diese Arbeit argumentiert, dass der beobachtete Rückgang kein Abbild sinkender wissenschaftlicher Kreativität ist, sondern ein Messartefakt, das durch zwei nicht-innovative Mechanismen getrieben wird: sekuläres Wachstum in der Forschungsleistung und Zitationsinflation (CI).

Das Kernproblem besteht darin, dass die mathematische Formulierung von $CD$ strukturell anfällig für die zunehmende Dichte von Zitationsnetzwerken ist. Da die Anzahl der Publikationen ( $n(t)$ ) und die durchschnittliche Länge der Referenzlisten ( $r(t)$ ) im Zeitverlauf wachsen, expandiert der Nenner der $CD$-Gleichung unverhältnismäßig stark, was den Index dazu zwingt, unabhängig von der tatsächlichen disruptiven Natur der Arbeit gegen Null zu konvergieren. Darüber hinaus wird der Index durch Verhaltensänderungen in der Zitierpraxis, wie etwa die verstärkte Selbstzitation und triadische Schließung (triadic closure), konfundiert, die in der Definition der Metrik nicht berücksichtigt werden.

Methodik
Die Autoren verwenden einen viergliedrigen methodischen Ansatz, um die Effekte der Zitationsinflation und der konfundierenden Variablen zu isolieren und zu validieren:

Mathematische Deduktion: Die Autoren formulieren die $CD$-Gleichung neu, um deren Skalierungsverhalten zu demonstrieren. Sie zeigen, dass $CD_p = \frac{N_i - N_j}{N_i + N_j + N_k}$ , wobei $N_k$ (Zitationen der Referenzen, aber nicht des Fokusartikels) mit dem Gesamtvolumen der Zitationen skaliert. Da die Referenzlisten wachsen ( $r(t) \uparrow$ ), steigt $N_k$ an, was dazu führt, dass das Verhältnis gegen Null konvergiert.
Computergestützte Simulation: Unter Verwendung eines validierten mechanistischen Wachstumsmodells für Zitationsnetzwerke erzeugten die Autoren zwei synthetische Netzwerk-Ensembles. Ein Ensemble beinhaltete empirische Wachstumsraten sowohl für das Publikationsvolumen als auch für die Länge der Referenzlisten (unter Berücksichtigung der CI), während das zweite Ensemble das Wachstum der Referenzlistenlängen ( $r(t)$ ) nach einem bestimmten Zeitraum „löschte“ (quenched), während das Wachstum des Publikationsvolumens beibehalten wurde. Dies ermöglichte einen kontrollierten Vergleich der $CD$-Trends mit und ohne Zitationsinflation.
Quasi-experimentelle Validierung: Die Autoren analysierten den Korpus der Proceedings of the National Academy of Sciences (PNAS) Artikel, die zwischen 2011 und 2015 veröffentlicht wurden. Sie verglichen traditionelle Artikel mit „PNAS Plus“-Artikeln (Online-only, Langform). Diese beiden Gruppen sind in Bezug auf Teamgröße und Zitationsimpact nahezu identisch, unterscheiden sich jedoch signifikant in der Länge ihrer Referenzlisten ( $r_p$ ). Dieser Aufbau isoliert den Effekt der Referenzlänge auf $CD$, während andere Variablen kontrolliert werden.
Multivariate Regression: Es wurde eine groß angelegte Regressionsanalyse von 7,8 Millionen Artikeln aus den Jahren 1995–2015 (aus SciSciNet) durchgeführt. Das Modell enthielt Publikations-Kontrollvariablen wie Teamgröße ( $k_p$ ), Referenzlistenlänge ( $r_p$ ) und Zitationszahlen ( $c_{p,5}$ ) sowie Fixed Effects für Journal und Jahr. Die Autoren adressierten gezielt Probleme der Datenqualität (z. B. fehlende Referenzen in frühen Datensätzen), indem sie Artikel mit null Referenzen oder unzureichenden Referenzzahlen herausfilterten.

Wesentliche Beiträge

Identifizierung der Zitationsinflation (CI): Die Arbeit stellt einen kausalen Zusammenhang zwischen dem säkularen Wachstum der Referenzlistenlängen und dem systematischen Rückgang des Disruption-Index her. Sie zeigt, dass $CD$ ein extensives Maß in seinem Nenner ist, was es inhärent gegenüber längeren Referenzlisten benachteiligt.
Kritik an bisherigen Robustheitsprüfungen: Die Autoren zeigen, dass bisherige Versuche, diese Trends zu korrigieren (z. B. durch Normalisierung nach Fachbereich-Jahr oder Verwendung randomisierter Netzwerke), fehlschlagen, da sie die nicht-lineare Abhängigkeit von $CD$ von der Referenzlistenlänge oder die spezifischen Datenqualitätsprobleme (fehlende Zitationen) in älteren Datensätzen nicht angemessen berücksichtigen.
Neubewertung von Kovariatenbeziehungen: Die Studie stellt die weit zitierte negative Korrelation zwischen Teamgröße und $CD$ in Frage. Durch die Kontrolle von Referenzlistenlänge und zeitlichen Trends zeigen die Autoren, dass die Beziehung zwischen Teamgröße und Disruptivität vernachlässigbar und in einigen Spezifikationen sogar leicht positiv ist.

Ergebnisse

Simulationsbefunde: In dem computergestützten Modell kehrte sich der Rückgang von $CD$ um, als das Wachstum der Referenzlisten gestoppt wurde, während das Publikationsvolumen weiter anstieg. Dies bestätigt, dass das Wachstum von $r(t)$ und nicht allein das Wachstum von $n(t)$ der primäre Treiber des beobachteten $CD$-Rückgangs ist.
Quasi-Experiment: Die Analyse von PNAS- vs. PNAS-Plus-Artikeln ergab, dass die längeren Referenzlisten der PNAS-Plus-Artikel zu signifikant niedrigeren $|CD|$-Werten führten. Der Unterschied in der Referenzlänge ( $\approx 39\%$ mehr Referenzen) erklärte nahezu 100% des Unterschieds in der Disruptivität zwischen den beiden Gruppen.
Regressionsanalyse:
- Temporaler Trend: Nach Kontrolle von Referenzlistenlänge, Teamgröße und Zitationszahlen wurde festgestellt, dass der verbleibende temporale Trend in $CD$ auf dem Niveau des Rauschens lag (Effektstärke $\approx 0,06\sigma$ ). Der zuvor berichtete Rückgang der Disruptivität über die Zeit verschwindet weitgehend.
- Teamgröße: Die negative Beziehung zwischen Teamgröße und $CD$, die in der bisherigen Literatur berichtet wurde, ist ein Artefakt des Omitted Variable Bias (speziell der Korrelation zwischen Teamgröße und Referenzlistenlänge). Bei angemessener Kontrolle ist der Effekt der Teamgröße auf $CD$ vernachlässigbar (Effektstärke $\approx 0,09\sigma$ ) und verschiebt sich für Teams mit 8 oder mehr Autoren von negativ zu positiv.
- Zitationsinflations-Koeffizient: Der Koeffizient für die Referenzlistenlänge ( $r_p$ ) ist negativ und statistisch signifikant, was bestätigt, dass längere Referenzlisten den $CD$-Score systematisch senken.

Bedeutung und Behauptungen
Die Arbeit kommt zu dem Schluss, dass der Disruption-Index in seiner jetzigen Form anfällig für schwere Messfehler aufgrund von Zitationsinflation und nicht berücksichtigten Verschiebungen in der wissenschaftlichen Praxis ist. Folglich ist die wachsende Zahl der Forschungen, die $CD$ verwenden, um abnehmende Innovationstrends zu identifizieren oder spezifische Teamstrukturen mit Disruptivität zu assoziieren, wahrscheinlich auf Scheinkorrelationen basierend.

Die Autoren behaupten, dass der beobachtete „Rückgang der Disruptivität“ ein methodisches Artefakt und keine wissenschaftliche Realität ist. Sie argumentieren, dass die nicht-lineare Abhängigkeit der Metrik von der Referenzlistenlänge sie ohne rigorose Korrektur der Zitationsinflation ungeeignet für Längsschnittvergleiche macht. Die Arbeit legt nahe, dass zukünftige Forschung entweder neue Metriken entwickeln sollte, die neutral gegenüber der Zitationsinflation sind, oder politische Maßnahmen wie Obergrenzen für Referenzlistenlängen implementieren sollte, um diese strukturellen Verzerrungen in der Forschungsbewertung zu mildern. Die Ergebnisse stellen die Validität der Verwendung von $CD$ als Primärindikator zur Überwachung der Effizienz und Wettbewerbsfähigkeit der Wissensökonomie in Frage, sofern diese fundamentalen strukturellen Mängel nicht behoben werden.