💰 quantitative finance

The disruption index is biased by citation inflation

Dit artikel betoogt dat de gerapporteerde afname in wetenschappelijke disruptiviteit een artefact is van "citatie-inflatie" — gedreven door toenemende lengtes van referentielijsten en zelfcitaties — in plaats van een werkelijke afname in innovatie, waardoor de disruptie-index temporeel bevooroordeeld en ongeschikt is voor cross-temporele analyse.

Oorspronkelijke auteurs: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Gepubliceerd 2026-07-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te meten hoe "cool" of "revolutionair" een nieuwe uitvinding is door te kijken naar hoeveel mensen erover praten. In de wereld van de wetenschap doen onderzoekers iets soortgelijks met een instrument dat de Disruptie-index wordt genoemd. Zie deze index als een scorekaart voor wetenschappelijke artikelen en patenten. Het probeert een simpele vraag te beantwoorden: Heeft dit nieuwe werk de oude regels doorbroken en een nieuw pad geopend, of heeft het slechts een kleine aanbouw gemaakt aan een bestaand huis? Als een artikel echt disruptief is, zullen toekomstige wetenschappers het nieuwe artikel citeren maar de oude werken waarop het stoelde negeren. Als het slechts "consoliderend" is, zullen ze zowel het nieuwe artikel als de oude werken citeren.

Al een lange tijd gebruiken wetenschappers deze scorekaart om de geschiedenis van innovatie te volgen. Ze merkten iets verontrustends op: de scores leken te dalen. Het leek erop dat de moderne wetenschap steeds minder revolutionair werd en meer erop gericht was dat iedereen gewoon water stond, elkaar kopieerde en kleine aanpassingen maakte. Dit veroorzaakte een groot debat: Zijn we ons vermogen om grote dingen uit te vinden aan het verliezen? Of is er iets anders aan de hand? Om dit te begrijpen, moet je weten dat wetenschappelijke artikelen twee onderdelen hebben: de nieuwe ideeën die ze presenteren en de "referentielijst" aan de achterkant, wat een lijst is van alle oudere artikelen waarop ze staan.

Dit artikel, geschreven door een team van onderzoekers, betoogt dat de "afname in disruptie" niet komt doordat wetenschappers hun vonk verliezen. In plaats daarvan suggereren zij dat de scorekaart zelf kapot is vanwege een fenomeen dat zij "citatie-inflatie" noemen. Net zoals geld zijn waarde kan verliezen wanneer er te veel ervan wordt bijgedrukt, verandert de waarde van een enkele citatie wanneer het aantal citaties explodeert. De auteurs beweren dat omdat wetenschappers steeds langere referentielijsten schrijven en elkaar op complexere, zelfverwijzende manieren citeren, de wiskunde achter de Disruptie-index vertekend raakt. Ze zeggen niet dat de wetenschap slecht is; ze zeggen dat de liniaal die we gebruiken om het te meten, is uitgerekt.

De Grote Inflatie van Referenties

Stel je voor dat je een student bent die een geschiedenisessay schrijft. In de jaren 1960 had je misschien 9 boeken nodig om je argument te ondersteunen. Je las ze, koos de beste uit en vermeldde ze onderaan. Nu, een snelle vooruitgang naar vandaag. Je hebt het internet en je essay heeft misschien 23, of zelfs 50 bronnen nodig. Dit komt niet alleen omdat er meer boeken zijn; het komt omdat de "aanbod" van referenties is geïnflateerd.

De auteurs van dit artikel wijzen erop dat het aantal referenties per artikel drastisch is gegroeid. In de jaren 1960 had een gemiddeld artikel ongeveer 9 referenties. Tegen de jaren 2000 was dat aantal gestegen naar 23. Dat is een 2,6-voudige toename in 5 jaren. Maar hier komt de crux: de Disruptie-index is een wiskundige formule die kijkt naar de ratio van "nieuwe" citaties ten opzichte van "oude" citaties. Wanneer de referentielijst (het "oude" spul) enorm groot wordt, wordt de wiskunde rommelig.

Denk aan de Disruptie-index als een spelletje "Hot Potato". Als jij het nieuwe artikel bent en je wilt de "Disruptie"-prijs winnen, moet je willen dat toekomstige spelers de aardappel naar jou gooien en niet naar de oude artikelen die jij hebt geciteerd. Maar als jouw referentielijst een enorme zak van 50 oude artikelen is, neemt de kans toe dat ten minste één van die oude artikelen een "superster" is die toch al door iedereen wordt geciteerd. Zelfs als jouw nieuwe artikel briljant is, betekent het enorme aantal oude artikelen dat je hebt geciteerd dat toekomstige wetenschappers bijna gegarandeerd ten minste één van hen zullen citeren. Dit zorgt ervoor dat jouw nieuwe artikel minder "disruptief" lijkt, simpelweg omdat de noemer van de wiskundige vergelijking te groot is geworden.

Het "Zelf-omhelzing" Probleem

Er is een tweede deel aan dit inflatieverhaal, en dat heeft te maken met hoe wetenschappers elkaar citeren. De auteurs noemen dit triadische afsluiting, wat een chique manier is om te zeggen "het sluiten van de driehoek". Stel je drie vrienden voor: Alice, Bob en Charlie. Als Alice Bob citeert, en Bob citeert Charlie, is er een grote kans dat Alice ook Charlie zal citeren. Dit creëert een hechte driehoek van citaties.

In het verleden gebeurden deze driehoeken natuurlijk. Maar tegenwoordig beweren de auteurs dat deze driehoeken vaker ontstaan door zelfcitaties en strategisch citeren. Wetenschappers citeren misschien hun eigen eerdere werk, of het werk van hun directe collega's, om hun eigen aantallen te verhogen of hun tijdschrift te helpen. Dit creëert een web van citaties dat nauw met elkaar verbonden is. De Disruptie-index telt deze nauwe driehoeken als "consolidatie" (geen disruptie). Dus naarmits wetenschappers beter worden in het bouwen van deze citatie-weben, denkt de index dat ze minder disruptief zijn, zelfs als ze eigenlijk geweldig werk verrichten. Het is alsocht een rechter die een turner een lagere score geeft, simpelweg omdat de turner een zeer glimmend, ingewikkeld kostuum draagt waardoor hij er minder wendbaar uitziet, zelfs als de sprongen perfect zijn.

De Simulatie: De Inflatie Uitschakelen

Om hun punt te bewijzen, keken de onderzoekers niet alleen naar echte gegevens; ze bouwden een computersimulatie. Ze creëerden een fictieve wereld van wetenschappelijke artikelen die in de loop van de tijd groeiden, net als de echte wereld. Ze programmeerden deze fictieve wereld met twee verschillende instellingen:

De "Geen Inflatie" Wereld: Hier bleef het aantal referenties per artikel gelijk en veranderden wetenschappers niet in de manier waarop ze elkaar citeerden.
De "Inflatie" Wereld: Hier programmeerden ze de artikelen om langere referentielijsten en meer "triadische afsluiting" (meer zelf-citeren en groep-citeren) te hebben, net als in de echte wereld.

Wanneer ze de simulatie draalden met de "Geen Inflatie" instellingen, bleef de Disruptie-index stabiel. Hij daalde niet. Maar wanneer ze de "Inflatie" instellingen aanzetten — de referentielijsten langer maakten en de citatiepatronen meer geclusterd maakten — begon de Disruptie-index te kelderen, precies zoals in het echte leven.

Dit suggereert dat de daling in disruptiescores niet komt doordat wetenschappers minder creatief worden. Het komt doordat de metriek gevoelig is voor de lengte van de referentielijst. De auteurs ontdekten dat naarmate het aantal referenties ( $r$ ) stijgt, de snelheid van "extrane citaties" ( $R_k$ ) stijgt, wat de Disruptie-index ($CD$) dichter naar nul dwingt. In hun simulaties, toen ze de lengte van de referentielijst na een bepaald punt beperkten tot een vast aantal (zoals 25 referenties), stopte de Disruptie-index met dalen en begon deze zelfs weer te stijgen. Dit bevestigt dat de "afname" een artefact was van de groeiende referentielijsten, en niet een afname in innovatie.

Wat dit betekent voor de toekomst

De auteurs zijn voorzichtig in hun bewering dat ze het probleem van het meten van innovatie niet volledig hebben "opgelost", maar zij hebben wel een grote fout in de huidige liniaal geïdentificeerd. Zij betogen dat de Disruptie-index, zoals die nu wordt gebruikt, bevooroordeeld is en ongeschikt om verschillende tijdperken te vergelijken. Je kunt een artikel uit 1960 niet vergelijken met een artikel uit 2020 met behulp van deze index, omdat de "valuta" van citaties veranderd is.

Ze wijzen ook erop dat deze inflatie andere metingen beïnvloedt. Bijvoorbeeld, sommige studies beweerden dat grotere onderzoeksteams minder disruptief werk produceren. Maar de auteurs ontdekten dat wanneer zij rekening hielden met het feit dat grotere teams ook de neiging hebben tot langere referentielijsten, de relatie veranderde. Het blijkt dat grotere teams feitelijk meer disruptief kunnen zijn, maar de citatie-inflatie verborg dit feit.

Dus, wat is de kern van het verhaal? De wetenschappelijke wereld is niet noodzakelijkerwijs haar scherpte aan het verliezen. In plaats daarvan moet de manier waarop we die scherpte meten een upgrade krijgen. De auteurs suggereren dat tijdschriften misschien een "plafond" moeten instellen voor het aantal referenties in een artikel, of nieuwe manieren moeten ontwikkelen om disruptie te meten die niet in de war raken door de enorme hoeveelheid citaties. Tot die tijd moeten we zeer voorzichtig zijn met het gebruik van de Disruptie-index om te beweren dat de wetenschap minder revolutionair wordt. Het kan heel goed zijn dat de scorekaart kapot is, en niet de spelers.

Technische Samenvatting: De Disruptie-index is Bevooroordeeld door Citatie-inflatie

Probleemstelling
Recente analyses van wetenschappelijke publicatie- en octrooisitatie-netwerken (bijv. Park et al., Nature, 2023) hebben gesuggereerd dat intellectuele bijdragen in de loop van de tijd minder "disruptief" worden. De disruptie-index ($CD$) is een bibliometrische maatstaf die is ontworpen om de mate te kwantificeren waarin een publicatie de bronnen die zij citeert, vervangt. Dit artikel betoogt echter dat de gerapporteerde tijdelijke afname in disruptiviteit geen reflectie is van een veranderend innovatiesysteem, maar een artefact is van systematische verschuivingen in de structuur van citatienetwerken die niet gerelateerd zijn aan wetenschappelijke vooruitgang. Specifiek identificeren de auteurs "citatie-inflatie" (CI) — een systematische, tijdsafhankelijke toename van het aantal verbindingen binnen citatienetwerken — als de primaire drijfveer die de $CD$-index ongeschikt maakt voor cross-temporele analyse.

Methodologie
Om aan te tonen dat de daling in $CD$ een meetartefact is en geen echt fenomeen, maken de auteurs gebruik van drie complementaire kritische lijnen:

Deductieve Analyse: De auteurs heronderzoeken de wiskundige definitie van de disruptie-index. $CD_p$ wordt gedefinieerd als de ratio $(N_i - N_j) / (N_i + N_j + N_k)$ , waarbij:
- $N_i$ : Citaties aan het centrale artikel $p$ die niet de referenties van $p$ citeren.
- $N_j$ : Citaties aan zowel $p$ als diens referenties (triadische sluiting/consolidatie).
- $N_k$ : Citaties aan de referenties van $p$ die $p$ niet citeren (extrinsieke citaties).
  De auteurs betogen dat naarmate de lengte van referentielijsten ( $r_p$ ) in de loop van de tijd toeneemt, de waarschijnlijkheid dat er zeer veel geciteerde artikelen binnen die lijsten worden geciteerd, toeneemt. Dit veroorzaakt dat $N_k$ (de noemerterm) onbegrensd groeit, terwijl de teller ( $N_i - N_j$ ) begrensd blijft. Bijgevolg is $CD_p$ wiskundig gepredisponeerd om naar nul te convergeren naarmate de referentielijsten uitbreiden.
Empirische Analyse: Gebruikmakend van de Microsoft Academic Graph (MAG) dataset (ongeveer 29,5 miljoen artikelen van 1945–2012), analyseren de auteurs de correlatie tussen de disruptie-index en de drijfveren van citatie-inflatie. Zij hanteren lineaire regressiemodellen met jaarlijkse vaste effecten om seculiere groei te controleren, waarbij ze de relatie analyseren tussen $CD$, het aantal referenties ( $r_p$ ) en de teamgrootte ( $k_p$ ).
Computationele Modellering: De auteurs maken gebruik van een generatief netwerkmodel (groei- en redirectiemodel) om synthetische citatienetwerken te construeren. Deze aanpak stelt hen in staat om specifieke variabelen te isoleren. Ze simuleren netwerken onder zes scenario's waarbij varieert op:
- De aanwezigheid of afwezigheid van citatie-inflatie (groei in de lengte van de referentielijst, $g_r$ ).
- De snelheid van triadische sluiting (redirectie-mechanisme, $\beta$ ).
- Citatievenster-groottes ($CW$).
  Door deze parameters te controleren, testen zij of de daling in $CD$ voortduurt in de afwezigheid van citatie-inflatie.

Belangrijkste Resultaten

Wiskundige Bias: De analyse bevestigt dat $CD$ bevooroordeeld is omdat de term $R_k = N_k / (N_i + N_j)$ een extensieve grootheid is die meegroeit met de omvang van de referentielijsten. Naarmate de referentielijsten langer worden, neemt $N_k$ onevenredig toe, wat $CD$ naar nul drijft, ongeacht de werkelijke disruptieve aard van de publicatie.
Empirische Correlatie: In de MAG-dataset is het gemiddelde aantal referenties per artikel ( $r(t)$ ) gestegen van ~9 in de jaren '60 naar ~23 in de jaren 2000 (een 2,6-voudige toename). Deze groei correleert sterk met de daling van $CD$. Regressieanalyse laat een significante negatieve relatie zien tussen $CD$ en de logaritme van het aantal referenties, terwijl de relatie met teamgrootte ( $k_p$ ) positief is wanneer er wordt gecontroleerd voor de referentielengte, wat eerdere bevindingen die een negatieve correlatie suggereerden, tegenspreekt.
Simulatiebewijs:
- In synthetische netwerken waar de lengte van de referentielijsten constant is ( $g_r = 0$ ), vertoont $CD$ geen systematische neerwaartse trend, zelfs niet wanneer het publicatievolume groeit.
- Wanneer de lengte van de referentielijsten exponentieel groeit ( $g_r > 0$ ), daalt $CD$ snel, wat de empirische observaties weerspiegelt.
- Het verhogen van de snelheid van triadische sluiting ( $\beta$ ) heeft ook invloed op $CD$, maar citatie-inflatie ( $g_r$ ) is de dominante factor die de convergentie naar nul drijft.
- Het verlengen van het citatievenster ($CW$) lost de bias niet op; $CD$ convergeert nog steeds naar nul naarmate $r(t)$ toeneemt.
Interventiesimulatie: Een hypothetische beleidsinterventie die de lengte van de referentielijsten vastlegt op een vaste waarde (25) na een specifiek tijdstip ( $T^*$ ), resulteert in een onmiddellijke omkering van de $CD$-trend van dalend naar stijgend. Dit bevestigt dat de daling wordt gedreven door de expansie van de referentielijsten en niet door intrinsieke veranderingen in het wetenschappelijk gedrag.

Betekenis en Claims
Het artikel beweert dat de waargenomen afname in wetenschappelijke disruptiviteit een "fundamenteel meetprobleem" is veroorzaakt door citatie-inflatie, en niet een echte verschuiving in de aard van innovatie. De auteurs stellen dat:

Temporele Bias: De disruptie-index is temporeel bevooroordeeld en ongeschikt voor cross-temporele vergelijkingen. Het vergelijken van $CD$-waarden over verschillende tijdperken heen is vergelijkbaar met het vergelijken van prijzen zonder rekening te houden met monetaire inflatie.
Confounding Variabelen: De index wordt beïnvloed door verschuivingen in wetenschappelijke citatiepraktijken, waaronder de toenemende lengte van referentielijsten en de stijgende mate van zelfcitatie en triadische slutsing.
Beleidsimplicaties: De auteurs suggereren dat tijdschriften de bias kunnen beperken door te overwegen de lengte van de referentielijsten te beperken (bijv. op basis van artikeltype of paginagrootte). Een dergelijk beleid zou de $CD$-maatstaf kunnen stabiliseren en de systematische bias die door citatie-inflatie wordt geïntroduceerd, kunnen verminderen.
Beschikbaarheid van Middelen: Om verder onderzoek naar bias-vrije metrieken te faciliteren, hebben de auteurs een ensemble van synthetische citatienetwerken beschikbaar gesteld, die gebruikt kunnen worden om alternatieve citatie-gebaseerde indices op systematische bias te testen.

Concluderend betogen de auteurs dat onderzoekers en beleidsmakers onderscheid moeten maken tussen "nominale" aantallen en "reële" waarden in wetenschappelijke evaluatie. Zonder rekening te houden met de tijdsafhankelijke groei van citatienetwerken, zullen metrieken zoals $CD$ blijven leiden tot misleidende interpretaties van wetenschappelijke vooruitgang.

De Grote Inflatie van Referenties

Het "Zelf-omhelzing" Probleem

De Simulatie: De Inflatie Uitschakelen

Wat dit betekent voor de toekomst

Meer zoals dit