📈 economics

The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice

Dit artikel toont aan dat de disruptie-index (CD) systematisch afneemt over de tijd als gevolg van citatie-inflatie en veranderende citatiepraktijken in plaats van werkelijke veranderingen in innovatie, een bevinding die wordt ondersteund door wiskundige deductie, simulaties en empirische analyse van publicatiegegevens.

Oorspronkelijke auteurs: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Gepubliceerd 2026-07-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te meten hoe "revolutionair" een nieuwe uitvinding is. In de wereld van wetenschap en patenten hebben onderzoekers een speciale score ontwikkeld, de Disruptie-index (CD). Denk aan deze index als een soort "coolheidsmeter" voor ideeën. Als een nieuwe paper of patent echt disruptief is, is het alsof er een superheld arriveert die het spel zo compleet verandert dat iedereen stopt met kijken naar de oude schurken (de vorige ideeën) en alleen nog maar naar de nieuwe held kijkt. In dit scenario citeren toekomstige wetenschappers de nieuwe held, maar negeren ze de oude schurken. De index probeert deze citaties te tellen om te zien of een idee nieuw terrein betreedt of simpelweg voortbouwt op wat eraan voorafging.

Waarom geven we hierom om? Omdat overheden, universiteiten en bedrijven willen weten of we steeds beter worden in het verzinnen van nieuwe dingen. Als de "coolheidsmeter" begint te dalen, kan dit betekenen dat we door de grote, wereldveranderende ideeën heen raken. Maar wat als de meter kapot is? Wat als het niet zo is dat onze ideeën minder "cool" worden, maar dat de manier waarop we ze tellen een fout bevat? Dit is de grote vraag waar wetenschappers nu mee bezig zijn: is de daling in "disruptie" een echte crisis voor de menselijke vooruitgang, of is het gewoon een meetfout?

De Grote Citatie-glitch

In dit artikel treden de auteurs op als digitale detectives die een verdachte daling in de Disruptie-index onderzoeken. Ze beargumenteren dat de index niet echt laat zien dat de wetenschap minder innovatief wordt. In plaats daarvan laten ze zien dat de index last heeft van een massaal geval van "citatie-inflatie."

Om dit te begrijpen, stel je een bibliotheek voor waar elk boek steeds dikker en dikker wordt. In het verleden had een boek misschien een korte lijst van "boeken die ik heb gelezen om dit te schrijven" (referenties) achterin. Maar in de loop der tijd zijn auteurs steeds meer boeken aan die lijst gaan toevoegen. Stel je nu voor dat er een nieuw boek arriveert. Omdat de lijsten in elk boek zo lang zijn, wordt het statistisch gezien bijna onmogelijk voor een nieuw boek om de enige te zijn die mensen citeren. Zelf met een geweldig nieuw boek zal iemand onvermijdelijk een van de oude, lange lijsten uit een ander boek noemen.

De auteurs leggen uit dat de Disruptie-index als een weegschaal is die aan één kant steeds zwaarder wordt. De formule voor de index heeft een "noemer" (het onderste getal) die enorm groot wordt naarmate de referentielijsten langer worden. Naarmate dit onderste getal explodeert, wordt de uiteindelijke score naar beneden gedrukt richting nul, waardoor alles minder disruptief lijkt, zelfs als de ideeën eigenlijk net zo revolutionair zijn als voorheen.

De Twee Verdachten: Gedrag en Structuur

Het artikel identificeert twee hoofdoorzaken voor de daling van de index, en geen van beide heeft te maken met een gebrek aan genialiteit in de wetenschappelijke gemeenschap.

De Structurele Verdachte (Citatie-inflatie): Dit is de belangrijkste. Het is een mechanisch probleem. Naarmate het aantal wetenschappelijke papers groeit en het aantal referenties per paper groter wordt, neemt de "ruis" in het citatienetwerk toe. De auteurs gebruiken een wiskundig bewijs en computersimulaties om aan te tonen dat als je de referentielijsten simpelweg niet zou laten groeien, de "disruptie"-score niet zou dalen. Het is als een thermometer die een lagere temperatuur aangeeft, niet omdat de kamer kouder wordt, maar omdat iemand een gigantisch ijsblokje tegen de thermometer houdt.
De Gedragsmatige Verdachte: Dit heeft te maken met hoe wetenschappers zich daadwerkelijk gedragen. Dingen zoals "zelfcitatie" (auteurs die hun eigen eerdere werk citeren) of het citeren van populaire papers puur om er goed uit te zien, zijn gebruikelker geworden. Dit creëert meer "driehoeken" van citaties waarbij iedereen naar iedereen wijst, wat de index interpreteert als "consolidatie" in plaats van "disruptie."

Het PNAS-experiment: Een Test in de Praktijk

Om hun punt te bewijzen, zetten de auteurs een slim "quasi-experiment" op met het tijdschrift PNAS (Proceedings of the National Academy of Sciences). Dit tijdschrift heeft twee formaten:

Standaard artikelen: Gedrukt in het tijdschrift en online, met strikte limieten op de lengte.
PNAS Plus artikelen: Alleen online beschikbaar, waardoor auteurs langere papers kunnen schrijven met veel langere referentielijsten.

De auteurs vergeleken deze twee groepen. Ze zijn in bijna elk opzicht identiek — hetzelfde tijdschrift, hetzelfde beoordelingsproces, dezelfde auteurs — behalve de lengte van de referentielijst. Het resultaat? De PNAS Plus-artikelen, met hun langere lijsten, hadden significant lagere Disruptie-scores. Dit bevestigde dat de lengte van de referentielijst alleen al de score naar beneden trok, wat bewees dat de "inflatie" van citaties de schuldige was, en niet een gebrek aan innovatie.

Hoe zit het met de Teamgrootte?

Een ander populair idee in recent onderzoek was dat grotere teams minder disruptief werk produceren. De auteurs hebben de gegevens hierover opnieuw geanalyseerd door naar 7,8 miljoen artikelen te kijken. Ze ontdekten dat zodra ze de meetfouten corrigeerden (zoals het rekening houden met de lengte van de referentielijsten), de relatie tussen teamgrootte en disruptie vrijwel niet bestond.

Sterker nog, ze ontdekten dat de "daling" in disruptie over de tijd zo klein is dat het eigenlijk gewoon statistische ruis is. Toen ze naar het effect van teamgrootte keken, was het verschil zo minuscuul (ongeveer 0,09 standaarddeviaties) dat het praktisch onzichtbaar is. Het artikel suggereert dat het idee dat "grote teams innovatie doden" waarschijnlijk een fata morgana is, gecreëerd door slechte wiskunde, en niet door de realiteit.

Het Eindoordeel

De auteurs concluderen dat de Disruptie-index momenteel niet geschikt is om langetermijntrends te meten, omdat het niet kan omgaan met het feit dat referentielijsten steeds langer worden. Ze beargumenteren dat de beroemde "afname in disruptie" die in eerdere studies werd gerapporteerd, waarschijnlijk een illusie is veroorzaakt door deze inflatie.

Ze zeggen niet dat innovatie is gestopt; ze zeggen dat onze liniaal krom is. Ze suggereren dat tijdschriften mogelijk een limiet moeten stellen aan het aantal referenties dat een auteur kan vermelden, vergelijkbaar met hoe sommige tijdschriften een limiet stellen aan het aantal woorden in een artikel. Totdat we de liniaal repareren, kunnen we niet zeker weten of we echt door de grote ideeën heen zijn, of dat we ze gewoon verkeerd tellen.

Technische Samenvatting: De Disruption Index lijdt onder citatie-inflatie en verwarrende verschuivingen in de wetenschappelijke citatiepraktijk

Probleemstelling
De disruption index ($CD$) werd ontwikkeld om de mate te kwantificeren waarin een intellectuele bijdrage (bijv. een artikel of patent) zijn geciteerde referenties overstijgt, waardoor "disruptieve" innovaties worden geïdentificeerd die kennisnetwerken veranderen. Recente literatuur rapporteert echter een systematische tijdelijke daling van $CD$, wat wijst op een stagnatie in disruptieve innovatie. Dit artikel betoogt dat de waargenomen daling geen reflectie is van afnemende wetenschappelijke creativiteit, maar een meetartefact is, gedreven door twee niet-innovatieve mechanismen: seculaire groei in de productie van onderzoek en citatie-inflatie (CI).

Het kernprobleem is dat de wiskundige formulering van $CD$ structureel gevoelig is voor de toenemende dichtheid van citatienetwerken. Naarmate het aantal publicaties ( $n(t)$ ) en de gemiddelde lengte van de referentielijsten ( $r(t)$ ) over de tijd groeien, breidt de noemer van de $CD$-vergelijking zich onevenredig uit, waardoor de index naar nul convergeert, ongeacht de werkelijke disruptieve aard van het werk. Bovendien wordt de index verstoord door gedragsmatige verschuivingen in citatiepraktijken, zoals toegenomen zelfcitatie en triadische sluiting, die niet in de definitie van de metriek zijn opgenomen.

Methodologie
De auteurs hanteren een vierledige methodologische aanpak om de effecten van citatie-inflatie en verwarrende variabelen te isoleren en te valideren:

Wiskundige Deductie: De auteurs herformuleren de $CD$-vergelijking om het schaalgedrag ervan aan te tonen. Ze laten zien dat $CD_p = \frac{N_i - N_j}{N_i + N_j + N_k}$ , waarbij $N_k$ (citaties naar referenties maar niet naar het centrale artikel) schaalt met het totale volume van citaties. Naarmate referentielijsten groeien ( $r(t) \uparrow$ ), neemt $N_k$ toe, waardoor de ratio naar nul convergeert.
Computationele Simulatie: Gebruikmakend van een gevalideerd mechanistisch model voor de groei van citatienetwerken, genereerden de auteurs twee synthetische netwerkensembles. Eén ensemble bevatte empirische groeisnelheden voor zowel het publicatievolume als de lengte van de referentielijst (inclusief CI), terwijl een tweede ensemble de groei van de lengte van de referentielijsten ( $r(t)$ ) na een specifieke periode "bevroor" terwijl de groei van het publicatievolume werd gehandhaafd. Dit maakte een gecontroleerde vergelijking van $CD$-trends mogelijk met en zonder citatie-inflatie.
Quasi-Experimentele Validatie: De auteurs analyseerden de corpus van Proceedings of the National Academy of Sciences (PNAS) artikelen gepubliceerd tussen 2011 en 2015. Ze vergeleken traditionele artikelen met "PNAS Plus" artikelen (online-only, langvorm). Deze twee groepen zijn vrijwel identiek in teamgrootte en citatie-impact, maar verschillen significant in de lengte van de referentielijst ( $r_p$ ). Deze opzet isoleert het effect van referentielengte op $CD$ terwijl andere variabelen worden gecontroleerd.
Multivariate Regressie: Een grootschalige regressieanalyse werd uitgevoerd op 7,8 miljoen artikelen uit 1995–2015 (afkomstig uit SciSciNet). Het model bevatte publicatieniveau-controles voor teamgrootte ( $k_p$ ), referentielijstlengte ( $r_p$ ) en citatieaantallen ( $c_{p,5}$ ), evenals fixed effects voor journal en jaar. De auteurs adresseerden specifiek problemen met de datakwaliteit (bijv. ontbrekende referenties in oudere datasets) door artikelen met nul referenties of onvoldoende referentieaantallen te filteren.

Kernbijdragen

Identificatie van Citatie-inflatie (CI): Het artikel legt een causaal verband vast tussen de seculaire groei van de lengte van referentielijsten en de systematische afname van de disruption index. Het toont aan dat $CD$ een extensieve maat is in zijn noemer, wat het inherent bevoordeelt tegen langere referentielijsten.
Kritiek op Eerdere Robuustheidstoetsen: De auteurs tonen aan dat eerdere pogingen om deze trends te corrigeren (bijv. normaliseren naar veld-jaar of het gebruik van gerandomiseerde netwerken) falen omdat ze de niet-lineaire afhankelijkheid van $CD$ van de referentielijstlengte of de specifieke datakwaliteitsproblemen (ontbrekende citaties) die prevalent zijn in oudere datasets, niet adequaat rekening houden.
Herwaardering van Covariaatrelaties: De studie daagt de veelgeciteerde negatieve correlatie tussen $CD$ en teamgrootte uit. Door te controleren voor referentielijstlengte en temporele trends, laten de auteurs zien dat de relatie tussen teamgrootte en disruptiviteit verwaarloosbaar is en in sommige specificaties zelfs licht positief is.

Resultaten

Simulatiebevindingen: In het computationele model, wanneer de groei van de referentielijst werd gestopt terwijl het publicatievolume bleef stijgen, keerde de daling in $CD$ om. Dit bevestigt dat de groei van $r(t)$ , in plaats van de groei van $n(t)$ alleen, de primaire drijfveer is van de waargenomen $CD$-daling.
Quasi-experiment: De analyse van PNAS versus PNAS Plus artikelen onthulde dat de langere referentielijsten van PNAS Plus artikelen resulteerden in significant lagere $|CD|$-waarden. Het verschil in referentielengte ( $\approx 39\%$ meer referenties) verklaarde bijna 100% van het verschil in disruptiviteit tussen de twee groepen.
Regressieanalyse:
- Temporele Trend: Na controle voor referentielijstlengte, teamgrootte en citatieaantallen, bleek de resterende temporele trend in $CD$ op het niveau van ruis te liggen (effectgrootte $\approx 0,06\sigma$ ). De eerder gerapporteerde daling in disruptiviteit over de tijd verdwijnt grotendeels.
- Teamgrootte: De negatieve relatie tussen teamgrootte en $CD$ die in eerdere literatuur werd gerapporteerd, is een artefact van 'omitted variable bias' (specifiek de correlatie tussen teamgrootte en referentielijstlengte). Wanneer er correct voor wordt gecontroleerd, is het effect van teamgrootte op $CD$ verwaarloosbaar (effectgrootte $\approx 0,09\sigma$ ) en verschuift het van negatief naar positief voor teams met 8 of meer auteurs.
- Citatie-inflatiecoëfficiënt: De coëfficiënt voor referentielijstlengte ( $r_p$ ) is negatief en statistisch significant, wat bevestigt dat langere referentielijsten de $CD$-score systematisch drukken.

Betekenis en Claims
Het artikel concludeert dat de disruption index, in zijn huidige vorm, vatbaar is voor ernstige meetfouten door citatie-inflatie en onverantwoorde verschuivingen in de wetenschappelijke praktijk. Bijgevolg is de groeiende hoeveelheid onderzoek die $CD$ gebruikt om dalende innovatietrends te identificeren of om specifieke teamstructuren met disruptiviteit te associëren, waarschijnlijk gebaseerd op spoorloze correlaties.

De auteurs beweren dat de waargenomen "afname in disruptiviteit" een methodologisch artefact is in plaats van een wetenschappelijke realiteit. Ze stellen dat de niet-lineaire afhankelijkheid van de metriek van de referentielijstlengte het ongeschikt maakt voor longitudinale vergelijkingen zonder rigoureuze correctie voor citatie-inflatie. Het artikel suggereert dat toekomstig onderzoek ofwel nieuwe metrieken moet ontwikkelen die neutraal zijn voor citatie-inflatie, ofwel beleidsmaatregelen moet implementeren, zoals limieten op de lengte van referentielijsten, om deze structurele biases in wetenschappelijke evaluatie te temperen. De bevindingen zetten de geldigheid in twijfel van het gebruik van $CD$ als primaire indicator voor het monitoren van de efficiëntie en concurrentiekracht van de kenniseconomie zonder deze fundamentele structurele gebreken aan te pakken.