📈 economics

The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice

Questo articolo dimostra che l'indice di disruzione (CD) diminuisce sistematicamente nel tempo a causa dell'inflazione delle citazioni e del cambiamento nelle pratiche di citazione piuttosto che per reali cambiamenti nell'innovazione, un reperimento supportato da deduzione matematica, simulazioni e analisi empirica dei dati di pubblicazione.

Autori originali: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Pubblicato 2026-07-20

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover misurare quanto sia "rivoluzionario" un nuovo invento. Nel mondo della scienza e dei brevetti, i ricercatori hanno sviluppato un punteggio speciale chiamato Indice di Disruzione (CD). Pensa a questo indice come a un "misuratore di genialità". Se un nuovo articolo o brevetto è davvero dirompente, è come un supereroe che arriva e cambia le regole del gioco così completamente che tutti smettono di guardare i vecchi cattivi (le idee precedenti) e iniziano a guardare solo il nuovo eroe. In questo scenario, gli scienziati futuri citano il nuovo eroe e ignorano i vecchi cattivi. L'indice cerca di contare queste citazioni per vedere se un'idea sta aprendo nuove strade o se sta solo costruendo su ciò che è venuto prima.

Perché ci interessa? Perché governi, università e aziende vogliono sapere se stiamo diventando più bravi a inventare cose nuove. Se il "misuratore di genialità" inizia a scendere, potrebbe significare che stiamo esaurendo le grandi idee che cambiano il mondo. Ma cosa succederebbe se il misuratore fosse rotto? E se non fosse che le nostre idee stanno diventando meno geniali, ma che il modo in cui le contiamo ha un difetto? Questa è la grande domanda che gli scienziati si pongono in questo momento: il calo della "disruzione" è una vera crisi per il progresso umano, o è solo un errore di misurazione?

Il Grande Errore delle Citazioni

In questo articolo, gli autori agiscono come detective digitali che indagano su un sospetto calo dell'Indice di Disruzione. Sostengono che l'indice non stia affatto mostrando che la scienza stia diventando meno innovativa. Al contrario, dimostrano che l'indice soffre di un massiccio caso di "inflazione delle citazioni".

Per capire questo, immagina una biblioteca dove ogni libro sta diventando sempre più spesso. In passato, un libro poteva avere una breve lista di "libri che ho letto per scrivere questo" (riferimenti) sul retro. Ma con il tempo, gli autori hanno iniziato ad aggiungere sempre più libri a quella lista. Ora, immagina che arrivi un nuovo libro. Poiché le liste in ogni libro sono così lunghe, diventa statisticamente quasi impossibile che un nuovo libro sia l'unico che la gente cita. Anche se il nuovo libro è straordinario, qualcun altro menzionerà inevitabilmente uno degli antichi e lunghi elenchi provenienti da un altro libro.

Gli autori spiegano che l'Indice di Disruzione è come una bilancia che si appesantisce sempre di più su un lato. La formula dell'indice ha un "denominatore" (il numero sotto) che cresce enormemente man mano che le liste di riferimenti si allungano. Mentre questo numero sotto esplode, il punteggio finale viene schiacciato verso lo zero, facendo sembrare tutto meno dirompente, anche se le idee sono in realtà altrettanto rivoluzionarie di prima.

I Due Sospettati: Comportamento e Struttura

L'articolo identifica due ragioni principali per cui l'indice sta scendendo, e nessuna delle due ha a che fare con una mancanza di genio nella comunità scientifica.

Il Sospettato Strutturale (Inflazione delle Citazioni): Questo è il principale. È un problema meccanico. Man mano che il numero di articoli scientifici cresce e il numero di riferimenti per articolo aumenta, il "rumore" nella rete di citazioni aumenta. Gli autori utilizzano una prova matematica e simulazioni al computer per dimostrare che, se si impedisse semplicemente alle liste di riferimenti di crescere, il punteggio di "disruzione" smetterebbe di scendere. È come un termometro che segna una temperatura più bassa non perché la stanza si stia raffreddando, ma perché qualcuno ci ha appoggiato contro un enorme cubetto di ghiaccio.
Il Sospettato Comportamentale: Questo riguarda il modo in cui gli scienziati si comportano realmente. Cose come l' "autocitazione" (autori che citano il proprio lavoro precedente) o il citare articoli popolari solo per apparire migliori sono diventate più comuni. Ciò crea più "triangoli" di citazioni dove tutti puntano a tutti gli altri, il che l'indice interpreta come "consolidamento" piuttosto che come "disruzione".

L'Esperimento PNAS: Un Test nel Mondo Reale

Per dimostrare il loro punto, gli autori hanno allestito un astuto "quasi-esperimento" utilizzando la rivista PNAS (Proceedings of the National Academy of Sciences). Questa rivista ha due formati:

Articoli standard: Stampati nella rivista e online, con limiti rigorosi sulla loro lunghezza.
Articoli PNAS Plus: Solo online, che permette agli autori di scrivere articoli più lunghi con liste di riferimenti molto più estese.

Gli autori hanno confrontato questi due gruppi. Sono quasi identici in ogni modo — stessa rivista, stesso processo di revisione, stessi autori — tranne che per la lunghezza della lista di riferimenti. Il risultato? Gli articoli PNAS Plus, con le loro liste più lunghe, avevano punteggi di Disruzione significativamente più bassi. Questo ha confermato che la lunghezza della lista di riferimenti da sola stava trascinando verso il basso il punteggio, provando che l' "inflazione" delle citazioni era il colpevole, non una mancanza di innovazione.

E Quanto Riguarda la Dimensione del Team?

Un'altra idea popolare nella ricerca recente era che i team più grandi producano un lavoro meno dirompente. Gli autori hanno rianalizzato i dati su questo, esaminando 7,8 milioni di articoli. Hanno scoperto che, una volta corretti gli errori di misurazione (come tenere conto della lunghezza delle liste di riferimenti), la relazione tra la dimensione del team e la disruzione era quasi inesistente.

In effetti, hanno scoperto che il "calo" della disruzione nel tempo è così piccolo da essere praticamente solo rumore statistico. Quando hanno osservato l'effetto della dimensione del team, la differenza era così minima (circa 0,09 deviazioni standard) che è praticamente invisibile. L'articolo suggerisce che l'idea che "i grandi team uccidano l'innovazione" sia probabilmente un miraggio creato da una cattiva matematica, non dalla realtà.

Il Verdetto

Gli autori concludono che l'Indice di Disruzione è attualmente guasto per misurare i trend a lungo termine perché non riesce a gestire il fatto che le liste di riferimenti si stanno allungando sempre di più. Sostengono che il famoso "declino della disruzione" riportato in studi precedenti sia probabilmente un'illusione causata da questa inflazione.

Non dicono che l'innovazione si sia fermata; dicono che il nostro righello è deformato. Suggeriscono che, per risolvere il problema, le riviste potrebbero dover porre un limite al numero di riferimenti che un autore può elencare, similmente a come alcune riviste limitano il numero di parole in un articolo. Finché non sistemiamo il righello, non potremo essere certi se stiamo davvero esaurendo le grandi idee o se stiamo solo contando male.

Sintesi Tecnica: L'indice di disruzione soffre dell'inflazione delle citazioni e di cambiamenti confondenti nelle pratiche di citazione accademica

Problema
L'indice di disruzione ($CD$) è stato sviluppato per quantificare il grado in cui un contributo intellettuale (ad esempio, un articolo o un brevetto) supera i suoi riferimenti citati, identificando così le innovazioni "disruttive" che spostano le reti di conoscenza. Tuttavia, la letteratura recente ha riportato un declino temporale sistematico del $CD$, suggerendo una stagnazione dell'innovazione disruttiva. Questo articolo sostiene che il declino osservato non sia un riflesso di una diminuzione della creatività scientifica, bensì un artefatto di misurazione guidato da due meccanismi non innovativi: la crescita secolare della produzione della ricerca e l'inflazione delle citazioni (CI).

Il problema centrale è che la formulazione matematica del $CD$ è strutturalmente suscettibile all'aumento della densità delle reti di citazione. Poiché il numero di pubblicazioni ( $n(t)$ ) e la lunghezza media dell'elenco dei riferimenti ( $r(t)$ ) crescono nel tempo, il denominatore dell'equazione del $CD$ si espande in modo sproporzionato, costringendo l'indice a convergere verso lo zero indipendentemente dalla reale natura disruttiva del lavoro. Inoltre, l'indice è confuso da cambiamenti comportamentali nelle pratiche di citazione, come l'aumento dell'auto-citazione e la chiusura triadica, che non sono tenuti in conto nella definizione del parametro.

Metodologia
Gli autori impiegano un approccio metodologico a quattro piloni per isolare e validare gli effetti dell'inflazione delle citazioni e delle variabili confondenti:

Deduzione Matematica: Gli autori riformulano l'equazione del $CD$ per dimostrare il suo comportamento di scala. Dimostrano che $CD_p = \frac{N_i - N_j}{N_i + N_j + N_k}$ , dove $N_k$ (citazioni ai riferimenti ma non al paper focale) scala con il volume totale delle citazioni. Poiché gli elenchi di riferimenti crescono ( $r(t) \uparrow$ ), $N_k$ aumenta, causando la convergenza del rapporto verso lo zero.
Simulazione Computazionale: Utilizzando un modello di crescita della rete di citazione meccanicistico validato, gli autori hanno generato due ensemble di reti sintetiche. Un ensemble includeva i tassi di crescita empirici sia per il volume di pubblicazioni che per la lunghezza dell'elenco dei riferimenti (incorporando la CI), mentre il secondo ensemble "congelava" la crescita della lunghezza degli elenchi di riferimenti ( $r(t)$ ) dopo un periodo specifico, mantenendo invece la crescita del volume di pubblicazioni. Ciò ha permesso un confronto controllato dei trend del $CD$ con e senza inflazione delle citazioni.
Validazione Quasi-Sperimentale: Gli autori hanno analizzato il corpus degli articoli della Proceedings of the National Academy of Sciences (PNAS) pubblicati tra il 2011 e il 2015. Hanno confrontato gli articoli tradizionali con gli articoli "PNAS Plus" (solo online, long-form). Questi due gruppi sono quasi identici per dimensione del team e impatto delle citazioni, ma differiscono significativamente per la lunghezza dell'elenco dei riferimenti ( $r_p$ ). Questa configurazione isola l'effetto della lunghezza dei riferimenti sul $CD$ controllando al contempo altre variabili.
Regressione Multivariata: È stata eseguita un'analisi di regressione su larga scala di 7,8 milioni di articoli dal 1995 al 2015 (estratti da SciSciNet). Il modello includeva controlli a livello di pubblicazione per la dimensione del team ( $k_p$ ), la lunghezza dell'elenco dei riferimenti ( $r_p$ ) e il numero di citazioni ( $c_{p,5}$ ), oltre a effetti fissi per rivista e anno. Gli autori hanno affrontato specificamente i problemi di qualità dei dati (ad esempio, riferimenti mancanti nei dataset più vecchi) filtrando gli articoli con zero riferimenti o conteggi di riferimenti insufficienti.

Contributi Chiave

Identificazione dell'Inflazione delle Citazioni (CI): Il documento stabilisce un legame causale tra la crescita secolare della lunghezza degli elenchi di riferimenti e la sistematica diminuzione dell'indice di disruzione. Dimostra che il $CD$ è una misura estensiva nel suo denominatore, rendendolo intrinsecamente penalizzante per elenchi di riferimenti più lunghi.
Critica ai Precedenti Controlli di Robustezza: Gli autori mostrano che i precedenti tentativi di correggere questi trend (ad esempio, normalizzando per campo-anno o utilizzando reti randomizzate) falliscono perché non tengono adeguatamente conto della dipendenza non lineare del $CD$ dalla lunghezza dell'elenco dei riferimenti o dei problemi specifici di qualità dei dati (citazioni mancanti) prevalenti nei dataset più datati.
Rivalutazione delle Relazioni tra Covariate: Lo studio mette in discussione la citata correlazione negativa tra $CD$ e dimensione del team. Controllando la lunghezza dell'elenco dei riferimenti e i trend temporali, gli autori dimostrano che la relazione tra dimensione del team e disruzione è trascurabile e, in alcune specifiche, leggermente positiva.

Risultati

Risultati della Simulazione: Nel modello computazionale, quando la crescita dei riferimenti è stata interrotta mentre il volume di pubblicazioni continuava a salire, il declino del $CD$ si è invertito. Ciò conferma che la crescita di $r(t)$ , piuttosto che la crescita di $n(t)$ da sola, è il driver primario del declino osservato del $CD$.
Quasi-Esperimento: L'analisi tra articoli PNAS e PNAS Plus ha rivelato che gli elenchi di riferimenti più lunghi degli articoli PNAS Plus hanno prodotto valori di $|CD|$ significativamente inferiori. La differenza nella lunghezza dei riferimenti ( $\approx 39\%$ in più di riferimenti) ha spiegato quasi il 100% della differenza di disruzione tra i due gruppi.
Analisi di Regressione:
- Trend Temporale: Dopo aver controllato per la lunghezza dell'elenco dei riferimenti, la dimensione del team e il numero di citazioni, il trend temporale residuo nel $CD$ è risultato essere al livello del rumore (dimensione dell'effetto $\approx 0,06\sigma$ ). Il precedentemente riportato declino della disruttività nel tempo svanisce quasi completamente.
- Dimensione del Team: La relazione negativa tra dimensione del team e $CD$ riportata nella letteratura precedente è un artefatto del bias da variabile omessa (specificamente la correlazione tra dimensione del team e lunghezza dell'elenco dei riferimenti). Quando correttamente controllata, l'effetto della dimensione del team sul $CD$ è trascurabile (dimensione dell'effetto $\approx 0,09\sigma$ ) e passa da negativo a positivo per i team con 8 o più autori.
- Coefficiente di Inflazione delle Citazioni: Il coefficiente per la lunghezza dell'elenco dei riferimenti ( $r_p$ ) è negativo e statisticamente significativo, confermando che elenchi di riferimenti più lunghi deprimono sistematicamente il punteggio $CD$.

Significatività e Rivendicazioni
L'articolo conclude che l'indice di disruzione, nella sua forma attuale, è suscettibile di gravi errori di misurazione dovuti all'inflazione delle citazioni e ai cambiamenti non tenuti in conto nelle pratiche accademiche. Di conseguenza, la crescente mole di ricerche che utilizza il $CD$ per identificare declini nei trend di innovazione o per associare specifiche strutture di team alla disruzione è probabilmente basata su correlazioni spurie.

Gli autori sostengono che l'osservato "declino della disruttività" sia un artefatto metodologico piuttosto che una realtà scientifica. Affermano che la dipendenza non lineare del parametro dalla lunghezza dell'elenco dei riferimenti lo rende inadatto a confronti longitudinali senza una rigorosa correzione per l'inflazione delle citazioni. Il documento suggerisce che la ricerca futura dovrebbe o sviluppare nuovi parametri che siano neutrali rispetto all'inflazione delle citazioni o implementare misure di policy, come tetti massimi alla lunghezza degli elenchi di riferimenti, per mitigare questi bias strutturali nella valutazione della ricerca. I risultati mettono in discussione la validità dell'uso del $CD$ come indicatore primario per monitorare l'efficienza e la competitività dell'economia della conoscenza senza affrontare queste fondamentali falle strutturali.