The disruption index is biased by citation inflation

Immagina di dover misurare quanto sia "figo" o "rivoluzionario" un nuovo invento osservando quante persone ne parlano. Nel mondo della scienza, i ricercatori fanno qualcosa di simile utilizzando uno strumento chiamato Indice di Disruzione. Pensa a questo indice come a un tabellone segnapunti per articoli scientifici e brevetti. Cerca di rispondere a una domanda semplice: il nuovo lavoro ha rotto le vecchie regole e ha aperto un nuovo percorso, o ha solo costruito una piccola aggiunta a una casa esistente? Se un articolo è davvero dirompente, i futori scienziati citeranno il nuovo articolo ma ignoreranno quelli su cui si fondava. Se è solo "consolidamento", citeranno sia il nuovo articolo che quelli vecchi.

Per molto tempo, gli scienziati hanno usato questo tabellone per tracciare la storia dell'innovazione. Hanno notato una cosa preoccupante: i punteggi sembravano in calo. Sembrava che la scienza moderna stesse diventando meno rivoluzionaria e più simile a un gruppo di persone che semplicemente trattenevano il fiato, copiandosi l'un l'altra e apportando piccoli ritocchi. Questo ha scatenato un grande dibattito: stiamo perdendo la nostra capacità di inventare grandi cose? O sta succedendo qualcos'altro? Per capire questo, devi sapere che gli articoli scientifici hanno due parti: le nuove idee che presentano e la "lista dei riferimenti" in fondo, che è l'elenco di tutti gli articoli più vecchi su cui si poggiano.

Questo articolo, scritto da un team di ricercatori, sostiene che il "declino della disruzione" non è dovuto al fatto che gli scoti stiano perdendo la loro scintilla. Invece, suggeriscono che il tabellone stesso sia rotto a causa di un fenomeno che chiamano "inflazione delle citazioni". Proprio come il denaro può perdere valore quando viene stampata troppa moneta, il valore di una singola citazione cambia quando il numero di citazioni esplode. Gli autori affermano che, poiché gli scienziati scrivono liste di riferimenti sempre più lunghe e si citano tra loro in modi più complessi e auto-referenziali, la matematica dietro l'Indice di Disruzione viene sballata. Non stanno dicendo che la scienza sia brutta; stanno dicendo che il righello che usiamo per misurarla si è allungato.

La Grande Inflazione dei Riferimenti

Immagina di essere uno studente che scrive un saggio di storia. Negli anni '60, avresti potuto dover trovare 9 libri per sostenere il tuo argomento. Li avresti letti, scelti i migliori e elencati in fondo. Ora, torna nel presente. Hai internet, e il tuo saggio potrebbe aver bisogno di 23, o persino 50, fonti. Questo non è solo perché ci sono più libri; è perché l' "offerta" di riferimenti si è gonfiata.

Gli autori di questo articolo sottolineano che il numero di riferimenti per articolo è cresciuto drasticamente. Negli anni '60, un articolo medio aveva circa 9 riferimenti. Negli anni 2000, quel numero era salito a 23. Si tratta di un aumento di 2,6 volte in 50 anni. Ma ecco il punto cruciale: l'Indice di Disruzione è una formula matematica che guarda al rapporto tra le citazioni "nuove" e le citazioni "vecchie". Quando la lista dei riferimenti (la roba "vecchia") diventa enorme, la matematica si complica.

Pensa all'Indice di Disruzione come a un gioco di "Hot Potato" (la patata bollente). Se tu sei il nuovo articolo e vuoi vincere il premio della "Disruzione", devi fare in modo che i giocatori futuri lancino la patata a te e non la lancino ai vecchi articoli che hai citato. Ma se la tua lista di riferimenti è un sacco enorme di 50 vecchi articoli, le probabilità aumentano che almeno uno di quei vecchi articoli sia una "superstar" che tutti citano comunque. Anche se il tuo nuovo articolo è brillante, il numero enorme di vecchi articoli che hai citato significa che i futi scienziati sono quasi garantiti nel citare almeno uno di essi. Questo fa apparire il tuo nuovo articolo meno "dirompente" semplicemente perché il denominatore dell'equazione matematica è diventato troppo grande.

Il Problema dell' "Abbraccio Autoreferenziale"

C'è una seconda parte di questa storia dell'inflazione, e riguarda il modo in cui gli scienziati si citano l'un l'altro. Gli autori lo chiamano chiusura triadica, un modo elegante per dire "chiudere il triangolo". Immagina tre amici: Alice, Bob e Charlie. Se Alice cita Bob, e Bob cita Charlie, c'è un'alta probabilità che anche Alice citi Charlie. Questo crea un triangolo di citazioni molto stretto.

In passato, questi triangoli avvenivano naturalmente. Oggi, sostengono gli autori, questi triangoli si formano più spesso a causa delle auto-citazioni e delle citazioni strategiche. Gli scienziati potrebbero citare il proprio lavoro precedente, o il lavoro dei loro stretti colleghi, per aumentare i propri numeri o aiutare la propria rivista. Questo crea una rete di citazioni strettamente connesse. L'Indice di Disruzione conta questi triangoli stretti come "consolidamento" (non disruzione). Quindi, man mano che gli scienziati diventano più bravi a costruire queste reti di citazioni, l'indice pensa che siano meno dirompenti, anche se stanno facendo un ottimo lavoro. È come un giudice che penalizza una ginnasta solo perché indossa un costume molto luccicante e complicato che la fa sembrare meno agile, anche se i suoi salti sono perfetti.

La Simulazione: Spegnere l'Inflazione

Per dimostrare il loro punto, i ricercatori non si sono limitati a guardare dati reali; hanno costruito una simulazione al computer. Hanno creato un mondo finto di articoli scientifici che cresceva nel tempo, proprio come il mondo reale. Hanno programmato questo mondo finto per avere due impostazioni diverse:

1. Il Mondo "Senza Inflazione": Qui, il numero di riferimenti per articolo rimaneva lo stesso e gli scienziati non cambiavano il modo in cui si citavano l'un l'altro.
2. Il Mondo "Con Inflazione": Qui, hanno programmato gli articoli per avere liste di riferimenti più lunghe e più "chiusura triadica" (più auto-citazioni e citazioni di gruppo), proprio come nel mondo reale.

Quando hanno eseguito la simulazione con le impostazioni "Senza Inflazione", l'Indice di Disruzione è rimasto stabile. Non è sceso. Ma quando hanno attivato le impostazioni "Con Inflazione" — rendendo le liste di riferimenti più lunghe e i modelli di citazione più raggruppati — l'Indice di Disruzione ha iniziato a crollare, esattamente come accade nella realtà.

Questo suggerisce che il calo dei punteggi di disruzione non è dovuto al fatto che gli scienziati stiano diventando meno creativi. È perché la metrica è sensibile alla lunghezza della lista dei riferimenti. Gli autori hanno scoperto che all'aumentare del numero di riferimenti ($r$), il tasso di "citazione estranea" ($R_k$) aumenta, il che costringe l'Indice di Disruzione ($CD$) ad avvicinarsi allo zero. Nelle loro simulazioni, quando hanno limitato la lunghezza della lista dei riferimenti a un numero fisso (come 25 riferimenti) dopo un certo punto, l'Indice di Disruzione ha smesso di scendere e ha iniziato effettivamente a risalire. Questo conferma che il "declino" era un artefatto della crescita delle liste di riferimenti, non un declino dell'innovazione.

Cosa Significa per il Futere

Gli autori dicono con cautela di non aver "risolto" il problema di come misurare l'innovazione, ma hanno identificato un grave difetto nel righello attuale. Sostengono che l'Indice di Disruzione, così come viene utilizzato oggi, è distorto (biased) e inadatto per confrontare diversi periodi di tempo. Non si può confrontare un articolo del 1960 con uno del 2020 usando questo indice perché la "valuta" delle citazioni è cambiata.

Indicano anche che questa inflazione influenza altre misurazioni. Ad esempio, alcuni studi sostenevano che i team di ricerca più grandi producano un lavoro meno dirompente. Ma gli autori hanno scoperto che, quando hanno tenuto conto del fatto che i team più grandi tendono anche ad avere liste di riferimenti più lunghe, la relazione è cambiata. Si scopre che i team più grandi potrebbero in realtà essere più dirompenti, ma l'inflazione delle citazioni stava nascondendo questo fatto.

Quindi, qual è il punto fondamentale? Il mondo scientifico non sta necessariamente perdendo il suo colpo. Al contrario, il modo in cui misuriamo quel colpo ha bisogno di un aggiornamento. Gli autori suggeriscono che le riviste potrebbero dover porre un "limite" al numero di riferimenti che un articolo può avere, o sviluppare nuovi modi per misurare la disruzione che non si confondano con il puro volume delle citazioni. Fino ad allora, dovremmo stare molto attenti nell'usare l'Indice di Disruzione per dire che la scienza sta diventando meno rivoluzionaria. Potrebbe essere semplicemente che il tabellone è rotto, non i giocatori.