Inflationary bibliometric values revisited: Indicator validity under falling production costs

Nel mondo della ricerca accademica, esiste un'abitudine di lunga data: contare le cose per misurarne la qualità. Per decenni, scienziati e amministratori universitari hanno osservato quanti articoli un ricercatore scrive, quante volte tali articoli vengono citati da altri e quanti autori hanno lavorato a un singolo progetto. Questi numeri fungono da punteggio, aiutando a decidere chi ottiene un lavoro, una sovvenzione o una promozione. Tuttavia, questo sistema ha affrontato una sfida importante in passato. Vent'anni fa, i ricercatori notarono che il volume puro di articoli e citazioni stava crescendo molto più velocemente del numero di scienziati che effettivamente svolgevano il lavoro. Questa "inflazione" significava che il semplice conteggio degli articoli non era più un modo equo per giudicare la qualità, poiché i numeri venivano gonfiati dal fatto che più persone lavoravano insieme piuttosto che da una scienza migliore. La soluzione dell'epoca fu quella di smettere di contare i numeri assoluti e iniziare a confrontare i ricercatori con i propri pari, chiedendosi come uno scienziato si fosse comportato rispetto alla media nel proprio specifico campo.

Oggi, una nuova forza sta cambiando il panorama della scrittura scientifica. L'ascesa di potenti strumenti di intelligenza artificiale ha reso significativamente più economico e veloce redigere e revisionare testi scientifici. Questo cambiamento solleva una domanda critica: se diventa più facile produrre un articolo, ciò cambia la natura fondamentale degli articoli stessi, o significa solo che ce ne sono di più? Se il costo di produzione di un articolo diminuisce, la distribuzione della qualità cambia, o si espande semplicemente? Questo è il nucleo del puzzle affrontato da Ahmed Hamid Mahmoud in un recente studio. Egli indaga se i vecchi metodi per confrontare i ricercatori siano ancora validi quando il costo di creazione di un articolo scientifico non è più costante.

Il lavoro di Mahmoud inizia separando gli effetti di questo nuovo ambiente di produzione più economico in due possibilità distinte. La prima possibilità è ciò che lui chiama un cambiamento di "scala". Immaginate una fabbrica che improvvisamente acquisisce una nuova macchina che le consente di produrre il doppio dei componenti. Se la qualità di ogni componente rimane esattamente la stessa, ma ce ne sono semplicemente di più, la forma complessiva della distribuzione della qualità rimane invariata. Nel mondo della scienza, questo significherebbe che l'intelligenza artificiale permette ai ricercatori di pubblicare più articoli, ma il rapporto tra articoli eccellenti e articoli medi rimane invariato. La seconda possibilità è un cambiamento di "forma". Ciò accadrebbe se i nuovi strumenti cambiassero la natura stessa del lavoro, rendendo forse più facile produrre articoli di bassa qualità o alterando il mix di lavoro di alta e bassa qualità in un modo che distorce la distribuzione. Se la forma cambia, le vecchie regole per giudicare la qualità potrebbero non applicarsi più.

Lo studio utilizza un modello matematico di come vengono distribuite le citazioni scientifiche per testare questi scenari. I ricercatori hanno scoperto che se il cambiamento è puramente un effetto di "scala" — ovvero si producono più articoli ma il modello sottostante della qualità rimane lo stesso — allora gli indicatori relativi utilizzati oggi sono ancora sicuri. Confrontare un ricercatore con i suoi pari, o guardare il rapporto tra le sue citazioni e la media del settore, continua a fornire una misura valida delle prestazioni. Questi metodi sono robusti contro un semplice aumento del volume. Tuttavia, la situazione cambia drasticamente se diversi ricercatori hanno un accesso diseguale a questi strumenti di produzione economici. Se alcuni scienziati possono usare l'intelligenza artificiale per pubblicare molti più articoli rispetto ad altri che non possono farlo, il semplice conteggio del numero totale di articoli o del numero totale di citazioni diventa fuorviante. In questo scenario, i conteggi non riflettono più la qualità del lavoro; riflettono semplicemente chi aveva accesso agli strumenti più economici. La classifica mostrerebbe chi ha avuto il vantaggio, non chi ha fatto la scienza migliore.

Il documento esamina anche cosa succede se la "forma" della distribuzione della qualità cambia effettivamente. Se il mix di lavoro di alta e bassa qualità si sposta, i parametri standard utilizzati per giudicare i ricercatori si rompono. Ad esempio, una soglia che un tempo separava gli articoli "buoni" da quelli "medi" potrebbe improvvisamente classificare erroneamente un gran numero di articoli se la distribuzione sottostante si è deformata. Lo studio mostra che, se si verifica questa deformazione della forma, i vecchi standard fissi falliranno nell'identificare la vera qualità dei ricercatori. Tuttavia, il documento offre una soluzione. Suggerisce che il settore possa rilevare questi cambiamenti osservando gli schemi specifici di come gli articoli sono distribuiti all'interno di un gruppo. Stimando la "forma" attuale della distribuzione insieme alle classifiche standard, i valutatori possono aggiustare i loro giudizi. La raccomandazione è di riportare la posizione di un ricercatore all'interno del suo gruppo attuale, dichiarando esplicitamente anche lo stato dell'ambiente in cui viene giudicato. Questo doppio reporting assicura che un ricercatore non venga penalizzato o ingiustamente favorito da un cambiamento nel sistema stesso.

L'autore sottolinea con cura che, sebbene le prove di un massiccio aumento del volume degli articoli e dell'uso dell'intelligenza artificiale siano forti, non è ancora stato dimostrato che la forma fondamentale della distribuzione della qualità sia cambiata. Lo studio non sostiene che i vecchi metodi siano inutili, né dice che l'intelligenza artificiale abbia rovinato la scienza. Al contrario, fornisce un quadro chiaro per comprendere cosa stia accadendo. Conferma che i confronti relativi sviluppati per correggere l'inflazione del passato sono ancora validi finché il cambiamento dell'ambiente di produzione è uniforme. Avverte che se l'accesso a questi nuovi strumenti è diseguale, i conteggi grezzi mentiranno. E fornisce un metodo per rilevare se la natura stessa del lavoro sta cambiando, permettendo alla comunità scientifica di adattare le proprie regole di valutazione prima che diventino obsolete. La conclusione ultima è che gli strumenti per misurare la scienza sono ancora solidi, ma devono essere utilizzati con una chiara comprensione dell'ambiente in cui vengono applicati. La domanda per il futuro non è se abbandonare questi strumenti, ma se monitorare il sistema abbastanza da sapere se il terreno sotto di essi si sta spostando.