AttribRank: An Open and Reproducible Framework for Diagnosing Attribution Sensitivity in Author-Level Research Assessment
Questo studio introduce AttribRank, un framework Python open-source che quantifica come le classifiche della ricerca a livello di autore cambino in base alle scelte di valutazione, quali le regole di collaborazione e i tipi di indicatori, rivelando che tali variazioni sono strutturate per campi disciplinari piuttosto che essere rumore casuale.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della scienza moderna, come decidiamo chi sia il ricercatore più importante? Per decenni, la risposta è stata spesso legata ai numeri: quanti articoli uno scienziato ha scritto e quante volte altri scienziati hanno citato quegli articoli. Questi conteggi vengono utilizzati per prendere decisioni che cambiano la vita in termini di assunzioni, promozioni e finanziamenti. Ma questi numeri non sono fatti semplici come il peso di una roccia; sono riassunti costruiti che dipendono fortemente dalle regole utilizzate per calcolarli. Se si cambia la regola su come il credito viene condiviso tra un team di autori, o se si decide di ignorare le citazioni che uno scienziato dà al proprio lavoro, il punteggio finale può cambiare. Ciò significa che la posizione di un ricercatore non è un punto fisso su una mappa, ma una posizione che si muove a seconda della lente attraverso cui viene osservata. La domanda che la comunità scientifica si pone non è solo chi sia al vertice, ma quanto cambi quella classifica quando le regole del gioco vengono modificate.
Per rispondere a questo, un team di ricercatori ha costruito un nuovo strumento chiamato AttribRank, progettato per misurare esattamente quanto la classifica di uno scienziato oscilli quando le regole di valutazione cambiano. Immaginate uno scienziato in piedi su una scala; i ricercatori volevano sapere di quanti pioli salirebbe o scenderebbe se la definizione di "salire" cambiasse leggermente. Non hanno inventato nuovi modi per misurare il successo, ma piuttosto hanno preso quattro modi comuni per regolare il punteggio — come il credito viene diviso in un team, come vengono gestite le autocitazioni, come viene ponderato l'ordine degli autori e quale tipo di punteggio viene utilizzato — e li hanno applicati a un vasto gruppo di scienziati altamente citati. Eseguendo questi diversi set di regole attraverso il loro software, sono riusciti a vedere quanto cambiasse la posizione relativa di ciascuno scienziato. Il risultato è stato un quadro chiaro di quanto siano fragili o stabili queste classifiche.
I ricercatori hanno applicato il loro framework a un database contenente oltre 230.000 scienziati altamente citati da tutto il mondo, coprendo una vasta gamma di campi che vanno dalla medicina alla fisica. Hanno scoperto che le classifiche sono effettivamente sensibili alle regole utilizzate. In media, la posizione di uno scienziato è cambiata di circa dieci punti percentili quando le regole sono cambiate. Per mettere questo in prospettiva, se un ricercatore era nel top 10 percento del suo campo sotto un set di regole, potrebbe scendere al top 20 percento sotto un altro, o salire ancora più in alto. Questa non è una piccola fluttuazione; rappresenta un cambiamento non trascurabile nella posizione che potrebbe influenzare decisioni nel mondo reale. Lo studio ha dimostrato che questi spostamenti non sono rumore casuale o errori nei dati, ma conseguenze strutturate delle scelte fatte dalle persone che effettuano la valutazione.
Non tutte le regole hanno causato lo stesso livello di movimento. I ricercatori hanno scoperto che escludere le autocitazioni — rimuovendo le citazioni che uno scienziato dà al proprio lavoro precedente — ha causato il minor cambiamento nelle classifiche. Al contrario, i cambiamenti maggiori si sono verificati quando i ricercatori sono passati da un conteggio standard delle citazioni a un punteggio composito più complesso che combina diverse metriche. Cambiare il modo in cui il credito è condiviso tra i coautori o come viene interpretato l'ordine degli autori in un articolo ha causato anch'esso un movimento significativo, sebbene leggermente inferiore rispetto al cambio dell'intero sistema di punteggio. Questo ci dice che la scelta di quale punteggio complessivo utilizzare conta più della decisione di filtrare le autocitazioni quando si tratta di rimescolare la classifica.
Lo studio ha anche rivelato che questi spostamenti non sono uguali per tutti. L'entità del movimento di una classifica dipende fortemente dal campo scientifico specifico in cui opera un ricercatore. Ad esempio, in campi come la fisica e l'astronomia, dove i grandi team sono comuni, il modo in cui il credito è condiviso tra gli autori ha avuto un grande impatto su chi finiva in cima. In altri campi, l'ordine degli autori in un articolo è stato il fattore più influente. Ciò significa che una singola regola non può essere applicata equamente a ogni disciplina senza considerare come gli scienziati in quel campo lavorano effettivamente. I ricercatori hanno scoperto che il sottocampo specifico a cui appartiene uno scienziato è spesso un predittore migliore di quanto la sua posizione sia sensibile rispetto al suo paese di origine.
Quando i ricercatori hanno esaminato le differenze nazionali, hanno scoperto che, una volta tenuto conto dei tipi di campi in cui lavoravano gli scienziati e di quanto tempo era trascorso dalla loro pubblicazione, il paese stesso spiegava molto poco della variazione nella sensibilità della classifica. Sebbene alcuni paesi mostrassero spostamenti medi leggermente superiori o inferiori, queste differenze erano piccole rispetto alle differenze viste tra i singoli scienziati e tra i diversi campi scientifici. Ciò suggerisce che i sistemi di ricerca nazionali non sono i motori primari di questi cambiamenti di classifica; piuttosto, la struttura della scienza stessa e le scelte specifiche effettuate nel processo di valutazione sono molto più importanti.
I ricercatori sottolineano che il loro strumento, AttribRank, non è un nuovo modo per classificare gli scienziati o una misura di chi sia veramente il migliore. È invece uno strumento diagnostico, come un test di resistenza per un sistema di valutazione. Non vi dice chi debba ottenere un lavoro o un finanziamento; vi dice quanto cambierebbe quella decisione se utilizzaste un set di regole leggermente diverso. Rendendo questi spostamenti visibili e misurabili, lo strumento permette a università, agenzie di finanziamento e decisori politici di vedere le assunzioni nascoste dietro un singolo numero. Incoraggia un approccio più trasparente in cui le regole del gioco vengono riconosciute e discusse, piuttosto che trattare una classifica come un fatto immutabile. Lo studio conclude che, affinché la valutazione della ricerca sia responsabile ed equa, dobbiamo smettere di cercare un numero singolo e perfetto e iniziare a comprendere come le nostre scelte modellano i risultati che vediamo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.