One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
Questo studio impiega una simulazione Monte Carlo riproducibile di 700 università sintetiche per dimostrare che i ranking istituzionali variano significativamente tra OpenAlex, Scopus e Web of Science a causa di meccanismi specifici dei database come la copertura e la scalabilità delle citazioni, rivelando che un'alta concordanza a livello di sistema maschera una conseguente instabilità del ranking a livello di singola istituzione e i bias regionali.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Ogni anno, le università di tutto il mondo vengono disposte in una singola colonna, classificate dalla prima all'ultima, come se la loro posizione fosse un dato immutabile come l'altezza di una montagna. Questa pratica si basa su enormi biblioteche digitali che conservano milioni di articoli di ricerca, citazioni e nomi di autori. Queste biblioteche, spesso chiamate database, sono gli strumenti che i ricercatori usano per contare quanto una università produce e quanto spesso quel lavoro viene letto da altri. L'assunto alla base di queste classifiche è che, se si conta la stessa università in due biblioteche diverse, si otterrà approssimativamente lo stesso risultato. Tuttavia, la realtà è che nessuna coppia di biblioteche contiene esattamente la stessa collezione di opere. Una potrebbe includere più articoli scritti in lingue diverse dall'inglese, mentre un'altra potrebbe concentrarsi pesantemente su specifici campi scientifici o escludere certi tipi di documenti, come gli atti di conferenze. Poiché l'elenco iniziale di articoli è diverso, il conteggio finale e la relativa classifica possono cambiare drasticamente, anche se l'università stessa non ha cambiato affatto la sua produzione di ricerca.
Un ricercatore di nome Mustafa Kayyali si è posto l'obiettivo di capire quanto importino davvero queste differenze. Invece di cercare di correggere le attuali classifiche o confrontare università reali, ha costruito una simulazione al computer per testare la meccanica del sistema. Ha creato un mondo immaginario contenente settecento università sintetiche. A ciascuna di queste istituzioni fittizie è stato assegnato un profilo unico, che includeva la sua dimensione, la qualità della ricerca, le lingue in cui pubblicava e il mix di materie studiate, come medicina, ingegneria o arte. Ha poi programmato tre diverse biblioteche digitali per "osservare" questo stesso gruppo di università. Queste biblioteche sono state progettate per imitare i comportamenti noti dei sistemi reali: una era ampia e inclusiva, un'altra stava nel mezzo, e la terza era più selettiva e rigorosa su ciò che includeva. L'obiettivo non era vedere quale biblioteca fosse la migliore, ma vedere quanto la posizione di una singola università oscillasse a seconda della biblioteca utilizzata per la misurazione.
I risultati hanno mostrato una contraddizione sorprendente. Quando il ricercatore ha esaminato l'elenco complessivo, le classifiche delle diverse biblioteche sembravano concordare molto bene. L'ordine delle università si muoveva all'unisono in modo da suggerire una forte connessione. Tuttavia, quando ha esaminato le singole università, il quadro è cambiato completamente. Un'università che appariva nei primi cento in una biblioteca poteva scendere di decine di posizioni in un'altra. In media, un'università si spostava di circa quarantuno posizioni tra la biblioteca più inclusiva e quella più selettiva. Ciò significava che circa diciotto università avevano varcato il confine entrando o uscendo dai primi cento semplicemente perché l'osservatore era cambiato. L'alto accordo complessivo nascondeva una grande instabilità per le singole istituzioni.
Lo studio ha anche rivelato che questi movimenti non erano casuali. Seguivano un modello chiaro basato sulla posizione di un'università e sulle lingue che utilizzava. Le università del Sud del mondo, o quelle che pubblicavano una parte significativa del loro lavoro in lingue diverse dall'inglese, tendevano a classificarsi molto più in alto nella biblioteca più ampia e inclusiva. Nella biblioteca più selettiva, queste stesse istituzioni subivano un calo significativo. Al contrario, le università di altre regioni vedevano spesso scendere la propria posizione quando la biblioteca diventava più inclusiva. Questo accadeva perché il sistema di classificazione è un gioco a somma zero; se un gruppo sale di posizione perché viene conteggiata una parte maggiore del suo lavoro, un altro gruppo deve scendere. La simulazione ha dimostrato che la direzione dello spostamento dipendeva interamente dalle regole costruite nella biblioteca, e non dalla reale qualità della ricerca.
Per comprendere perché esistessero queste discrepanze, il ricercatore ha scomposto le differenze in quattro cause principali: quanti articoli venivano trovati, quanto bene il nome dell'università fosse collegato ai suoi articoli, come venivano conteggiate le citazioni e gli errori casuali nei dati. Il fattore principale era la copertura, ovvero semplicemente quanti articoli la biblioteca riusciva a trovare. Il modo in cui le università venivano collegate ai loro articoli era un fattore minore e, in alcuni casi, correggere il collegamento rendeva la discrepanza leggermente peggiore prima che migliorasse. Lo studio ha concluso che la variazione non era un errore da correggere con un conteggio migliore, ma una caratteristica fondamentale dell'uso di fonti diverse.
L'articolo sostiene che riportare un singolo numero per la posizione di un'università sia fuorviante perché nasconde l'incertezza dietro quel numero. Un'università potrebbe essere classificata al quarantasettesimo posto in un sistema e al cinquantaduesimo in un altro, il che è una piccola differenza, ma potrebbe anche essere classificata al sessantaduesimo in uno e al centottantunesimo in un altro. Il ricercatore suggerisce che, invece di una posizione singola, alle università dovrebbe essere mostrato un intervallo di posizioni possibili, insieme alla probabilità di trovarsi nei primi cento. Questo approccio renderebbe chiaro che la posizione di un'università non è un punto fisso su una mappa, ma una località che si sposta a seconda della lente attraverso cui viene osservata. Lo studio non pretende di aver risolto il problema delle classifiche, ma fornisce un metodo chiaro per misurare quanto la scelta della fonte dei dati cambi la risposta, esortando affinché questa incertezza sia resa visibile a chiunque utilizzi tali elenchi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.