Science-wide mapping and ranking of institutions based on affiliated authors' impact and research integrity proxies

Questo studio presenta una mappatura e una classificazione globale di 2.380 istituzioni basata sull'impatto dei loro autori e su proxy di integrità della ricerca, come tassi di autocitazione, pubblicazioni in riviste discontinue e paper ritirati, fornendo dati pubblici per valutazioni che bilanciano l'eccellenza scientifica con la responsabilità etica.

L'essenziale

🌍 La Mappa Globale delle Università: Non solo "Chi ha più soldi", ma "Chi fa le cose bene"

Immaginate il mondo della ricerca scientifica come un enorme torneo di calcio. Per anni, le classifiche sono state fatte solo guardando chi ha segnato più gol (le citazioni) o chi ha il team più numeroso (il numero di ricercatori). Ma questo metodo aveva un grosso difetto: non chiedeva se quei gol erano stati segnati in modo pulito o se la squadra aveva truccato la partita.

Questo nuovo studio, guidato da esperti come John Ioannidis, vuole cambiare le regole del gioco. Non vuole solo contare i gol, ma vuole valutare l'onestà e la qualità di ogni squadra (Università, Istituto di ricerca, Azienda tecnologica) in tutto il mondo.

Ecco come funziona, spiegato con delle metafore:

1. Il Rastrello e il Filtro (Chi conta davvero?)

Prima di iniziare la partita, gli autori hanno usato un "rastrello" molto preciso per selezionare i giocatori.

• Non contano i tifosi: Hanno escluso chi ha pubblicato pochissimo.
• Non contano i veterani in pensione: Hanno guardato solo chi ha iniziato a giocare negli ultimi 45 anni (una carriera tipica).
• Non contano i sostituti: Hanno guardato solo chi ha giocato almeno 40 partite e ha fatto almeno 5 gol da capitano (autore principale).

In pratica, stanno guardando i giocatori titolari attivi, non l'intera tribuna o la squadra riserve. Questo permette di confrontare una piccola scuola di calcio con un gigante come l'Università di Harvard in modo equo.

2. La "Punteggio di Onestà" (I tre campanelli d'allarme)

Qui arriva la parte più interessante. Oltre a contare i gol (l'impatto scientifico), hanno aggiunto tre "campanelli d'allarme" per vedere se qualcuno sta barando:

• 🚩 Il Freno d'Emergenza (Le Retrazioni): Immaginate che un giocatore segna un gol, ma poi si scopre che il pallone era gonfio d'aria o che ha spinto l'arbitro. Il gol viene annullato (retrazione). Se una squadra ha molti gol annullati, il suo punteggio scende drasticamente. È come se ogni gol annullato costasse quanto un gol segnato!
• 🚩 Il Club Chiuso (Le Auto-citazioni): Alcuni giocatori si passano la palla solo tra di loro per fare punti facili, senza guardare gli altri. Se un autore cita se stesso troppo spesso (come se si facesse gli applausi da solo), viene considerato sospetto.
• 🚩 Il Campo Finto (Le Riviste Squalificate): Alcuni giocatori preferiscono giocare in campi di fortuna, non ufficiali, dove le regole non sono controllate. Se un ricercatore pubblica troppo spesso su riviste che sono state "squalificate" (discontinuate) perché di bassa qualità, il suo punteggio ne risente.

3. La Sorpresa: Chi è in cima alla classifica?

Se guardassimo solo il numero totale di gol, le classifiche sarebbero piene di giganti enormi (come Harvard o grandi università cinesi). Ma quando applichiamo il "Filtro di Onestà" e guardiamo la percentuale di giocatori d'élite rispetto alla squadra totale, succede qualcosa di sorprendente:

• Le Piccole Squadre di Elite: Alcune istituzioni piccole, come istituti di ricerca o aziende tecnologiche (es. Meta FAIR, Max Planck), si trovano in cima alla classifica. Hanno pochi giocatori, ma quasi tutti sono campioni d'oro.
• I Giganti con i Problemi: Alcune delle università più grandi del mondo, specialmente in certi paesi, hanno un numero enorme di gol, ma quando si guarda il "punteggio di onestà", scendono drasticamente.

4. La Geografia della "Pulizia"

Lo studio ha disegnato una mappa del mondo che mostra due cose molto diverse:

• I Campioni Puliti: Paesi come Regno Unito, Olanda, Svizzera, Canada e USA hanno istituzioni che mantengono un equilibrio tra tanti gol e poche infrazioni.
• Le Zone a Rischio: Paesi come Arabia Saudita, Cina, Malesia, Iran, India e Indonesia appaiono spesso nelle zone dove i "campanelli d'allarme" suonano forte. Non significa che tutti i ricercatori lì siano disonesti, ma che, statisticamente, ci sono molte più squadre che hanno problemi di "fai-da-te" (auto-citazioni eccessive, pubblicazioni su riviste sospette o paper ritirati).

🎯 Perché tutto questo è importante?

Immaginate di dover scegliere un medico per un'operazione importante.

• Il vecchio metodo vi diceva: "Scegli il dottore che ha scritto più libri".
• Questo nuovo metodo vi dice: "Guarda quanti libri ha scritto, ma controlla anche se ne ha ritirati alcuni perché sbagliati, se si cita troppo spesso da solo o se ha pubblicato su riviste che nessuno legge".

In sintesi:
Questo studio ci offre una mappa più onesta. Ci dice che la grandezza di un'istituzione non si misura solo da quanto è grande o da quanti "gol" fa, ma da quanto è pulito e affidabile il suo gioco. È un invito a smettere di guardare solo i numeri e a iniziare a guardare la qualità e l'integrità della scienza.

I dati sono pubblici: chiunque può andare a controllare la "scheda tecnica" della propria università e vedere come si comporta rispetto a queste nuove regole di fair play.

Sommario tecnico

Titolo: Mappatura a livello scientifico delle istituzioni basata sull'impatto degli autori affiliati e su proxy di integrità della ricerca

1. Il Problema

Le valutazioni e i ranking delle istituzioni accademiche e di ricerca sono ampiamente utilizzati, ma soffrono di limitazioni critiche:

• Mancanza di integrità: La maggior parte delle valutazioni si concentra esclusivamente sull'impatto (citazioni, pubblicazioni) ignorando completamente le questioni di integrità della ricerca (es. revoche, pratiche scorrette, citazioni spurie).
• Bias dimensionale: Le metriche assolute (numero totale di paper o citazioni) favoriscono le istituzioni più grandi, nascondendo l'eccellenza di organizzazioni più piccole ma ad alto rendimento.
• Eterogeneità dei dati: È difficile standardizzare il conteggio del personale (docenti, ricercatori, staff) tra diverse istituzioni globali a causa di sistemi di classificazione diversi (tenure, part-time, affiliati, ecc.).
• Gaming delle metriche: I sistemi attuali non rilevano pratiche di "gioco" delle metriche, come l'auto-citazione eccessiva o la pubblicazione su rivisti di dubbia qualità.

L'obiettivo dello studio è creare un dataset istituzionale standardizzato che bilanci l'impatto scientifico con indicatori proxy di integrità della ricerca, correggendo per la dimensione dell'istituzione e i sottocampi scientifici.

2. Metodologia

Gli autori hanno utilizzato il database Scopus (con un blocco dati al 1° agosto 2025) e dataset preesistenti di autori più citati.

• Popolazione di studio:

  • Sono stati considerati autori con almeno 5 pubblicazioni complete (articoli, recensioni, atti di conferenze).
  • Filtro "Analisi Primaria": Per standardizzare il confronto, è stata definita una coorte di autori "senior attivi":
    • Inizio pubblicazioni nel 1980 o successivamente (copertura di una carriera tipica di 45 anni).
    • Almeno 40 pubblicazioni totali.
    • Almeno 5 pubblicazioni come autore singolo, primo o ultimo.
  • Sono state incluse solo istituzioni con almeno 100 autori che soddisfano questi criteri per le classifiche percentili finali.

• Indicatori di Impatto:

  • Numero di autori top-citati (top 2% del sottocampo scientifico o top 100.000 globali) basati su un indicatore composito di citazioni (che include h-index, hm-index, citazioni a paper singoli/primi/ultimi).
  • Calcolo della proporzione di autori top-citati rispetto al totale degli autori eleggibili dell'istituzione.

• Indicatori Proxy di Integrità della Ricerca (Penalità):

  1. Retrazioni: Numero totale di "autorie" su paper ritirati per motivi diversi da errori editoriali (es. frode, errore dell'autore).
  2. Auto-citazioni elevate: Proporzione di autori top-citati con tassi di auto-citazione superiori al 95° percentile del loro sottocampo.
  3. Riviste discontinue: Proporzione di autori top-citati con una percentuale di pubblicazioni su titoli Scopus discontinuati per motivi di qualità superiore al 95° percentile.

• Punteggio Sintetico:
  È stato sviluppato un punteggio che combina impatto e integrità:
  $$Score = \frac{N(t) - \frac{\Sigma R}{2} - [S(t) - 0.05 \cdot N(t)] - [D(t) - 0.05 \cdot N(t)]}{N(a)}$$
  Dove:

  • $N(t)$: Numero di autori top-citati.
  • $N(a)$: Numero totale di autori eleggibili.
  • $\Sigma R$: Somma delle autorie su paper ritirati (ogni 2 ritiri equivalgono alla perdita di un autore top-citato).
  • $S(t)$ e $D(t)$: Numero di autori top-citati con auto-citazioni o pubblicazioni su riviste discontinue superiori al 5% (soglia di tolleranza).

3. Risultati Chiave

• Discrepanza tra Volume e Qualità: Esiste una sovrapposizione modesta tra le istituzioni con il maggior numero assoluto di autori top-citati e quelle con la più alta proporzione di tali autori. Le istituzioni con la proporzione più alta sono spesso istituti di ricerca o organizzazioni tecnologiche (es. Meta FAIR, Max Planck Institutes) piuttosto che grandi università.
• Impatto delle Correzioni: Quando si applicano le penalità per integrità, le classifiche cambiano drasticamente. Molte istituzioni che appaiono in alto nelle classifiche basate solo sull'impatto scendono significativamente dopo le correzioni.
• Analisi Geografica:
  • Alta Integrità/Performance: USA, Regno Unito, Svizzera, Canada, Australia e Paesi Bassi mostrano le percentili mediane più alte (82-85° percentile) e penalità cumulative molto basse.
  • Bassa Integrità/Alte Penalità: Arabia Saudita, Cina, Malesia, Iran, India e Indonesia mostrano le percentili più basse (3-21° percentile).
  • Specificità delle Penalità:
    • La Cina è penalizzata principalmente per un alto numero di retrazioni.
    • La Russia è penalizzata principalmente per auto-citazioni elevate e pubblicazioni su riviste discontinue.
    • L'Arabia Saudita subisce la penalità cumulativa più alta (2,75 volte il numero dei suoi autori top-citati).
• Istituzioni "Gamed": Alcune istituzioni piccole di paesi a basso reddito mostrano percentuali di autori top-citati artificialmente alte, ma vengono smascherate dalle analisi di integrità (retrazioni e auto-citazioni), suggerendo pratiche di gaming delle metriche.

4. Contributi Principali

1. Dataset Pubblico: Gli autori hanno reso disponibili dati pubblici su quasi 7.000 istituzioni, permettendo esplorazioni indipendenti.
2. Nuovo Framework di Valutazione: Introduzione di un approccio che non guarda solo all'eccellenza (citazioni) ma la bilancia con segnali di allarme sull'integrità (retrazioni, auto-citazioni, riviste sospette).
3. Standardizzazione: Superamento delle difficoltà nel conteggio del personale accademico utilizzando criteri oggettivi basati sulla storia delle pubblicazioni (età e volume) invece che sui titoli accademici.
4. Strumento di Monitoraggio: Fornisce un meccanismo per identificare istituzioni che richiedono un'ispezione più approfondita per potenziali pratiche scorrette.

5. Significato e Implicazioni

• Trasparenza: Il lavoro offre una visione più onesta della ricerca globale, evidenziando che l'alto volume di pubblicazioni non equivale necessariamente a alta qualità o integrità.
• Incentivi: Spera di spostare gli incentivi verso una ricerca di qualità e integerrà, riducendo la pressione per pubblicare a tutti i costi o per manipolare le metriche.
• Avvertenze: Gli autori sottolineano che questi indicatori sono "proxy" e non prove definitive di cattiva condotta. Tuttavia, servono come segnali di allarme per indirizzare audit più approfonditi.
• Limitazioni: Riconoscono che l'aggregazione delle affiliazioni e la precisione dei dati Scopus non sono perfette, e che il peso specifico delle penalità nel punteggio sintetico è una scelta arbitraria (sebbene le analisi di sensibilità mostrino che le classifiche rimangono robuste).

In sintesi, lo studio propone un cambio di paradigma nella valutazione istituzionale: passare da una visione puramente quantitativa e volumetrica a una multidimensionale che integra l'impatto scientifico con la responsabilità etica della ricerca.