📊 statistics

Assessing Methodological Distortions in the Clarivate Highly Cited Researchers List: International Comparisons and a Reform Framework

Questo articolo critica i limiti metodologici della lista Clarivate Highly Cited Researchers dimostrando come fattori quali il conteggio intero e le disparità di citazione distorcano i confronti internazionali, e propone un quadro di riforma per affrontare tali pregiudizi attraverso il conteggio frazionato, la normalizzazione per campo e una migliore disambiguazione degli autori.

Autori originali: F. PACHECO-TORGAL

Pubblicato 2026-07-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: F. PACHECO-TORGAL

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate il mondo della scienza come una gigantesca lega sportiva globale. Ogni anno, una famosa organizzazione chiamata Clarivate pubblica una lista della "Hall of Fame" chiamata Highly Cited Researchers (HCR). Questa lista dovrebbe identificare l'1% dei migliori scienziati il cui lavoro viene letto e citato maggiormente dai loro colleghi. Università e governi usano questa lista per decidere chi riceve finanziamenti, promozioni e prestigio.

Tuttavia, questo articolo sostiene che le regole del gioco siano truccate. L'autore, F. Pacheco-Torgal, suggerisce che il modo in cui Clarivate conta i punti sia difettoso, portando a una visione distorta di chi sia realmente il "miglior" scienziato.

Ecco una ripartizione degli argomenti del saggio utilizzando semplici analogie:

1. Il problema del "Conteggio Intero": Il difetto della foto di gruppo

Il Problema: Attualmente, Clarivate utilizza un metodo chiamato "conteggio intero" (whole counting). Immaginate che un team di 200 scienziati scriva un unico articolo rivoluzionario. Se quell'articolo riceve 500 citazioni (menzioni da parte di altri scienziati), Clarivate assegna 500 punti a ciascuno dei 200 autori.
La Metafora: È come una foto di gruppo dove tutti ricevono una medaglia d'oro solo per essere stati presenti nella foto, indipendentamente da chi abbia effettivamente scattato la foto o da chi abbia fatto il lavoro pesante.
La Conseguenza: Questo gonfia enormemente i punteggi degli scienziati che lavorano in grandi team (comune in campi come la biologia o la fisica). Premia l'appartenenza a un grande club piuttosto che il brillante contributo individuale. Il saggio suggerisce di passare al "conteggio frazionario", dove i 500 punti verrebbero divisi tra i 200 membri, dando a ciascuno scienziato solo 2,5 punti. Questo sarebbe un riflesso più equo del contributo individuale.

2. Il problema "Mele contro Arance": Sport diversi, stesso trofeo

Il Problema: Diversi campi scientifici hanno diverse "culture di citazione". Alcuni campi, come la medicina, pubblicano migliaia di articoli e si citano costantemente tra loro. Altri, come la matematica o l'ingegneria, pubblicano meno articoli e vengono citati meno spesso.
La Metafora: Immaginate una gara in cui gli sprinter (Medicina) corrono 100 metri in 10 secondi, e i maratoneti (Matematica) corrono 42 chilometri in 3 ore. Se il trofeo viene assegnato a chi percorre la distanza maggiore in un singolo ora, gli sprinter vinceranno sempre, anche se i maratoneti sono incredibilmente abili.
La Conseguenza: L'attuale lista non si adatta bene a queste differenze. Favorisce i campi che generano naturalmente più citazioni, facendo apparire meno impressionanti gli scienziati nei campi con ritmi più lenti rispetto a quanto siano realmente.

3. Il problema dell' "Autopromozione" e della "Confusione dei Nomi"

Il Probleio: L'attuale lista non rimuove rigorosamente le citazioni in cui uno scienziato cita il proprio lavoro (autocitazione), né distingue perfettamente tra due scienziati con lo stesso nome (ad esempio, "J. Smith").
La Metafora: È come un concorso di popolarità in cui puoi aumentare il tuo punteggio gridando il tuo nome nella folla, e dove due persone diverse potrebbero accidentalmente ricevere il merito dello stesso premio perché hanno lo stesso cartellino con il nome.
La Conseguenza: Ciò può gonfiare artificialmente i punteggi e attribuire erroneamente il merito alla persona sbagliata.

Il "Rapporto di Distorsione": Confrontare due classifiche

Per dimostrare questi difetti, l'autore confronta la lista di Clarivate con un'altra famosa lista: la Stanford Top 0.5% Scientists. La lista di Stanford utilizza regole più eque (divisione dei punti, rimozione delle autocitazioni e migliore controllo dei nomi).

L'autore ha creato un "Rapporto di Distorsione" per vedere quanto le due liste discordano.

Se il rapporto è 1,0: Entrambe le liste concordano sul numero di scienziati di un paese.
Se il rapporto è alto (come 2,0+): La lista di Clarivate sta sovracontando quel paese rispetto alla più equa lista di Stanford.
Se il rapporto è basso (come 0,5): La lista di Clarivate sta sottocontando quel paese.

I Risultati:

Cina: Ha avuto la distorsione più alta. La lista di Clarivate mostra che hanno il doppio degli scienziati di alto livello rispetto a quanto suggerito dalla lista di Stanford. L'autore suggerisce che ciò sia dovuto al fatto che i ricercatori cinesi lavorano spesso in enormi team collaborativi che beneficiano della regola del "conteggio intero".
Norvegia, Giappone, Italia, Canada: Questi paesi sono stati "sottorappresentati" nella lista di Clarivate. I loro scienziati compaiono meno frequentemente lì rispetto alla lista di Stanford, probabilmente perché le loro culture di ricerca coinvolgono team più piccoli o diverse abitudini di citazione che le regole attuali penalizzano.
Il Test del Premio Nobel: Il saggio nota una statistica scioccante: la lista di Clarivate include solo circa il 10% dei vincitori del Nobel. Al contrario, la lista di Stanford ne include oltre il 90%. Ciò suggerisce che la lista di Clarivate stia perdendo molte delle vere grandi menti scientifiche del mondo.

La Soluzione Proposta: Una Riforma su Tre Pilastri

L'autore non dice che la lista debba essere cancellata, ma che necessita di una revisione importante utilizzando tre pilastri:

Dividere i Punti: Passare al "conteggio frazionario" affinché il credito sia condiviso equamente tra i membri del team.
Livellare il Campo di Gioco: Utilizzare una matematica migliore per confrontare gli scienziati all'interno dei loro specifici e ristretti campi (ad esempio, confrontare un cardiochirurgo solo con altri cardiochirurghi, non con un fisico).
Pulire i Dati: Rimuovere rigorosamente le autocitazioni e utilizzare numeri identificativi unici (come ORCID) per garantire che il giusto "J. Smith" riceva il merito.

Conclusione

Il saggio conclude che, sebbene la lista Highly Cited Researchers di Clarivate sia popolare e influente, le sue regole attuali agiscono come un filtro che distorce la realtà. Favorisce i grandi team e i campi ad alta citazione, mentre potenzialmente nasconde il vero impatto dei singoli ricercatori in altre aree. Finché le regole non verranno corrette, dovremmo essere molto cauti nell'usare questa lista per prendere grandi decisioni riguardanti i finanziamenti o le classifiche universitarie.

Sintesi Tecnica: Valutazione delle distorsioni metodologiche nella lista Clarivate Highly Cited Researchers

Definizione del problema
Il documento affronta le significative limitazioni metodologiche della lista Clarivate Highly Cited Researchers (HCR), un indicatore di influenza scientifica ampiamente utilizzato. Lo studio sostiene che l'attuale metodologia HCR si basa sul "conteggio intero" (assegnazione dell'intero credito di citazione a ogni coautore indipendentemente dalle dimensioni del team) e su una categorizzazione disciplinare ampia. Si postula che queste pratiche gonfino l'impatto apparente dei ricercatori in grandi reti collaborative e in campi con alta densità di citazioni (es. scienze biomediche), penalizzando sistematicamente i ricercatori in campi con tassi di citazione inferiori o strutture di team più piccole. Inoltre, il documento osserva che la lista HCR cattura solo circa il 10% dei vincitori del Nobel, sollevando interrogativi sulla sua capacità di identificare contributi scientifici veramente eccellenti rispetto ad altre metriche.

Metodologia
Lo studio impiega un'analisi quantitativa comparativa utilizzando due dataset primari per il ciclo di pubblicazione 2024:

Lista Clarivate HCR (2024): Contiene 6.886 ricercatori, estratti dal corpus Web of Science.
Dataset Stanford Top 0.5% Scientists (2025): Contiene 57.508 ricercatori, estratti da Scopus, che utilizza il conteggio frazionato, la disambiguazione degli autori ed l'esclusione delle autocitazioni.

Per quantificare la divergenza tra questi due elenchi metodologicamente distinti, l'autore introduce un Rapporto di Distorsione (DR) definito come:
$DR = \frac{\text{Quota HCR del Paese (\%)}}{\text{Quota Annuale Stanford del Paese (\%)}}$

Interpretazione: Un DR > 1,0 indica una sovrarappresentazione nella lista HCR rispetto al benchmark di Stanford; un DR < 1,0 indica una sottorappresentazione.
Rigore statistico: L'analisi calcola gli intervalli di confidenza al 95% per il DR utilizzando il metodo delta applicato agli errori standard delle proporzioni binomiali. Ciò tiene conto dell'incertezza del campionamento, in particolare per i paesi con conteggi HCR assoluti ridotti.
Ambito: L'analisi copre i primi 20 paesi per numero di HCR. Essa riconosce esplicitamente che il DR misura la discordanza tra due strumenti imperfetti piuttosto che un bias assoluto, e nota le limitazioni quali le differenze nei database (Web of Science vs. Scopus) e la mancanza di decomposizione a livello di campo nei dati aggregati.

Contributi chiave

Introduzione del Rapporto di Distorsione (DR): Una nuova metrica per quantificare sistematicamente la divergenza a livello nazionale tra la lista HCR e la classifica Stanford.
Evidenza empirica di un bias sistematico: Lo studio fornisce prove statistiche che la metodologia HCR produce distorsioni significative per specifiche nazioni, attribuendole ai vantaggi strutturali nelle grandi collaborazioni e alle pratiche di citazione specifiche per campo.
Validazione statistica: Calcolando gli intervalli di confidenza, il documento distingue tra risultati statisticamente robusti e quelli che potrebbero essere artefatti della variazione del campionamento, avvertendo di non sovrainterpretare le stime puntuali per i paesi con campioni piccoli.
Quadro di riforma: Il documento sintetizza la letteratura scientometrica esistente in una proposta di riforma a tre pilastri per la lista HCR.

Risultati
L'analisi dei dati 2024 rivela variazioni sostanziali nei Rapporti di Distorsione tra i paesi:

Cina Continentale: Registra il DR più alto del campione (2,10 per il dataset annuale; 8,05 per il dataset relativo all'intera carriera). L'intervallo di confidenza al 95% [1,99, 2,21] conferma che questa sovrarappresentazione è statisticamente robusta. Il documento suggerisce che ciò sia probabilmente guidato dall'inflazione del conteggio intero nelle grandi reti collaborative e dalla concentrazione in campi ad alta citazione.
Sottorappresentazione statisticamente robusta: Diversi paesi mostrano valori di DR significativamente inferiori a 1,0 con intervalli di confidenza che escludono l'1,0, indicando che sono sottorappresentati nella lista HCR rispetto alle loro prestazioni in Stanford. Questi includono:
- Norvegia: DR = 0,46 (CI [0,24, 0,68])
- Italia: DR = 0,65 (CI [0,52, 0,77])
- Giappone: DR = 0,69 (CI [0,53, 0,85])
- Svezia: DR = 0,74 (CI [0,54, 0,94])
- Canada: DR = 0,76 (CI [0,66, 0,87])
- Regno Unito: DR = 0,87 (CI [0,80, 0,95])
Casi statisticamente indeterminati: Per 11 dei 20 paesi (inclusi Germania, Francia e Australia), gli intervalli di confidenza al 95% attraversano il valore nullo di 1,0. Per queste nazioni, le stime puntuali non possono essere distinte dalla parità, e il documento consiglia cautela nel trarre conclusioni politiche senza una replica longitudinale.
Discrepanza dei Premi Nobel: Il documento ribadisce che la lista HCR include solo circa il 10% dei vincitori del Nobel, mentre la classifica Stanford (che utilizza il conteggio frazionato e la disambiguazione) ne include oltre il 90%.

Significatività e affermazioni
Il documento afferma che l'attuale metodologia HCR non riflette accuratamente l'impatto scientifico individuale a causa del suo affidamento sul conteggio intero e su una normalizzazione di campo insufficiente. Sostiene che questi difetti metodologici si propagano nelle classifiche istituzionali (come l'Academic Ranking of World Universities) e influenzano le decisioni su finanziamenti e assunzioni.

Lo studio propone un Quadro di Riforma a Tre Pilastri per affrontare questi problemi:

Conteggio Frazionato Obbligatorio: Sostituire il conteggio intero per garantire che il credito di citazione sia diviso tra i coautori, riducendo così il vantaggio delle grandi reti collaborative.
Normalizzazione Cross-Field Robusta: Adottare una classificazione di campo più granulare (es. i 54 campi utilizzati da ARWU) e applicare la normalizzazione del percentile all'interno di ogni campo per eliminare i bias strutturali tra le discipline.
Disambiguazione dell'Autore ed Esclusione delle Autocitazioni: Implementare un'identificazione rigorosa degli autori (es. tramite ORCID) ed escludere le autocitazioni per prevenire l'inflazione artificiale dell'impatto.

Il documento conclude che, sebbene la lista HCR rimanga un indicatore prominente, essa debba essere interpretata con "considerabile cautela" finché tali riforme non verranno adottate. Sottolinea che i risultati riguardanti Cina, USA, Regno Unito, Canada, Italia, Belgio, Giappone e Svezia sono statisticamente abbastanza robusti da richiedere attenzione immediata, mentre i risultati per altri paesi richiedono ulteriori studi longitudinali. L'analisi non pretende che il dataset Stanford sia una "verità assoluta" (ground truth), ma lo utilizza come riferimento metodologico di contrasto per evidenziare la sistematica discordanza nell'approccio HCR.