📊 statistics

Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

Il presente lavoro propone un modello statistico che, tenendo conto dell'omogeneità interna dei dipartimenti e adattandosi a dati censurati tramite una nuova distribuzione "Betoidal", genera una versione corretta dell'Indice Standardizzato di Performance Dipartimentale (ISPD) che riduce la polarizzazione delle classifiche accademiche italiane rispetto alle metodologie esistenti.

Autori originali: Giorgio E. Montanari, Marco Doretti

Pubblicato 2026-04-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Giorgio E. Montanari, Marco Doretti

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🏆 La Gara dei Dipartimenti Universitari: Perché la classifica attuale è "truccata"

Immagina che l'Italia sia un grande torneo di calcio dove ogni Dipartimento Universitario è una squadra. L'obiettivo è capire quali squadre sono le migliori per distribuire i premi in denaro (i fondi pubblici).

Per farlo, l'agenzia di valutazione (ANVUR) guarda i "gol" segnati dai professori (le loro ricerche pubblicate) e calcola una media. Sulla base di questa media, assegna un punteggio da 0 a 100. Chi ha il punteggio più alto vince.

Il problema? La classifica attuale è strana.
Mentre ci si aspetterebbe una distribuzione normale (alcune squadre molto forti, molte nella media, alcune deboli), la classifica italiana assomiglia a una campana rovesciata o a una "U". Troppi dipartimenti finiscono con il punteggio massimo (100) o minimo (0), e pochissimi stanno nel mezzo. È come se in una partita di calcio, il 90% delle squadre finisse o con 10 gol o con 0, e nessuno segasse mai 3 o 4. Questo rende impossibile distinguere davvero chi è il migliore.

🔍 Il vero colpevole: L'effetto "Famiglia"

Gli autori del paper, Montanari e Doretti, hanno scoperto il motivo di questo strano comportamento. Hanno notato che la statistica usata finora ha un difetto fondamentale: presume che ogni ricerca sia indipendente dalle altre.

Facciamo un'analogia:
Immagina di valutare le prestazioni di una squadra di calcio.

Il metodo vecchio: Immagina che ogni giocatore sia un giocatore solitario che gioca in un campo diverso, senza parlare con gli altri. Se un giocatore fa un gol, è pura fortuna o talento individuale, non influenzato dai compagni.
La realtà: In un dipartimento universitario, i professori lavorano insieme, condividono laboratori, discutono idee e si influenzano a vicenda. Se un professore produce una ricerca eccellente, è probabile che anche i suoi colleghi dello stesso dipartimento lo facciano, perché hanno lo stesso ambiente, le stesse risorse e la stessa cultura.

In statistica, questo si chiama correlazione interna. Le ricerche di uno stesso dipartimento non sono "indipendenti", sono "cugine".

📏 Il problema della dimensione: I Giganti vs I Piccoli

Ecco dove la classifica attuale sbaglia in modo ingiusto:

I Dipartimenti Giganti (Molti professori): Hanno molte ricerche. Poiché le ricerche sono correlate (tendono a essere tutte buone o tutte cattive insieme), la media del dipartimento "esplode" verso gli estremi. Se sono bravi, diventano super bravi (punteggio 100). Se sono mediocri, diventano super mediocri (punteggio 0). La statistica attuale non tiene conto di questa "forza di gruppo", quindi premia o punisce eccessivamente i grandi dipartimenti.
I Dipartimenti Piccoli: Hanno meno ricerche. La loro media è più stabile e meno soggetta a queste oscillazioni estreme.

Il risultato? La classifica favorisce ingiustamente i grandi dipartimenti, spingendoli agli estremi, e non riesce a distinguere bene quelli che stanno nel mezzo. È come se in una gara di corsa, chi corre in gruppo (i grandi dipartimenti) venisse premiato in modo sproporzionato rispetto a chi corre da solo, solo perché il gruppo ha più possibilità di fare un "tempo perfetto" o "disastroso" insieme.

💡 La Soluzione: La "Squadra Corretta"

Gli autori propongono un nuovo modo di calcolare il punteggio, che chiamiamo ISPD Aggiustato.

Immagina di dover valutare una squadra. Invece di guardare solo la media dei gol, devi chiederti: "Quanto sono legati tra loro questi giocatori?"

Se i giocatori sono molto legati (alta correlazione), il loro punteggio medio è meno affidabile come indicatore di talento puro, perché è "gonfiato" dalla loro coesione.
Se sono meno legati, il punteggio è più "pulito".

Il nuovo modello fa due cose:

Misura la "famigliarità": Calcola quanto le ricerche di un dipartimento sono correlate tra loro. Scoprono che più un dipartimento è grande, più le sue ricerche tendono a essere diverse tra loro (perché ci sono più gruppi diversi), ma comunque c'è una correlazione che va corretta.
Ricalibra il punteggio: Usano una nuova formula matematica (basata su una distribuzione chiamata "Betoidale", che è come una versione speciale della curva a campana) per "sgonfiare" i punteggi estremi dei grandi dipartimenti e dare una chance equa a tutti.

🎲 Cosa dice lo studio?

Hanno fatto un esperimento al computer (una simulazione):

Hanno creato migliaia di dipartimenti finti con le stesse regole del mondo reale.
Hanno calcolato la classifica con il metodo vecchio e con quello nuovo.
Risultato: Il metodo vecchio ha fatto un disastro, creando molte "parità" forzate e punteggi estremi. Il nuovo metodo ha ricostruito la classifica quasi perfettamente, distinguendo chi era davvero bravo da chi era solo "fortunato" o "sfortunato" per la dimensione della sua squadra.

🏁 In conclusione

Questo studio ci dice che quando si assegnano soldi pubblici basandosi su classifiche, la matematica deve essere onesta.
Non si può trattare un dipartimento di 200 professori come se fosse un gruppo di 200 persone che lavorano da sole. Bisogna riconoscere che lavorano insieme.

Se non si corregge questo errore, si rischia di:

Dare soldi a chi non li merita solo perché è grande.
Punire chi è bravo ma piccolo.
Creare una classifica che non dice la verità.

La proposta degli autori è un modo per rendere la gara più equa, trasparente e giusta per tutti, assicurando che i premi vadano al vero merito e non alla semplice dimensione dell'organizzazione.

Titolo

Modellazione dell'omogeneità intra-dipartimentale nei ranking di qualità della ricerca: un'applicazione all'ISPD italiano

1. Il Problema

Il paper analizza il sistema di valutazione e ranking dei dipartimenti universitari italiani, basato sull'Indice Standardizzato di Performance Dipartimentale (ISPD), calcolato dall'ANVUR (Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca).
Il problema centrale identificato dagli autori è la marcata tendenza alla polarizzazione dei risultati dell'ISPD. I dati empirici delle edizioni 2017 e 2022 mostrano una distribuzione a "U" dei punteggi, con un'eccessiva concentrazione di dipartimenti ai valori estremi (0 e 100), riducendo la capacità discriminante dell'indice.

La causa statistica di questo fenomeno, finora non esplorata, è l'omogeneità intra-dipartimentale (correlazione) dei punteggi delle produzioni scientifiche.

Assunzione errata: Il metodo ANVUR attuale assume che i punteggi standardizzati delle produzioni scientifiche (SP) all'interno di uno stesso dipartimento siano indipendenti.
Realtà: I punteggi sono correlati perché provengono da ricercatori dello stesso dipartimento, spesso affiliati agli stessi settori disciplinari o gruppi di ricerca.
Conseguenza: Questa correlazione positiva ( $\rho_d > 0$ ) fa sì che la varianza della "media scalata" ( $\tilde{z}_d$ ) aumenti con la dimensione del dipartimento ( $N_d$ ). Di conseguenza, i dipartimenti più grandi tendono ad avere punteggi ISPD più estremi (polarizzazione), mentre le comparazioni tra dipartimenti di dimensioni diverse diventano ingiuste, penalizzando o favorendo arbitrariamente certi istituti.

2. Metodologia

Gli autori propongono un approccio statistico per correggere l'ISPD tenendo conto della correlazione intra-dipartimentale.

Modellazione della Correlazione:
Viene introdotto un modello in cui il coefficiente di correlazione intra-classe ( $\rho_d$ ) è una funzione della dimensione del dipartimento ( $N_d$ ). Si ipotizza che $\rho_d$ diminuisca all'aumentare di $N_d$ (dipartimenti più grandi sono più eterogenei).
Il modello proposto è il Full Correlation Model (FCM):
$\text{logit}(\rho_d) \approx \alpha + \beta(N_d - 1)$
dove $\beta < 0$ conferma l'ipotesi di correlazione decrescente con la dimensione.
Stima dei Parametri:
Poiché i dati micro (singoli punteggi delle pubblicazioni) non sono pubblici, gli autori sviluppano un metodo di Massima Verosimiglianza (ML) basato sui dati macro (gli ISPD stessi), che sono soggetti a:
1. Arrotondamento: Gli ISPD sono arrotondati al mezzo intero.
2. Troncamento: Per l'edizione 2022, sono disponibili solo i top 350 dipartimenti.
Nuova Distribuzione Probabilistica (Betoidal):
Per gestire l'arrotondamento e il troncamento, gli autori introducono una nuova distribuzione chiamata Betoidal. Essa deriva dalla trasformazione di una variabile normale standardizzata attraverso la funzione di distribuzione normale cumulativa ( $\Phi$ ).
- Se $\sigma=1$ , la distribuzione è Uniforme.
- Se $\sigma > 1$ (caso reale con correlazione), la densità diventa a forma di U, simile a una distribuzione Beta simmetrica con parametri $a < 1$ .
  Questa distribuzione permette di calcolare la verosimiglianza esatta dei dati ISPD osservati, tenendo conto della struttura di correlazione latente.
Correzione dell'Indice:
L'ISPD corretto ( $ISPD^{fcm}$ ) viene calcolato standardizzando la media scalata osservata dividendo per la deviazione standard stimata $\hat{\sigma}_d = \sqrt{1 + \hat{\rho}_d(N_d - 1)}$ , ripristinando la comparabilità tra dipartimenti di diverse dimensioni.

3. Contributi Chiave

Identificazione della causa statistica della polarizzazione: Dimostrazione formale che la polarizzazione dell'ISPD è un artefatto statistico derivante dall'ignorare la correlazione intra-dipartimentale, non un riflesso reale della qualità.
Sviluppo della distribuzione Betoidal: Introduzione di una nuova distribuzione statistica adatta a modellare dati arrotondati e troncati derivanti da trasformazioni normali, essenziale per l'analisi dei dati pubblici ANVUR.
Metodologia di stima robusta: Un framework di stima ML che funziona senza accesso ai dati micro (singole pubblicazioni), utilizzando solo i ranking pubblici e le dimensioni dei dipartimenti.
Proposta di un indice corretto: Definizione di un nuovo indice ( $ISPD^{fcm}$ ) che elimina la distorsione legata alla dimensione e alla correlazione interna.

4. Risultati

Stima Empirica (2017 e 2022):
- L'analisi conferma la presenza significativa di correlazione intra-dipartimentale ( $\rho_d > 0$ ).
- Il parametro $\beta$ è statisticamente negativo, confermando che la correlazione media diminuisce all'aumentare della dimensione del dipartimento.
- I test del rapporto di verosimiglianza (LRT) rifiutano fortemente il modello a correlazione nulla (quello usato dall'ANVUR) e il modello a correlazione costante, a favore del modello FCM.
- I valori stimati di $\sigma_d$ sono significativamente maggiori di 1, spiegando la dispersione eccessiva e la polarizzazione osservata.
Studio di Simulazione:
Gli autori hanno simulato 1000 dataset basati sulla struttura reale dei dati 2017.
- Confronto: L'indice corretto ( $ISPD^{fcm}$ ) è stato confrontato con l'ISPD originale, una versione non parametrica ( $ISPD^{np}$ ) e una basata su un modello a effetti casuali ( $ISPD^{rim}$ ).
- Performance: L'indice corretto ( $ISPD^{fcm}$ ) ha mostrato la minima Deviazione Assoluta Media (MAD) rispetto alla "verità" simulata e il minor numero di Confronti Discordanti (PDC).
- L'ISPD originale e la versione non parametrica hanno mostrato scarse prestazioni, confermando che l'aggiustamento basato sul modello di correlazione è superiore anche rispetto a metodi che richiedono dati micro non disponibili.
- La distribuzione dell'indice corretto è risultata molto più uniforme, eliminando la polarizzazione artificiale.

5. Significato e Implicazioni

Equità e Giustizia: L'attuale ISPD penalizza sistematicamente i dipartimenti di grandi dimensioni o con alta coesione interna, assegnando loro punteggi estremi non giustificati dalla qualità reale. La correzione proposta rende il ranking equo e comparabile.
Trasparenza e Accountability: Il paper evidenzia che le scelte metodologiche negli indici di valutazione hanno conseguenze distributive concrete (allocazione di fondi pubblici). Ignorare la struttura di correlazione porta a bias sistematici.
Impatto Politico: Poiché l'ISPD determina l'accesso ai fondi per i "Dipartimenti di Eccellenza", l'uso di un indice non corretto distorce gli incentivi per le università e mina la legittimità del sistema di valutazione.
Generalizzabilità: L'approccio e la distribuzione Betoidal possono essere applicati ad altri sistemi di valutazione della ricerca a livello globale che utilizzano indici aggregati basati su punteggi standardizzati.

In conclusione, il paper dimostra che il corretto modeling della correlazione intra-dipartimentale non è un semplice raffinamento statistico, ma una condizione necessaria per garantire l'integrità, la trasparenza e l'equità dei sistemi di finanziamento della ricerca basati sulla performance.