Efficient Threshold-based Model for Scientific Productivity Evaluation: a Proposal

Sintesi Tecnica: Modello Efficiente Basato su Soglie per la Valutazione della Produttività Scientifica

Definizione del Problema
Gli attuali sistemi di valutazione della ricerca, in particolare in Italia, affrontano sfide significative riguardanti l'intensità delle risorse, il ritardo temporale e la complessità. I principali meccanismi nazionali di valutazione — la Valutazione della Qualità della Ricerca (VQR) e l'Abilitazione Scientifica Nazionale (ASN) — sono rigorosi ma richiedono ingenti risorse finanziarie e temporali. La VQR, ad esempio, opera su cicli pluriennali (tipicamente coprendo un periodo di tre anni con un processo di valutazione di un anno), il che comporta dati non completamente aggiornati rispetto alla produttività scientifica attuale. Inoltre, mentre la Vquera valuta le istituzioni, l'ASN valuta i singoli, creando un panorama frammentato dove il monitoraggio continuo e a basso costo delle prestazioni istituzionali è difficile da attuare. Vi è la necessità di uno strumento snello ed efficiente che sfrutti i dati esistenti per fornire approfondimenti in tempo reale, trasparenti e conformi alla privacy, senza richiedere nuove raccolte dati o complessi carichi algoritmici.

Metodologia
Gli autori propongono un modello semplificato, basato su soglie, che utilizza l'attuale quadro dell'Abilitazione Scientifica Nazionale (ASN). La metodologia si basa sui "valori di soglia" già calcolati dal Ministero dell'Università e della Ricerca (MUR) per i diversi livelli accademici (Professore Associato, Professore Associato, Professore Ordinario) e settori scientifici (bibliometrici e non bibliometrici).

I componenti tecnici centrali del modello sono:

1. Fonti di Dati:

   • Triplette di Soglia ($T$): Valori di soglia ASN ufficiali per il successivo livello accademico (ad esempio, un Professore Associato viene valutato rispetto alle soglie del Professore Ordinario; un Professore Ordinario rispetto ai valori dei Membri di Commissione); queste includono tre indicatori:
     • Settori bibliometrici: Numero di articoli, citazioni totali e h-index.
     • Settori non bibliometrici: Numero di articoli/contributi, numero di articoli in riviste di Classe A e numero di monografie.
   • Triplette di Valore Reale ($t$): Dati in tempo reale per i singoli ricercatori recuperati dal sistema informativo della ricerca istituzionale (IRIS).

2. Indice di Produttività Individuale (PI):
   Per ogni ricercatore $S_i$, viene calcolato un Indice di Produttività come la media aritmetica dei rapporti tra i loro valori reali e le corrispondenti soglie del livello successivo:
   $$PI(S_i) = \frac{1}{3} \sum_{j=1}^{3} \frac{t^i_j}{T^i_j}$$

   • Un valore $< 1$ indica una prestazione al di sotto della soglia media.
   • Un valore $\ge 1$ indica il raggiungimento o il superamento della soglia.
   • Nei casi in cui una soglia sia pari a zero, l'indicatore viene escluso e la media viene ricalcolata sui valori rimanenti.

3. Aggregazione Dipartimentale e Istituzionale:

   • Indice di Produttività Dipartimentale (DPI): La media aritmetica dei punteggi $PI(S_i)$ di tutti i $n$ studiosi in un dipartimento.
   • Metriche a Livello Universitario: Una media ponderata ($\bar{X}$) è calcolata tra tutti i dipartimenti, ponderata per il numero di docenti ($n_j$) in ciascun dipartimento.
   • Metriche di Dispersione: Per valutare l'omogeneità, il modello calcola la deviazione standard ponderata ($WST$) e il Coefficiente di Variazione ($CoV$).

4. Implementazione:
   Il modello è progettato per essere implementato tramite codice semplice (fornito come materiale supplementare) che interfaccia con il repository IRIS. Consente l'analisi disaggregata per settore scientifico, livello accademico o specifici gruppi di docenti (ad esempio, personale di nuova assunzione).

Contributi Chiave

• Immediata Applicabilità: Il modello non richiede nuove raccolte dati, poiché si basa interamente su dati già presenti nelle tabelle ministeriali e nel database IRIS.
• Monitoraggio in Tempo Reale: A differenza della VQR, che fornisce un'istantanea retrospettiva, questo modello offre una visione costantemente aggiornabile della produttività che cambia quotidianamente man mano che i ricercatori aggiornano i loro profili IRIS.
• Granularità e Flessibilità: Il framework consente analisi di "drill-down", permettendo confronti tra specifici settori scientifici, livelli accademici o sottogruppi all'interno di un'istituzione.
• Conformità alla Privacy: Il modello genera indicatori istituzionali aggregati (DPI) senza richiedere la divulgazione pubblica degli indici di produttività dei singoli ricercatori, aderendo così ai vincoli di privacy.
• Adattabilità Disciplinare: Utilizzando soglie specifiche per settore, il modello tiene intrinsecamente conto dell'eterogeneità tra i campi bibliometrici (STEM) e non bibliometrici (Umanistica/Sociale).

Risultati
L'articolo presenta una simulazione del modello applicato a un dipartimento virtuale e un'analisi di casi studio su nove università italiane (categorizzate come grandi, medie e piccole), utilizzando un mix di dati reali e simulati per garantire l'anonimato.

• Simulazione: Un dipartimento virtuale di dieci studiosi ha prodotto un DPI di 1,24, indicando una produttività complessiva superiore alle soglie nazionali, sebbene gli studiosi individuali abbiano mostrato variazioni (alcuni sotto l'1,0).
• Analisi Universitaria:
  • L'analisi ha dimostrato che una media ponderata elevata non implica necessariamente un'eccellenza uniforme; le elevate deviazioni standard e i Coefficienti di Variazione hanno rivelato significative disparità tra i dipartimenti all'interno della stessa università.
  • Ad esempio, l'"Università Grande 1" aveva una media alta ma un'elevata dispersione, guidata da pochi dipartimenti ad alte prestazioni, mentre l'"Università Media 3" mostrava un'elevata variabilità con meno della metà dei suoi dipartimenti che superavano la soglia.
  • La suddivisione per livello accademico ha rivelato che i Professori Associati e i Professori Associati (di grado inferiore) spesso esibiscono indici di produttività più elevati rispetto alle soglie, probabilmente spinti dagli incentivi alla progressione di carriera, mentre i Professori Ordinari hanno mostrato indici leggermente inferiori, potenzialmente a causa di diversi ruoli istituzionali o metriche di valutazione interna.
  • Il modello ha identificato con successo "sacche di eccellenza" e aree di sottoperformance all'interno delle stesse istituzioni.

Significatività e Rivendicazioni
Gli autori posizionano questo lavoro non come un sostituto delle valutazioni nazionali complete e sottoposte a revisione paritaria come la VQR, ma come uno strumento complementare e a basso costo per il monitoraggio dinamico e continuo.

• Valore Strategico: Il modello funge da "strato di monitoraggio intermedio e dinamico" che può informare la governance interna, supportare la pianificazione della carriera individuale e aiutare le istituzioni a rilevare tempestivamente problemi critici o sacche di eccellenza.
• Efficienza: Offre una soluzione pragmatica per le istituzioni che desiderano tracciare le prestazioni della ricerca senza i sostanziali costi di tempo e personale associati alle valutazioni su larga scala.
• Generalizzabilità: Sebbene sviluppata nel contesto italiano, gli autori affermano che la metodologia è esportabile in altri contesti nazionali che utilizzano sistemi di valutazione basati su soglie o dati di pubblicazione, a condizione che siano disponibili dati comparabili.
• Trasparenza: Sfruttando soglie esistenti e trasparenti, il modello mira a ridurre l'opacità spesso associata ad algoritmi di valutazione complessi, promuovendo una cultura di responsabilità e miglioramento continuo.

L'articolo conclude che questo approccio basato sulle soglie fornisce una misura compatta, interpretabile e sensibile della prestazione della ricerca che rispetta la diversità disciplinare e le fasi della carriera, offrendo un quadro sostenibile per perfezionare le strategie di valutazione a livello globale.