Evidence governance and boundary diagnosis in domain-specific university education quality evaluation: a robust fuzzy decision-support study

Sintesi Tecnica: Governance delle Evidenze e Diagnosi dei Confini nella Valutazione della Qualità dell'Istruzione Universitaria in Ambito Specifico

Definizione del Problema
La valutazione della qualità universitaria si affida sempre più a fonti di evidenza eterogenee, tra cui documenti istituzionali, giudizi di esperti, esperienze degli studenti, tracce digitali e indicatori di performance. Un problema centrale identificato nella letteratura è che tale evidenza è raramente completa o univoca, eppure i sistemi di valutazione la trasformano frequentemente in punteggi singoli o categorie rigide. Questo approccio riduzionista oscura l'incertezza e tratta la valutazione come un puro esercizio di misurazione piuttosto che come un processo di governance. Di conseguenza, le istituzioni possono incorrere nella "conformità performativa", dove gestiscono gli indicatori anziché migliorare la pratica, e i casi limite (istituzioni vicine alle soglie di categoria) vengono spesso interpretati come distinzioni qualitative nette quando sono in realtà fragili. L'articolo sostiene che la valutazione della qualità debba essere riformulata come governance delle evidenze: il processo istituzionale di selezione, traduzione, ponderazione e interpretazione di evidenze eterogenee per giustificare l'azione, piuttosto che limitarsi a generare una classifica.

Metodologia
Lo studio impiega un robusto framework di supporto decisionale fuzzy applicato a un dataset anonimizzato di 29 casi universitari provenienti da una valutazione della qualità dell'istruzione in un ambito specifico. La valutazione copre quattro dimensioni: leadership organizzativa, supporto delle risorse, sviluppo del personale e ambiente educativo. La metodologia consiste in tre elementi analitici collegati:

1. Codifica che Preserva l'Incertezza: Invece di assegnare punteggi precisi, l'evidenza è rappresentata come valori fuzzy-number intuitionistic fuzzy. Ogni dimensione è codificata come una terna per l'appartenenza (evidenza positiva) e una terna per la non appartenenza (evidenza negativa), preservando l'intervallo e l'incertezza dei giudizi degli esperti.
2. Verifiche di Robustezza dell'Ordine di Ponderazione: Lo studio utilizza un modello di aggregazione Fuzzy-Number Intuitionistic Fuzzy Weighted Maclaurin Symmetric Mean (FNIFWMSM). A differenza dei modelli additivi semplici, questo permette l'interazione tra le dimensioni (ad esempio, una debolezza in un'area non può sempre essere completamente compensata da un punto di forza in un'altra). Il modello testa la robustezza variando:
   • Ordine di Interazione ($k$): Confronto tra specifiche di secondo, terzo e quarto ordine per determinare come le interazioni tra dimensioni influenzano il punteggio finale.
   • Fusione dei Pesi ($\beta$): Combinazione di pesi soggettivi degli esperti e pesi CRITIC basati sui dati utilizzando un coefficiente di compromesso ($\beta$) compreso tra 0 e 1 per testare se i risultati dipendono da preferenze di ponderazione specifiche.
   • Perturbazione: Applicazione di rumore Gaussiano e cancellazione di casi (test di inversione del rango) per valutare la stabilità.
3. Diagnosi dei Confini: Dopo la classificazione, il framework calcola la distanza dal confine ($D_i$) per ogni caso rispetto alle soglie di categoria. Identifica i casi vicini alle soglie e diagnostica la dimensione specifica responsabile della loro posizione fragile, trasformando un esercizio di classificazione in uno strumento diagnostico per il miglioramento istituzionale.

Risultati Chiave

• Stabilità della Struttura: Sotto la specifica principale (interazione di terzo ordine, $\beta=0.50$), la struttura a tre categorie (A+, A, A-) è stabile. Le verifiche di robustezza confermano che il livello strutturale è preservato attraverso diversi ordini di interazione e scenari di fusione dei pesi (correlazioni di Kendall compresi tra 0.897 e 1.000).
• Fragilità dei Casi Limite: L'analisi rivela che i punteggi aggregati possono essere fuorvianti. Ad esempio, il Caso A5 (Punteggio: 0.8586, Categoria: A+) e il Caso A9 (Punteggio: 0.8569, Categoria: A) hanno punteggi quasi identici ma cadono su lati opposti della soglia A+/A.
  • A5 è limitato principalmente dal supporto delle risorse.
  • A9 è limitato principalmente dallo sviluppo del personale.
• Valore Diagnostico: Il framework dimostra che un semplice'etichetta di categoria è insufficiente. La diagnosi dei confini mostra che A5 richiede il consolidamento nel supporto delle risorse per garantire il suo status A+, mentre A9 richiede miglioramenti nello sviluppo del personale per salire di livello. Allo stesso modo, si dimostra che il Caso A13 (Categoria A) e il Caso A28 (Categoria A-) sono limitati dallo sviluppo del personale, impedendo loro di raggiungere categorie superiori nonostante una performance altrimenti solida.
• Sensibilità al Rumore: Sotto una perturbazione di rumore più forte, la coerenza del livello diminuisce leggermente (a circa l'88.67%), indicando che i casi vicini al confine rimangono sensibili alle perturbazioni dei dati. Gli autori interpretano questo non come un difetto, ma come una necessaria divulgazione dell'incertezza che dovrebbe innescare un intervento secondario dell'esperto piuttosto che una chiusura automatizzata.

Contributi Principali
L'articolo rivendica tre contributi primari:

1. Concettuale: Avanza il passaggio dal "punteggio di qualità" alla governance delle evidenze. Postula che la valutazione non sia una misurazione neutra, ma un processo di produzione di categorie attraverso la codifica, la ponderazione e la definizione di soglie. Rendere visibili questi passaggi costituisce una forma di governance che aumenta la responsabilità (accountability).
   2.Analitico: Rivaluta i casi limite. Invece di trattarli come outlier inconvenienti, lo studio sostiene che siano analiticamente preziosi perché rivelano dove le categorie sono più fragili e dove è necessaria l'attenzione della governance. Il framework trasforma questi casi in siti di apprendimento organizzativo.
2. Metodologico: Dimostra come gli strumenti computazionali (logica fuzzy, aggregazione simmetrica) possano supportare la ricerca nelle scienze sociali senza sostituire il giudizio umano. Il modello funge da percorso di evidenza trasparente e meccanismo di accountability, supportando l'interpretazione piuttosto che agire come decisore automatizzato.

Significato e Rivendicazioni
L'articolo posiziona il proprio lavoro all'interno del contesto più ampio della "quantificazione responsabile" e dell'uso delle evidenze nell'era dell'IA. Sostiene che, mentre le università si affidano sempre più a dati e strumenti computazionali, i sistemi di valutazione devono essere progettati per supportare l'apprendimento istituzionale, la responsabilità e la governance equa piuttosto che la semplice classificazione.

Gli autori affermano che il loro framework non rifiuta la misurazione, ma rifiuta l'assunto che la misurazione possa stare al di fuori dell'interpretazione. Esponendo l'incertezza e collegando le etichette di categoria a specifiche priorità di miglioramento (ad esempio, distinguendo tra vincoli di risorse e problemi di sviluppo del personale), lo studio mira a spostare la valutazione dalla logica "premio-punizione" verso una "conversazione di governance". La significatività risiede nel fornire un metodo per rendere l'evidenza incerta verificabile e per garantire che gli strumenti tecnici supportino, anziché oscurare, il giudizio istituzionale e la trasparenza.