EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

Le università sono luoghi vasti e ricchi di dati che spesso faticano a trasformare l'enorme volume di informazioni raccolte in azioni significative. Ogni anno, studenti, docenti, alumni, genitori e datori di lavoro compilano moduli, scrivono commenti e siedono in commissioni per discutere l'efficacia di un curriculum. Questo feedback è la linfa vitale della garanzia della qualità, eppure in molte istituzioni esso si perde in una nebbia di letture manuali, semplici grafici percentuali e verbali di commissione difficili da ricollegare a decisioni specifiche. La sfida centrale non è la mancanza di informazioni, ma la mancanza di chiarezza: come si possono prendere migliaia di voci individuali, ognuna con una prospettiva e un modo di esprimersi diverso, e tradurle in un piano di miglioramento chiaro, equo e azionabile?

È qui che interviene il campo del data mining educativo, tentando di usare i computer per trovare schemi nel feedback umano. Tuttavia, chiedere semplicemente a un computer di stabilire se un commento sia "buono" o "cattivo" è spesso uno strumento troppo rozzo. Uno studente potrebbe lodare l'energia di un docente pur lamentando contemporaneamente che il corso manca di progetti reali. Per essere utile, un sistema deve comprendere queste sfumature, identificare esattamente quale parte del curriculum viene discussa e spiegare perché è giunto a tale conclusione. Inoltre, poiché queste decisioni influenzano l'istruzione e la carriera di persone reali, il sistema non può essere una scatola nera; deve essere abbastanza trasparente da permettere ai leader umani di fidarsi dei suoi suggerimenti e verificarne l'equità.

Ricercatori dell'MIT Art, Design & Technology University in India hanno sviluppato un nuovo framework chiamato EMSEIF per risolvere questo problema. Piuttosto che costruire semplicemente un altro strumento che predice i risultati, hanno creato un sistema completo che collega il feedback grezzo a cambiamenti concreti del curriculum, mantenendo l'essere umano al comando della decisione finale. Il team ha testato il loro sistema utilizzando un enorme dataset reale: i record annuali di garanzia della qualità 2023–24 della loro stessa università. Questo archivio era un documento di 1.542 pagine contenente migliaia di moduli di feedback, tabelle di valutazione e lettere ufficiali. I ricercatori hanno convertito l'intero archivio in una biblioteca digitale strutturata di 8.742 singole unità di feedback, assicurandosi che ogni dato fosse etichettato con chi lo avesse espresso, da quale dipartimento provenisse e quale tema specifico affrontasse.

Il cuore del sistema è la sua capacità di ascoltare diverse voci senza appiattirle. In un'università tipica, uno studente potrebbe chiedere più "pratica pratica", mentre un datore di lavoro potrebbe chiedere "esposizione all'industria". Questi suonano diversi, ma stanno chiedendo la stessa cosa. I ricercatori hanno insegnato al loro sistema a riconoscere questi diversi modi di parlare e a raggrupparli sotto un tema comune, come "esposizione pratica". Hanno anche costruito una mappa digitale, nota come grafo della conoscenza, che collega questi temi a corsi specifici e obiettivi di apprendimento. Ciò consente al sistema di vedere che una richiesta di "più progetti" in un dipartimento è collegata a una richiesta di "migliori attrezzature" in un altro, creando un quadro unificato di ciò che deve cambiare.

Per garantire che il sistema sia affidabile, i ricercatori lo hanno progettato affinché sia spiegabile. Quando il computer suggerisce un cambiamento, non fornisce solo una risposta sì o no. Invece, produce una "scheda di evidenza" che mostra esattamente quali parole nel feedback hanno portato al suggerimento, quanto il sistema è fiducioso e se le persone appartenenti a gruppi diversi — come studenti e datori di lavoro — concordano sul problema. Se il sistema rileva che sta trattando un gruppo di persone in modo iniquo, segnala la questione per la revisione umana prima che venga fatta qualsiasi raccomandazione. Questo approccio "human-in-the-loop" significa che il computer gestisce il lavoro pesante di smistamento e analisi dei dati, ma un leader accademico umano deve sempre approvare l'azione finale.

I risultati dello studio hanno dimostrato che questo approccio funziona significativamente meglio dei metodi precedenti. Testato contro i modelli informatici standard, il nuovo sistema è stato molto più accurato nell'identificare problemi specifici del curriculum e nel prevedere quale feedback fosse azionabile. Ha identificato con successo tre aree principali in cui tutti gli stakeholder concordavano sulla necessità di un cambiamento: la necessità di un apprendimento più pratico e manuale; la necessità di aggiornare le competenze in intelligenza artificiale e strumenti digitali; e la necessità di preparare meglio gli studenti al mercato del lavoro. Ad esempio, il sistema ha scoperto che, sebbene gli studenti di un programma di aerospazio fossero generalmente soddisfatti, desideravano specificamente un maggiore accesso a modelli di aeromobili e visite sul campo, un dettaglio che potrebbe essere passato inosservato in un semplice punteggio di soddisfazione generale.

Fondamentalmente, lo studio ha dimostrato che il sistema può mantenere l'equità tra i diversi gruppi. Prima delle regolazioni, il sistema mostrava piccoli bias in cui poteva essere meno accurato per determinati dipartimenti o ruoli di stakeholder. Applicando correzioni specifiche, i ricercatori hanno ridotto questi divari a un livello che soddisface la rigorosa governance, garantendo che nessuna singola voce venisse sistematicamente ignorata. Il sistema ha anche dimostrato di poter allineare i suoi suggerimenti con le azioni effettivamente intraprese dall'università. Quando i ricercatori hanno confrontato le raccomandazioni del computer con le lettere ufficiali di "azione intrapresa" e i verbali delle commissioni dell'università, hanno trovato una forte corrispondenza, provando che il sistema non stava solo generando idee, ma identificava proprio i cambiamenti che l'istituzione stava già cercando di attuare.

I ricercatori tengono presente che questo non è un bacchetta magica che risolve automaticamente tutti i problemi educativi. Il sistema è uno strumento di supporto, non un sostituto del giudizio umano. Non può decidere quale sia il miglior curriculum; può solo organizzare le prove in modo che le persone che prendono tali decisioni possano vedere chiaramente il quadro completo. Lo studio sottolinea anche che, sebbene il sistema abbia funzionato bene all'interno di questa specifica università, applicarlo altrove richiederebbe aggiustamenti locali per adattarsi a diverse culture e regole. Tuttavia, il lavoro fornisce un modello chiaro e riproducibile di come le università possano passare dalla raccolta del feedback al suo effettivo utilizzo, chiudendo il cerchio tra ciò che le persone dicono e ciò che le istituzioni fanno.

In definitiva, lo studio offre un nuovo modo di intendere la garanzia della qualità. Suggerisce che il valore del feedback non risiede nel punteggio finale o nella valutazione media, ma nelle prove specifiche e azionabili nascoste nei commenti. Combinando l'analisi informatica avanzata con la supervisione umana e un impegno per l'equità, i ricercatori hanno dimostrato che è possibile trasformare una caotica montagna di scartoffie in un percorso chiaro e navigabile per il miglioramento. Il sistema non dice solo alle università cosa non va; mostra loro esattamente dove guardare, perché è importante e come ripararlo, mantenendo al contempo la voce umana al centro del processo.