EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

Universiteiten zijn uitgestrekte, door data rijke plekken die vaak worstelen met het omzetten van de enorme hoeveelheid verzamelde informatie in betekenisvolle actie. Elk jaar vullen studenten, docenten, alumni, ouders en werkgevers formulieren in, schrijven ze opmerkingen en zitten ze in commissies om te bespreken hoe goed een curriculum functioneert. Deze feedback is de levensader van kwaliteitsborging, maar in veel instellingen raakt het verloren in een mist van handmatige lezing, eenvoudige staafdiagrammen en commissieverslagen die moeilijk terug te leiden zijn naar specifieke beslissingen. De kernuitdaging is niet een gebrek aan informatie, maar een gebrek aan helderheid: hoe vertaal je duizenden individuele stemmen, elk met een ander perspectief en een andere manier van spreken, naar een duidelijk, eerlijk en actiegericht verbeterplan?

Dit is waar het vakgebied van educational data mining inspringt, in een poging om computers te gebruiken om patronen te vinden in menselijke feedback. Echter, een computer simpelweg vragen of een opmerking "goed" of "slecht" is, is vaak te bot een instrument. Een student kan de energie van een docent prijzen terwijl hij tegelijkertijd klaagt dat de cursus een gebrek heeft aan praktijkgerichte projecten. Om nuttig te zijn, moet een systeem deze nuances begrijpen, precies identificeren welk deel van het curriculum wordt besproken, en uitleggen waarom het tot die conclusie kwam. Bovendien, omdat deze beslissingen invloed hebben op de echte opleiding en carrière van mensen, mag het systeem geen black box zijn; het moet transparant genoeg zijn zodat menselijke leiders de suggesties kunnen vertrouwen en de eerlijkheid ervan kunnen verifiëren.

Onderzoekers aan de MIT Art, Design & Technology University in India hebben een nieuw framework ontwikkeld genaamd EMSEIF om dit probleem op te lossen. In plaats van alleen nog maar een hulpmiddel te bouwen dat uitkomsten voorspelt, creëerden zij een volledig systeem dat ruwe feedback verbindt met concrete curriculumwijzigingen, terwijl een mens de controle houdt over de uiteindelijke beslissing. Het team testte hun systeem met behulp van een enorme, real-world dataset: de jaarlijkse kwaliteitsborgingsverslagen van 2023–24 van hun eigen universiteit. Dit archief was een 1.542 pagina tellend document met duizenden feedbackformulieren, beoordelingstabellen en officiële brieven. De onderzoekers zetten dit volledige archief om in een gestructureerde digitale bibliotheek van 8.742 individuele feedbackunits, waarbij elk stuk data werd voorzien van een tag over wie het zei, uit welke afdeling het kwam en welk specifiek onderwerp het betrof.

Het hart van het systeem is het vermogen om naar verschillende stemmen te luisteren zonder ze plat te slaan. In een typische universiteit vraagt een student misschien om meer "praktijkervaring", terwijl een werkgever vraagt om "blootstelling aan de industrie". Dit klinkt verschillend, maar ze vragen in feite om hetzelfde. De onderzoekers hebben hun systeem geleerd om deze verschillende manieren van spreken te herkennen en ze onder een gemeenschappelijk thema te groeperen, zoals "praktische blootstelling". Ze bouwden ook een digitale kaart, een kennisgrafiek genoemd, die deze thema's verbindt met specifieke cursussen en leerdoelen. Dit stelt het systeem in staat om te zien dat een verzoek om "meer projecten" in de ene afdeling verbonden is met een verzoek om "betere apparatuur" in een andere, wat een verenigd beeld creëert van wat er moet veranderen.

Om het systeem betrouwbaar te maken, hebben de onderzoekers het ontworpen om uitlegbaar te zijn. Wanneer de computer een verandering suggereert, geeft het niet alleen een ja- of nee-antwoord. In plaats daarvan produceert het een "bewijskaart" die precies laat zien welke woorden in de feedback hebben geleid tot de suggestie, hoe zeker het systeem is, en of mensen uit verschillende groepen — zoals studenten en werkgevers — het eens zijn over het onderwerp. Als het systeem detecteert dat het bepaalde groepen mensen onrechtvaardig behandelt, markeert het dit voor menselijke beoordeling voordat er een aanbeveling wordt gedaan. Deze "human-in-the-loop"-benadering betekent dat de computer het zware werk van het sorteren en analyseren van gegevens afhandelt, maar dat een menselijke academische leider altijd de uiteindelijke actie moet goedkeuren.

De resultaten van de studie lieten zien dat deze aanpak aanzienlijk beter werkt dan oudere methoden. Bij testen tegenover standaard computermodellen was het nieuwe systeem veel nauwkeuriger in het identificeren van specifieke curriculumproblemen en het voorspellen welke feedback actiegericht was. Het identificeerde succesvol drie belangrijke gebieden waar alle belanghebbenden het eens waren over de noodzaak tot verandering: de behoefte aan meer praktisch, hands-on leren; de behoefte aan het bijwerken van vaardigheden op het gebied van kunstmatige intelligentie en digitale tools; en de behoefte om studenten beter voor te bereiden op de arbeidsmarkt. Zo vond het systeem bijvoorbeeld dat hoewel studenten in een luchtvaartprogramma over het algemeen tevreden waren, zij specifiek meer toegang wilden tot vliegtuigmodellen en veldbezoeken, een detail dat mogelijk gemist zou worden in een eenvoudige algemene tevredenheidsscore.

Cruciaal was dat de studie aantoonde dat het systeem de eerlijkheid over verschillende groepen kon handhaven. Voordat er aanpassingen werden gedaan, vertoonde het systeem kleine vooroordelen waarbij het mogelijk minder accuraat was voor bepaalde afdelingen of stakeholderrollen. Door specifieke correcties toe te passen, brachten de onderzoekers deze kloven terug naar een niveau dat voldeed aan strikte governance-standaarden, waardoor werd gewaarborgd dat geen enkele stem systematisch werd genegeerd. Het systeem bewees ook dat het zijn suggesties kon afstemmen op de daadwerkelijke acties die door de universiteit werden ondernomen. Toen de onderzoekers de aanbevelingen van de computer vergeleken met de officiële "actie-ondernomen"-brieven en commissieverslagen van de universiteit, vonden zij een sterke overeenkomst, wat bewees dat het systeem niet alleen ideeën genereerde, maar ook de zeer veranderingen identificeerde die de instelling al probeerde door te voeren.

De onderzoekers merken zorgvuldig op dat dit geen toverstaf is die alle onderwijsproblemen automatisch oplost. Het systeem is een ondersteunend hulpmiddel, geen vervanging voor menselijk oordeel. Het kan niet beslissen wat het beste curriculum is; het kan enkel de bewijslast organiseren zodat de mensen die deze beslissingen nemen het volledige beeld duidelijk kunnen zien. De studie benadrukt ook dat hoewel het systeem goed werkte binnen deze specifieke universiteit, het toepassen ervan elders lokale aanpassingen vereist om aan te sluiten bij verschillende culturen en regels. Desalniettemin biedt het werk een duidelijk, reproduceerbaar blauwdruk voor hoe universiteiten kunnen overgaan van het verzamelen van feedback naar het daadwerkelijk gebruiken ervan, waardoor de cirkel tussen wat mensen zeggen en wat instellingen doen wordt gesloten.

Uiteindelijk biedt de studie een nieuwe manier om naar kwaliteitsborging te kijken. Het suggereert dat de waarde van feedback niet ligt in de eindscore of de gemiddelde beoordeling, maar in de specifieke, actiegerichte bewijslast die verborgen zit in de commentaren. Door geavanceerde computeranalyse te combineren met menselijk toezicht en een toewijding aan eerlijkheid, hebben de onderzoekers aangetoond dat het mogelijk is om een chaotische berg papierwerk om te zetten in een duidelijk, navigeerbaar pad voor verbetering. Het systeem vertelt universiteiten niet alleen wat er mis is; het laat hen precies zien waar ze moeten kijken, waarom het ertoe doet en hoe ze het kunnen oplossen, terwijl de menselijke stem centraal blijft staan in het proces.