EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

Les universités sont des lieux vastes et riches en données qui peinent souvent à transformer le volume considérable d'informations collectées en actions significatives. Chaque année, les étudiants, les enseignants, les anciens élèves, les parents et les employeurs remplissent des formulaires, rédigent des commentaires et siègent à des comités pour discuter de l'efficacité d'un programme d'études. Ce feedback est le souffle vital de l'assurance qualité, pourtant, dans de nombreuses institutions, il se perd dans un brouillard de lectures manuelles, de simples graphiques de pourcentages et de procès-verbaux de comités difficiles à relier à des décisions spécifiques. Le défi central n'est pas le manque d'information, mais le manque de clarté : comment prendre des milliers de voix individuelles, chacune ayant une perspective et une manière de s'exprimer différentes, et les traduire en un plan d'amélioration clair, équitable et exploitable ?

C'est ici qu'intervient le domaine de l'exploration de données éducatives (educational data mining), qui tente d'utiliser l'informatique pour trouver des modèles dans les retours humains. Cependant, demander simplement à un ordinateur de dire si un commentaire est « bon » ou « mauvais » est souvent un instrument trop rudimentaire. Un étudiant peut louer l'énergie d'un enseignant tout en se plaignant simultanément que le cours manque de projets concrets. Pour être utile, un système doit comprendre ces nuances, identifier exactement quelle partie du programme est discutée et expliquer pourquoi il est parvenu à cette conclusion. De plus, parce que ces décisions affectent l'éducation et la carrière de personnes réelles, le système ne peut pas être une boîte noire ; il doit être assez transparent pour que les dirigeants humains puissent faire confiance à ses suggestions et vérifier son équité.

Des chercheurs de l'université MIT Art, Design & Technology en Inde ont développé un nouveau cadre appelé EMSEIF pour résoudre ce problème. Plutôt que de simplement construire un autre outil qui prédit des résultats, ils ont créé un système complet qui relie le feedback brut à des changements de programme concrets tout en laissant un humain responsable de la décision finale. L'équipe a testé son système en utilisant un ensemble de données massif et réel : les registres annuels d'assurance qualité 2023–24 de leur propre université. Cette archive était un document de 1 542 pages contenant des milliers de formulaires de feedback, des tableaux de notation et des lettres officielles. Les chercheurs ont converti l'intégralité de cette archive en une bibliothèque numérique structurée de 8 742 unités de feedback individuelles, en veillant à ce que chaque donnée soit étiquetée avec l'auteur, le département d'origine et le sujet spécifique abordé.

Le cœur du système est sa capacité à écouter différentes voix sans les aplatir. Dans une université typique, un étudiant peut demander plus de « pratique pratique », tandis qu'un employeur peut demander une « exposition industrielle ». Ces expressions semblent différentes, mais elles demandent la même chose. Les chercheurs ont appris au système à reconnaître ces différentes manières de parler et à les regrouper sous un thème commun, tel que l'« exposition pratique ». Ils ont également construit une carte numérique, appelée graphe de connaissances, qui relie ces thèmes à des cours et des objectifs d'apprentissage spécifiques. Cela permet au système de voir qu'une demande pour « plus de projets » dans un département est liée à une demande pour de « meilleurs équipements » dans un autre, créant ainsi une image unifiée de ce qui doit changer.

Pour garantir que le système soit digne de confiance, les chercheurs l'ont conçu pour qu'il soit explicable. Lorsqu'un ordinateur suggère un changement, il ne se contente pas de donner une réponse par oui ou par non. Au lieu de cela, il produit une « fiche de preuve » qui montre exactement quels mots dans le feedback ont conduit à la suggestion, quel est le degré de confiance du système et si des groupes de personnes différents — comme les étudiants et les employeurs — sont d'accord sur le problème. Si le système détecte qu'il traite un groupe de personnes de manière injuste, il signale ce point pour une révision humaine avant qu'une recommandation ne soit faite. Cette approche « l'humain dans la boucle » signifie que l'ordinateur gère la partie lourde du tri et de l'analyse des données, mais qu'un responsable académique humain doit toujours approuver l'action finale.

Les résultats de l'étude ont montré que cette approche fonctionne de manière nettement plus efficace que les méthodes plus anciennes. Testé contre des modèles informatiques standards, le nouveau système s'est avéré bien plus précis pour identifier des problèmes de programme spécifiques et prédire quel feedback était exploitable. Il a réussi à identifier trois domaines majeurs sur lesquels toutes les parties prenantes s'accordaient sur la nécessité d'un changement : le besoin d'un apprentissage plus pratique et concret ; le besoin de mettre à jour les compétences en intelligence artificielle et en outils numériques ; et le besoin de mieux préparer les étudiants au marché du travail. Par exemple, le système a découvert que si les étudiants d'un programme d'aérospatiale étaient généralement satisfaits, ils souhaitaient spécifiquement un accès accru à des modèles d'aéronefs et à des visites sur le terrain, un détail qui aurait pu être omis dans un simple score de satisfaction globale.

Crucialement, l'étude a démontré que le système pouvait maintenir l'équité entre les différents groupes. Avant les ajustements, le système présentait de légers biais où il pouvait être moins précis pour certains départements ou rôles de parties prenantes. En appliant des corrections spécifiques, les chercheurs ont réduit ces écarts à un niveau répondant à des normes de gouvernance strictes, garantissant qu'aucune voix unique ne soit systématiquement ignorée. Le système a également prouvé qu'il pouvait aligner ses suggestions sur les actions réellement entreprises par l'université. Lorsque les chercheurs ont comparé les recommandations de l'ordinateur aux lettres officielles de « mesures prises » et aux procès-verbaux de comités de l'université, ils ont trouvé une forte correspondance, prouvant que le système ne faisait pas que générer des idées, mais identifiait précisément les changements que l'institution tentait déjà de mettre en œuvre.

Les chercheurs précisent avec prudence qu'il ne s'agit pas d'une baguette magique qui résout automatiquement tous les problèmes éducatifs. Le système est un outil de soutien, et non un remplacement du jugement humain. Il ne peut pas décider quel est le meilleur programme, il peut seulement organiser les preuves afin que les personnes qui prennent ces décisions puissent voir l'image complète clairement. L'étude souligne également que, bien que le système ait bien fonctionné au sein de cette université spécifique, son application ailleurs nécessiterait des ajustements locaux pour s'adapter à différentes cultures et règles. Néanmoins, ce travail fournit un modèle clair et reproductible de la manière dont les universités peuvent passer de la collecte de feedback à son utilisation réelle, fermant ainsi la boucle entre ce que les gens disent et ce que les institutions font.

En fin de compte, l'étude propose une nouvelle façon de concevoir l'assurance qualité. Elle suggère que la valeur du feedback ne réside pas dans le score final ou la note moyenne, mais dans les preuves spécifiques et exploitables cachées dans les commentaires. En combinant l'analyse informatique avancée avec la supervision humaine et un engagement envers l'équité, les chercheurs ont montré qu'il est possible de transformer une montagne chaotique de paperasse en un chemin clair et navigable vers l'amélioration. Le système ne se contente pas de dire aux universités ce qui ne va pas ; il leur montre exactement où regarder, pourquoi cela importe et comment y remédier, tout en gardant la voix humaine au centre du processus.