EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

Universitäten sind riesige, datenreiche Orte, die oft damit kämpfen, das schiere Volumen der gesammelten Informationen in bedeutungsvolle Maßnahmen umzusetzen. Jedes Jahr füllen Studierende, Lehrkräfte, Alumni, Eltern und Arbeitgeber Formulare aus, schreiben Kommentare und sitzen in Komitees, um zu diskutieren, wie gut ein Lehrplan funktioniert. Dieses Feedback ist das Lebenselixier der Qualitätssicherung, doch in vielen Institutionen geht es im Nebel manueller Lektüre, einfacher Prozentdiagramme und Komitee-Protokollen verloren, die schwer auf spezifische Entscheidungen zurückzuführen sind. Die Kernherausforderung liegt nicht in einem Mangel an Informationen, sondern in einem Mangel an Klarheit: Wie nimmt man tausende individuelle Stimmen, von denen jede eine andere Perspektive und eine andere Ausdrucksweise hat, und übersetzt sie in einen klaren, fairen und handlungsfähigen Plan zur Verbesserung?

Hier setzt das Feld des Educational Data Mining an, das versucht, Computer einzusetzen, um Muster in menschlichem Feedback zu finden. Doch einfach einen Computer zu fragen, ob ein Kommentar „gut“ oder „schlecht“ ist, ist jedoch oft ein zu stumpfes Instrument. Ein Student könnte die Energie eines Lehrers loben, während er gleichzeitig beklagt, dass dem Kurs praxisnahe Projekte fehlen. Um nützlich zu sein, muss ein System diese Nuancen verstehen, genau identifizieren, welcher Teil des Lehrplans besprochen wird, und erklären, warum es zu diesem Schluss gekommen ist. Da diese Entscheidungen die Bildung und Karrieren echter Menschen beeinflussen, darf das System keine Blackbox sein; es muss transparent genug sein, damit menschliche Führungskräfte seinen Vorschlägen vertrauen und dessen Fairness überprüfen können.

Forscher an der MIT Art, Design & Technology University in Indien haben einen neuen Rahmen namens EMSEIF entwickelt, um dieses Problem zu lösen. Anstatt nur ein weiteres Werkzeug zu bauen, das Ergebnisse vorhersagt, haben sie ein vollständiges System geschaffen, das rohes Feedback mit konkreten Lehrplanänderungen verbindet und dabei den Menschen als Entscheidungsträger beibehält. Das Team testete sein System anhand eines massiven, realen Datensatzes: den jährlichen Qualitätssicherungsunterlagen der 2023–24 ihrer eigenen Universität. Dieses Archiv war ein 1.542 Seiten starkes Dokument, das tausende Feedbackformulare, Bewertungstabellen und offizielle Briefe enthielt. Die Forscher wandelten das gesamte Archiv in eine strukturierte digitale Bibliothek von 8.742 einzelnen Feedback-Einheiten um und stellten sicher, dass jedes Datenstück mit der Information versehen war, wer es gesagt hatte, aus welcher Abteilung es stammte und welches spezifische Thema es behandelte.

Das Herzstück des Systems ist seine Fähigkeit, verschiedene Stimmen zu hören, ohne sie zu nivellieren. In einer typischen Universität könnte ein Student nach mehr „praktischer Übung“ fragen, während ein Arbeitgeber nach „Branchenerfahrung“ verlangen könnte. Das klingt unterschiedlich, aber beide fragen nach demselben. Die Forscher brachten dem System bei, diese unterschiedlichen Ausdrucksweisen zu erkennen und sie unter einem gemeinsamen Thema, wie etwa „praktische Erfahrung“, zusammenzufassen. Sie bauten auch eine digitale Landkarte, einen sogenannten Knowledge Graph, der diese Themen mit spezifischen Kursen und Lernzielen verknüpft. Dies ermöglicht es dem System zu sehen, dass eine Forderung nach „mehr Projekten“ in einer Abteilung mit einer Forderung nach „besserer Ausrüstung“ in einer anderen zusammenhängt, wodurch ein einheitliches Bild entsteht, was geändert werden muss.

Um sicherzustellen, dass das System vertrauenswürdig ist, entwarfen die Forscher es so, dass es erklärbar ist. Wenn der Computer eine Änderung vorschlägt, gibt er nicht einfach nur eine Ja- oder Nein-Antwort. Stattdessen erstellt er eine „Evidenzkarte“, die genau zeigt, welche Wörter im Feedback zu dem Vorschlag führten, wie hoch das Vertrauen des Systems in diesen Vorschlag ist und ob Menschen aus verschiedenen Gruppen – wie Studierende und Arbeitgeber – beim Thema übereinstimmen. Wenn das System erkennt, dass es eine Gruppe von Menschen unfair behandelt, markiert es dies für eine menschliche Überprüfung, bevor eine Empfehlung ausgesprochen wird. Dieser „Human-in-the-loop“-Ansatz bedeutet, dass der Computer die Schwerstarbeit des Sortierens und Analysierens der Daten übernimmt, aber eine menschliche akademische Führungskraft die endgültige Maßnahme immer genehmigen muss.

Die Ergebnisse der Studie zeigten, dass dieser Ansatz signifikant besser funktioniert als ältere Methoden. Im Test gegen Standard-Computermodelle war das neue System viel genauer darin, spezifische Lehrplanprobleme zu identifizieren und vorherzusagen, welches Feedback handlungsfähig war. Es identifizierte erfolgreich drei Hauptbereiche, in denen sich alle Stakeholder einig über die Notwendigkeit von Veränderungen waren: die Notwendigkeit von mehr praktischem, handlungsorientiertem Lernen; die Notwendigkeit, die Fähigkeiten in den Bereichen künstliche Intelligenz und digitale Werkzeuge zu aktualisieren; und die Notwendigkeit, Studierende besser auf den Arbeitsmarkt vorzubereiten. Beispielsweise stellte das System fest, dass während Studierende eines Luftfahrtprogramms im Allgemeinen zufrieden waren, sie spezifisch mehr Zugang zu Flugzeugmodellen und Exkursionen forderten – ein Detail, das bei einer einfachen Gesamtzufriedenheitsbewertung übersehen worden wäre.

Entscheidend war, dass die Studie zeigte, dass das System die Fairness über verschiedene Gruppen hinweg aufrechterhalten konnte. Vor den Anpassungen zeigte das System kleine Verzerrungen, bei denen es für bestimmte Abteilungen oder Stakeholder-Rollen weniger genau gewesen sein könnte. Durch die Anwendung spezifischer Korrekturen brachten die Forscher diese Lücken auf ein Niveau, das strengen Governance-Standards entsprach, wodurch sichergestellt wurde, dass keine einzelne Stimme systematisch ignoriert wurde. Das System bewies auch, dass es seine Vorschläge mit den tatsächlich getroffenen Maßnahmen der Universität in Einklang bringen konnte. Als die Forscher die Empfehlungen des Computers mit den offiziellen „Maßnahmen-ergriffen“-Briefen und Komitee-Protokollen der Universität verglichen, fanden sie eine starke Übereinstimmung, was bewies, dass das System nicht nur Ideen generierte, sondern genau die Änderungen identifizierte, die die Institution bereits umzusetzen versuchte.

Die Forscher weisen vorsichtig darauf hin, dass dies kein Zauberstab ist, der alle Bildungsprobleme automatisch löst. Das System ist ein Unterstützungswerkzeug, kein Ersatz für menschliches Urteilsvermögen. Es kann nicht entscheiden, was der beste Lehrplan ist; es kann lediglich die Beweise organisieren, damit die Menschen, die diese Entscheidungen treffen, das Gesamtbild klarer sehen können. Die Studie hebt auch hervor, dass das System zwar innerhalb dieser spezifischen Universität gut funktionierte, die Anwendung an anderen Orten jedoch lokale Anpassungen erfordern würde, um sie an unterschiedliche Kulturen und Regeln anzupassen. Dennoch bietet die Arbeit einen klaren, reproduzierbaren Bauplan dafür, wie Universitäten vom Sammeln von Feedback zur tatsächlichen Nutzung desselben gelangen können, um den Kreis zwischen dem, was Menschen sagen, und dem, was Institutionen tun, zu schließen.

Am Ende bietet die Studie eine neue Art und Weise, über Qualitätssicherung nachzudenken. Sie legt nahe, dass der Wert von Feedback nicht im Endergebnis oder der Durchschnittsbewertung liegt, sondern in den spezifischen, handlungsfähigen Beweisen, die in den Kommentaren verborgen sind. Durch die Kombination von fortgeschrittener Computeranalyse mit menschlicher Aufsicht und einer Verpflichtung zur Fairness haben die Forscher gezeigt, dass es möglich ist, einen chaotischen Berg von Papierkram in einen klaren, navigierbaren Pfad für Verbesserungen zu verwandeln. Das System sagt den Universitäten nicht nur, was falsch läuft; es zeigt ihnen genau, wo sie suchen müssen, warum es wichtig ist und wie sie es beheben können, während es die menschliche Stimme im Zentrum des Prozesses hält.