A Multi-Modal Learning Analytics Framework for Academic Early Warning and Student Risk Prediction in Higher Education

Stellen Sie sich eine Schule nicht als eine stille Bibliothek mit staubigen Büchern vor, sondern als ein geschäftiges, hochtechnologisches Raumschiff, das durch ein stürmisches Meer navigiert. Die Besatzungsmitglieder sind Studenten, und der Bordcomputer des Schiffes überwacht ständig ihre Vitalwerte, um sicherzustellen, dass alle auf Kurs bleiben. Lange Zeit hat die Besatzung des Schiffes die Protokolle nur nachdem jemand zu sinken begann, überprüft – sie warteten, bis ein Student eine ganze Reihe von Kursen durchfiel, bevor sie Hilfe schickten. Aber das ist so, als würde man warten, bis der Motor raucht, bevor man einen Mechaniker ruft; bis dahin ist es oft schon zu spät, um das Schiff zu retten. Wissenschaftler auf dem Gebiet des „Learning Analytics“ versuchen, dies zu ändern. Sie nutzen eine Methode namens „Educational Data Mining“, was im Grunde so ist, als wäre man ein superintelligenter Detektiv, der tausende winziger Hinweise untersucht – wie lange du lernst, wie oft du dich einloggst, sogar wie du dich fühlst –, um vorherzusagen, wer in Schwierigkeiten geraten könnte, bevor es passiert. Die große Frage, die sie sich stellen, ist: Können wir eine Kristallkugel bauen, die uns nicht nur sagt, wer durchfällt, sondern uns genau sagt, wie jemand kämpft, damit wir rechtzeitig helfen können?

In dieser Arbeit geht es darum, diese Kristallkugel zu bauen, aber mit einer Wendung: Anstatt nur auf Noten zu schauen, haben die Forscher ein „multimodales“ Framework entwickelt. Denken Sie an einen Detektiv, der nicht nur den Zeugnisbericht eines Verdächtigen prüft, sondern gleichzeitig auch dessen Tagebuch, seine Social-Media-Gewohnheiten, seinen familiären Hintergrund und seinen Schlafrhythmus kontrolliert. Das Team unter der Leitung von Zhuotao Fang und Kollegen von der Minzu Normal University of Xingyi sammelte Daten von 1.194 echten Universitätsstudenten. Sie schauten nicht nur auf eine Sache; sie kombinierten 31 verschiedene Arten von Informationen, die von der „Aktuellen Note (GPA)“ (wie gut sie gerade zurechtkommen) über die „Tägliche Social-Media-Nutzung“ (wie viel Zeit sie mit Scrollen verbringen) bis hin zum „Wohnstatus“ (ob sie allein oder bei der Familie leben) reichten.

Die Forscher wollten sehen, ob sie die Studenten in drei klare Gruppen sortieren konnten: „Geringes Risiko“ (sicher und auf Kurs), „Mittleres Risiko“ (etwas wackelig, braucht einen Anstoß) und „Hohes Risiko“ (kurz vor dem Kentern). Um dies zu erreichen, nutzten sie einen cleveren Trick namens „One-vs-Rest“. Stellen Sie sich vor, Sie haben drei verschiedene Sicherheitskräfte. Die Aufgabe des einen Wächters ist es ausschließlich, die „Hochrisiko“-Studenten aufzuspüren und alle anderen zu ignorieren. Der zweite Wächter sucht nur nach „Mittlerem Risiko“, und der dritte nur nach „Geringem Risiko“. Indem sie zusammenarbeiten, kann das System eine sehr präzise Entscheidung darüber treffen, in welche Kategorie ein Student passt.

Noch bevor sie überhaupt begannen, ihre Computermodelle zu trainieren, nutzte das Team ein spezielles Visualisierungswerkzeug namens t-SNE. Man kann sich das wie eine magische Karte vorstellen, die einen riesigen, 31-dimensionalen Raum auf einen flachen, 2D-Grundriss zusammendrückt. Als sie die Studenten auf dieser Karte darstellten, sahen sie etwas Erstaunliches: Die „Hochrisiko“-Studenten ballten sich natürlich zu dichten, isolierten Inseln zusammen, während die „Geringrisiko“-Studenten ihre eigenen, deutlich unterscheidbaren Inseln bildeten. Dies bewies, dass die Hinweise, die sie untersuchten, tatsächlich gut geeignet waren, die Gruppen voneinander zu trennen, genau wie ein guter Fingerabdruckscanner zwei Personen sofort unterscheiden kann.

Als sie ihr fertiges Modell testeten, waren die Ergebnisse beeindruckend. Der Computer war wie ein erfahrener Kapitän, der einen Studenten anhand seiner Daten betrachten und sagen konnte: „Dieser Student liegt mit einer Wahrscheinlichkeit von 95 % in der Hochrisikogruppe“, und das mit sehr hoher Zuversicht. Der wichtigste Hinweis? Die Noten des vorherigen Semesters. Es stellt sich heraus, dass die vergangene Leistung der stärkste Prädiktor für die zukünftige Leistung ist und wie ein schwerer Anker wirkt, der einen in dieselbe Richtung zieht. Das Modell fand jedoch auch, dass zu viel Zeit in sozialen Medien ein Warnsignal war, während der Besuch des Unterrichts und das tägliche Lernen gute Zeichen waren. Interessanterweise schienen Dinge wie das Familieneinkommen oder das Geschlecht in diesem spezifischen Datensatz keinen direkten, einfachen Zusammenhang mit den Noten zu haben, was darauf hindeutet, dass tägliche Gewohnheiten in diesem Kontext wichtiger sind als der Hintergrund.

Die Studie legt nahe, dass ein solches System für Universitäten ein Game-Changer sein könnte. Anstatt zu warten, bis ein Student durchfällt, könnte das System eine automatische Warnmeldung an einen Berater senden, sobald der „Risiko-Score“ eines Studenten eine bestimmte Linie überschreitet. Dies würde eine „proaktive Intervention“ ermöglichen, was bedeutet, dass ein Berater sich mit einem Studenten zusammensetzen und sagen könnte: „Hey, wir haben bemerkt, dass du viel Zeit in sozialen Medien verbringst und deine Anwesenheit sinkt. Lass uns das gemeinsam lösen“, bevor der Student tatsächlich einen Kurs durchfällt. Die Forscher fanden heraus, dass ihr Modell sehr genau war, selten Fehler machte und nicht verwirrt wurde, selbst wenn es weniger „Hochrisiko“-Studenten als „Geringrisiko“-Studenten gab.

Die Autoren weisen jedoch vorsichtig darauf hin, dass ihr System keine perfekte Magie ist. Einige der Daten stammten aus Umfragen, die Studenten über sich selbst ausfüllten, was bedeutet, dass Menschen gelogen oder Details vergessen haben könnten. Außerdem ist das Modell in gewisser Weise eine „Black Box“; obwohl es das Risiko gut vorhersagt, erklärt es das Warum nicht immer so, dass ein menschlicher Berater es leicht verstehen kann. Das Team schlägt vor, dass sie das System in Zukunft noch besser machen könnten, indem sie es direkt mit Echtzeit-Logs von Online-Lernplattformen verbinden, sodass es genau sehen kann, was ein Student macht, in dem Moment, in dem er auf eine Schaltfläche klickt, anstatt darauf zu warten, dass er ein Formular ausfüllt. Doch für den Moment zeigt diese Forschung, dass wir durch die Kombination von Noten, Gewohnheiten und Lebensdetails ein viel intelligenteres Sicherheitsnetz für Studenten bauen können, das den Bordcomputer von einem passiven Aufzeichner in einen aktiven Beschützer verwandelt.