Target-Adaptive Probability Calibration for Reliable Student Risk Prediction under Cross-Module Dataset Shift

In der weiten Landschaft der Online-Bildung erzeugen Plattformen einen kontinuierlichen Strom digitaler Fußabdrücke: Klicks auf Kursmaterialien, Einreichungen von Aufgaben und Muster der Login-Aktivität. Pädagogen und Administratoren hoffen, diese Daten zu nutzen, um Studenten, die Schwierigkeiten haben, rechtzeitig zu erkennen, bevor es zu spät ist, und Hilfe für diejenigen anzubieten, die andernfalls vielleicht abbrechen würden. Es ist jedoch schwierig, diese digitalen Spuren in ein zuverlässiges Warnsystem zu verwandeln. Ein Modell, das für einen Kurs perfekt funktioniert, versagt oft, wenn es auf einen anderen angewendet wird, einfach weil die Studenten, der Lehrstil oder die Art der Notengebung variieren. Darüber hinaus kann ein Computerprogramm sehr gut darin sein, Studenten von „am stärksten gefährdet“ bis „am wenigsten gefährdet“ einzustufen, aber wenn die spezifische Zahl, die es einem Studenten zuweist, falsch ist, wird es gefährlich. Wenn ein System einem Lehrer sagt, dass ein Student eine neunzigprozentige Chance hat durchzufallen, während die reale Chance nur dreißig Prozent beträgt, verschwendet der Lehrer kostbare Zeit bei einem Studenten, der sie nicht benötigt, oder schlimmer noch, ignoriert einen Studenten, der es tatsächlich tut. Die Kernherausforderung besteht nicht nur darin, vorherzusagen, wer Schwierigkeiten haben wird, sondern sicherzustellen, dass die Wahrscheinlichkeitszahlen, die der Computer ausspuckt, ehrlich und vertrauenswürdig sind, selbst wenn das System in eine neue Klassenzimmerumgebung versetzt wird.

Forscher der Shandong Yingcai University gingen dieses Problem an, indem sie ein Framework entwickelten, das darauf ausgelegt ist, diese Risikovorhersagen über verschiedene Universitätsmodule oder Kurse hinweg zuverlässig zu machen. Sie verwendeten einen massiven, anonymisierten Datensatz der Open University, der Aufzeichnungen von fast dreißigtausend Studenten aus sieben verschiedenen Modulen enthielt. Das Team setzte einen strengen Test auf, bei dem sie ihre Modelle mit Daten aus sechs der Module trainierten und dann versuchten, diese Modelle auf das siebte Modul anzuwenden, das sie noch nie zuvor gesehen hatten. Dieser Ansatz, bekannt als ein „Leave-one-module-out“-Test, simuliert ein reales Szenario, in dem eine Schule ein System verwenden möchte, das für einen bestimmten Satz von Kursen gebaut wurde, um Studenten in einem völlig anderen Satz von Kursen zu helfen. Sie überprüften ihre Vorhersagen zu vier verschiedenen Zeitpunkten: zwei Wochen, vier Wochen, sechs Wochen und acht Wochen nach Beginn des Kurses. Dies ermöglichte es ihnen zu sehen, wie sich die Genauigkeit der Vorhersagen änderte, sobald mehr Informationen über die Studenten verfügbar wurden.

Die Studie zeigte, dass die Modelle zwar recht gut darin waren, Studenten einzustufen – also zu identifizieren, welche eher durchfallen würden als andere –, die von ihnen erzeugten Rohwahrscheinlichkeiten jedoch oft irreführend waren, wenn sie auf einen neuen Kurs übertragen wurden. Wenn die Forscher ein in einem Modul trainiertes Modell direkt auf ein anderes anwandten, ohne Anpassungen vorzunehmen, entsprachen die vorhergesagten Wahrscheinlichkeiten nicht den tatsächlichen Ergebnissen. Beispielsweise könnte das System ein gewisses Risiko vorhersagen, das im Vergleich zu dem, was tatsächlich geschah, konsistent zu hoch oder zu niedrig war. Dies ist ein kritischer Fehler für ein Frühwarnsystem, denn Administratoren müssen wissen, dass ein Label „hohes Risiko“ wirklich eine hohe Ausfallwahrscheinlichkeit bedeutet und nicht nur einen relativen Vergleich darstellt. Um dies zu beheben, entwickelten die Forscher eine Methode namens target-adaptive Kalibrierung. Dieser Prozess beinhaltet das Verwenden einer kleinen Menge historischer Daten aus dem neuen Kurs – speziell Ergebnisse aus früheren Durchläufen desselben Kurses – und die Nutzung dieser, um die Zahlen des Modells sanft anzupassen. Sie testeten die Verwendung von historischen Daten, die zehn, zwanzig oder dreißig Prozent der Studentenpopulation repräsentierten, um zu sehen, wie viel Anpassung nötig war.

Die Ergebnisse zeigten, dass selbst eine bescheidene Menge an historischen Daten aus dem neuen Kurs die Zuverlässigkeit der Vorhersagen drastisch verbesserte. Als die Forscher historische Daten von dreißig Prozent des Studentenpools zur Rekalibrierung des Modells verwendeten, verbesserte sich die Genauigkeit der Wahrscheinlichkeitsschätzungen signifikant. Das Maß für den Fehler, bekannt als Brier-Score, sank von einem Wert von 0,243 auf 0,205, und ein weiteres Maß dafür, wie gut die Wahrscheinlichkeiten mit der Realität übereinstimmten, der sogenannte erwartete Kalibrierungsfehler (expected calibration error), fiel von 0,158 auf 0,076. Entscheidend war, dass diese Anpassung die Reihenfolge, in der die Studenten eingestuft wurden, nicht veränderte; die Studenten, die am stärksten gefährdet waren, blieben an der Spitze der Liste. Stattdessen machte die Anpassung lediglich die den Studenten zugeordneten Zahlen genauer. Das bedeutet, dass ein Lehrer, der einen Studenten mit einem „hohen Risiko“-Score betrachtet, darauf vertrauen kann, dass die Zahl tatsächlich die Wahrscheinlichkeit widerspiegelt, mit der dieser Student durchfallen wird, und nicht nur eine verzerrte Schätzung basierend auf einem anderen Kurs ist.

Die Forscher untersuchten auch, ob komplexere Methoden, wie etwa der Versuch, die Daten mathematisch neu zu gewichten, um Unterschiede zwischen Kursen auszugleichen, bessere Ergebnisse liefern würden. Sie fanden heraus, dass diese komplizierteren Ansätze keinen signifikanten Vorteil gegenüber der einfacheren Methode der Verwendung historischer Daten zur Anpassung der Wahrscheinlichkeiten boten. Die effektivste Strategie bestand schlicht darin, den Output des Modells zu nehmen und ihn mithilfe der bekannten Ergebnisse aus der Vergangenheit des neuen Kurses zu korrigieren. Dieser Befund ist wichtig, da er darauf hindeutet, dass Schulen nicht für jeden einzelnen Kurs, den sie anbieten, völlig neue, komplexe Modelle bauen müssen. Stattdessen können sie ein allgemeines Modell verwenden und es dann mit einer kleinen Menge lokaler Daten feinabstimmen, um es vertrauenswürdig zu machen.

Jenseits der Zahlen untersuchte die Studie auch, wie sich diese kalibrierten Wahrscheinlichkeiten in praktisches Handeln übersetzen lassen. In einem schulischen Umfeld haben Lehrer und Unterstützungspersonal begrenzte Zeit und können nur eine bestimmte Anzahl von Studenten überprüfen. Die Forscher simulierten diese Einschränkung durch die Frage: Wenn ein Lehrer nur die obersten zehn Prozent der gefährdetsten Studenten prüfen kann, wie viele der tatsächlichen zukünftigen Abbrecher würde er erfassen? Sie fanden heraus, dass die kalibrierten Wahrscheinlichkeiten eine viel klarere Sicht auf diesen Kompromiss ermöglichten. Ohne Kalibrierung könnte ein Lehrer einen Schwellenwert festlegen, der zwar vernünftig erscheint, aber dazu führt, dass er entweder viel zu viele Studenten überprüft oder zu viele gefährdete Personen übersieht. Mit den kalibrierten Wahrscheinlichkeiten kann der Lehrer einen spezifischen Schwellenwert festlegen und genau wissen, wie viele Studenten markiert werden und wie viele gefährdete Studenten erfangen werden. Beispielsweise reduzierte das kalibrierte System bei einem bestimmten Risikoschwellenwert die Arbeitsbelastung um fast die Hälfte und fing dennoch einen erheblichen Teil der Studenten ab, die durchfallen würden, was das System für beschäftigte Bildungseinrichtungen weitaus praktischer macht.

Die Studie untersuchte auch die Fairness dieser Vorhersagen über verschiedene Gruppen von Studenten hinweg, wie etwa solche mit unterschiedlichen Hintergründen oder Fähigkeiten. Sie stellten fest, dass das Gesamtsystem zwar gut funktionierte, es aber dennoch Variationen in der Genauigkeit der Vorhersagen für spezifische Untergruppen gab. Dies unterstreicht, dass selbst ein gut kalibriertes System eine kontinuierliche Überwachung erfordert, um sicherzustellen, dass es bestimmte Lerngruppen nicht unbeabsichtigt benachteiligt. Die Forscher nutzten Werkzeuge, um zu erklären, welche Faktoren die Vorhersagen antrieben, und fanden heraus, dass die wichtigsten Signale mit fehlenden Aufgaben und jüngster Inaktivität zusammenhingen. Diese Transparenz hilft Pädagogen zu verstehen, dass das System Studenten aufgrund konkreter Verhaltensweisen markiert, wie etwa dem Nicht-Abgeben von Arbeiten oder dem Einstellen des Engagements, und nicht aufgrund verborgener oder voreingenommener Faktoren.

Letztendlich bietet diese Forschung einen Fahrplan, um Künstliche Intelligenz in der Bildung zuverlässiger und nützlicher zu machen. Sie zeigt auf, dass die größte Hürde beim Transfer eines Vorhersagesystems von einem Kurs auf einen anderen nicht unbedingt die Fähigkeit besteht, Studenten korrekt einzustufen, sondern die Fähigkeit, die Wahrscheinlichkeitszahlen ehrlich zu gestalten. Durch den Einsatz eines einfachen Prozesses der Anpassung des Modells mit einer kleinen Menge lokaler historischer Daten können Schulen sicherstellen, dass ihre Frühwarnsysteme sowohl präzise als auch handlungsleitend sind. Die Studie kommt zu dem Schluss, dass die Technologie zwar leistungsstark ist, ihr wahrer Wert jedoch in ihrer Fähigkeit liegt, an den spezifischen Kontext des Klassenzimmers angepasst zu werden, um sicherzustellen, dass die an Pädagogen gesendeten Warnungen nicht nur statistisch fundiert, sondern auch wirklich hilfreich bei der Unterstützung von Studenten sind, die Schwierigkeiten haben.