A Unified Survival Benchmark for Temporal Dropout Risk Prediction in Learning Analytics
Dieses Paper führt einen einheitlichen, mehrdimensionalen Survival-Benchmark für die zeitliche Dropout-Risikoprädiktion unter Verwendung des OULAD-Datensatzes ein, wobei nachgewiesen wird, dass verhaltensbasierte und zeitliche Signale statische Attribute übertreffen, während gleichzeitig die Notwendigkeit der Trennung von Modellfamilien hervorgehoben wird, um Evaluierungsartefakte zu vermeiden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Semester stehen Universitäten vor einer stillen Krise: Studierende, die ihre Kurse beginnen, aber niemals abschließen. Seit Jahrzehnten versuchen Pädagogen vorherzusagen, wer wahrscheinlich abbrechen wird, in der Hoffnung, Hilfe anzubieten, bevor es zu spät ist. Dieses Feld, bekannt als Learning Analytics, behandelt Studiendaten wie eine Landkarte und sucht nach Mustern, die auf Probleme hindeuten. Traditionell waren diese Karten statische Schnappschüsse, aufgebaut aus dem Hintergrund eines Studierenden, seinem Alter oder seinen Noten aus den Vorjahren. Doch der Weg eines Studierenden ist kein einzelnes Foto; es ist ein Film, der sich Woche für Woche abspielt. Das Risiko, einen Kurs abzubrechen, verharrt nicht in Ruhe; es verschiebt und wächst sich, während ein Studierender mit seinen Online-Materialien interagiert, Fristen versäumt oder einfach aufhört, die Kurswebsite aufzurufen. Die zentrale Frage für die Forschung war, ob wir eine bessere Karte erstellen können, indem wir diesen Film in Echtzeit beobachten, anstatt nur die Eröffnungsszenen zu betrachten.
Ein Forscherteam der Eastern University setzte sich zum Ziel, diese Frage zu beantworten, indem es eine neue Art von Test entwickelte, um verschiedene Wege zur Vorhersage von Studienabbrüchen zu vergleichen. Sie verwendeten einen massiven, bekannten Datensatz der Open University, der tausende Studierende über mehrere Kurse hinweg verfolgt. Anstatt einfach ein Computermodell zum Gewinner zu erklären, entwarfen sie ein strenges Experiment, das den Unterschied zwischen zwei verschiedenen Arten des Zeitverständnisses respektierte. Eine Gruppe von Modellen, die sie die „Dynamic Weekly“-Familie nannten, beobachtete die Studierenden Woche für Woche und aktualisierte ihre Vorhersage jedes Mal, wenn ein neues Stück Aktivität erschien. Die andere Gruppe, die „Static Early-Window“-Familie, verfolgte einen anderen Ansatz: Sie betrachtete lediglich die ersten vier Wochen des Verhaltens eines Studierenden und traf dann eine einzige, feste Vorhersage für den Rest des Kurses. Die Forscher betrachteten diese beiden Ansätze nicht als Rivalen, die gegeneinander eingestuft werden mussten, sondern als zwei verschiedene Linsen, durch die dasselbe Phänomen betrachtet wird, um sicherzustellen, dass der Vergleich fair war und die Ergebnisse nicht durch die Art der Datenorganisation verzerrt wurden.
Die Studie verglich vierzehn verschiedene Computermodelle, die von einfachen statistischen Werkzeugen bis hin zu komplexen Systemen der künstlichen Intelligenz reichten. Die Forscher maßen, wie gut jedes Modell zwei Dinge leisten konnte: die Studierenden korrekt nach ihrem Risikoniveau zu ranken, und eine Wahrscheinlichkeitszahl bereitzustellen, die der tatsächlichen Anzahl der Studienabbrecher entsprach. Da die beiden Familien unterschiedliche Risikofomulierungen verwenden, berichteten die Forscher die Ergebnisse innerhalb jeder Familie separat, anstatt ein einziges kombiniertes Ranking zu erstellen. Innerhalb der „Static Early-Window“-Gruppe erwies sich ein Modell namens Random Survival Forest als das zuverlässigste. Es war am besten darin, gefährdete Studierende zu identifizieren, und seine Wahrscheinlichkeitsschätzungen waren entscheidend sehr genau. Wenn dieses Modell beispielsweise eine dreißigprozentige Chance für einen Studienabbruch vorhersagte, lag die tatsächliche Abbruchrate in dieser Gruppe von Studierenden sehr nah bei dreißig Prozent. Diese Genauigkeit ist von entscheidender Bedeutung, da Schulen den Zahlen vertrauen können, um zu entscheiden, wer Hilfe benötigt. Innerhalb der „Dynamic Weekly“-Gruppe gruppierten sich die Modelle in ihrer Leistung sehr eng beieinander, wobei ein Poisson Piecewise-Exponential-Modell einen leichten Vorsprung in einer spezifischen Metrik aufwies, obwohl kein einzelnes Modell über alle Maße hinweg dominierte.
Die bedeutendste Entdeckung war vielleicht nicht, welches Computermodell das klügste war, sondern welche Informationen die Modelle tatsächlich nutzten, um ihre Entscheidungen zu treffen. Die Forscher testeten dies, indem sie nacheinander verschiedene Arten von Daten aus den Modellen entfernten. Sie entfernten die statischen Hintergrundinformationen, wie etwa das Alter, das Geschlecht oder die bisherige Ausbildung eines Studierenden. Dann entfernten sie die Verhaltensdaten, wie etwa wie oft ein Studierender auf Kursmaterialien klickte oder wie viele Wochen er aktiv war. Die Ergebnisse waren klar und konsistent über fast alle Modelle hinweg: Die Hintergrundinformationen spielten kaum eine Rolle. Als die Verhaltensdaten entfernt wurden, brach die Fähigkeit der Modelle, Studienabbrüche vorherzusagen, zusammen. Das dominante Signal war nicht, wer der Studierende war, sondern was er tat. Insbesondere die Anzahl der Klicks in den ersten vier Wochen und die Anzahl der aktiven Wochen waren die stärksten Prädiktoren. Dies deutet darauf hin, dass ein Studienabbruch kein festes Merkmal einer Person ist, sondern ein Prozess, der sich durch das tägliche Engagement entfaltet.
Die Studie zeigte auch, dass nicht alle Modelle in Bezug auf die Zuverlässigkeit gleichwertig sind. Während die meisten der leistungsstärksten Modelle ehrliche Wahrscheinlichkeitsschätzungen lieferten, schnitt ein Modell in der statischen Gruppe, genannt XGBoost AFT, flächendeckend schlecht ab. Es hatte Schwierigkeiten, Studierende korrekt zu ranken, und seine Wahrscheinlichkeitsschätzungen waren völlig daneben, was darauf hindeutete, dass seine mathematische Struktur nicht flexibel genug war, um die wechselnde Natur des Studienrisikos zu handhaben. Dieser Befund verstärkt die Idee, dass die Art und Weise, wie ein Modell aufgebaut ist, ebenso wichtig ist wie die Daten, die es sieht. Die Forscher kamen zu dem Schluss, dass der beste Ansatz für Institutionen, die Frühwarnsysteme aufbauen wollen, die Verwendung eines Modells ist, das sich auf den ersten Monat des Verhaltens konzentriert. Sie können Studierende am Ende der vierten Woche anhand einfacher Daten wie Klickzahlen und aktiven Wochen bewerten, diejenigen mit einem hohen Risiko für einen Studienabbruch markieren und dann intervenieren. Die Studie behauptete nicht, dass diese Methode für jede Universität oder jeden Kurs funktioniert, da die Daten aus einem spezifischen Satz von Modulen stammten, aber sie bot einen klaren, einheitlichen Rahmen für das Verständnis der Risikomessung. Die Lehre daraus ist, dass der Weg zum Verbleib in der Schule mit täglichen Handlungen gepflastert ist, und der beste Weg, vorherzusagen, wer gehen wird, besteht darin, diese Handlungen genau zu beobachten, anstatt sich darauf zu verlassen, wer der Studierende vor seiner Ankunft war.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.