A Mathematical Framework for Temporal Modeling and Counterfactual Policy Simulation of Student Dropout

Diese Studie stellt ein mathematisches Rahmenwerk vor, das mittels zeitlicher Modellierung von LMS-Engagement-Daten und einer kontrafaktischen Politiksimulation die Abbruchwahrscheinlichkeit von Studierenden analysiert und dabei Szenarien zur Risikominderung evaluiert, ohne dabei kausale Identifikation zu beanspruchen.

Das Wesentliche

Das große Problem: Der "Verschwindende" Student

Stell dir vor, du bist ein Lehrer an einer Universität. Du hast 30.000 Schüler. Jedes Jahr verschwinden viele von ihnen einfach mitten im Semester. Sie hören auf, Hausaufgaben zu machen, loggen sich nicht mehr ein und geben ihr Studium auf. Das ist teuer für die Uni und traurig für die Schüler.

Bisher haben Computerprogramme versucht zu sagen: "Achtung, dieser Schüler wird wahrscheinlich scheitern!" Aber das war wie eine Wettervorhersage, die nur sagt: "Es wird morgen regnen." Es sagt aber nicht: "Regnet es um 8 Uhr oder um 16 Uhr?" und "Soll ich den Regenschirm jetzt holen oder erst später?"

Die Forscher aus dieser Studie wollten genau das ändern. Sie wollten nicht nur wissen, wer in Gefahr ist, sondern wann die Gefahr am größten ist und was man tun könnte, um sie zu retten.

Die neue Methode: Ein Zeitreise-Simulator

Die Forscher haben ein neues Werkzeug gebaut. Man kann es sich wie ein Flugzeug-Flugsimulator für das Studium vorstellen.

1. Die Daten (Die Flugdaten):
   Sie haben sich die digitalen Spuren der Studenten angesehen (wie oft sie eingeloggt waren, wann sie Videos geschaut haben). Das ist wie der "Flugverlauf" eines Studenten. Wenn ein Student aufhört, sich einzuloggen, ist das wie ein Motor, der langsam ausfällt.

2. Der Zeit-Modell (Die Vorhersage):
   Statt nur ein einziges Urteil am Ende des Semesters zu fällen, schauen sie sich jede einzelne Woche an. Sie berechnen wöchentlich das Risiko: "In dieser Woche ist die Wahrscheinlichkeit, dass er aufgibt, 5 %. In der nächsten Woche steigt sie auf 10 %."

   • Die Analogie: Stell dir vor, du hast einen Wasserhahn, der tropft. Die alten Modelle sagten: "Der Eimer wird voll werden." Das neue Modell sagt: "Der Eimer ist jetzt zu 10 % voll. Wenn du nicht in den nächsten 3 Tagen eingreifst, läuft er über."

3. Der Simulator (Die Gegenwelt):
   Das ist der coolste Teil. Die Forscher fragen sich: "Was wäre, wenn wir jetzt eingreifen?"
   Sie bauen eine Gegenwelt (eine sogenannte "Counterfactual"-Simulation).

   • Szenario A (Der Schock): Wir schicken eine Nachricht: "Hey, du hast seit einer Woche nichts gemacht! Komm zurück!" – Was passiert dann?
   • Szenario B (Der Mechanismus): Wir simulieren, dass der Student plötzlich wieder mehr macht (klickt, lernt). Was passiert mit seinem Risiko?

   Sie lassen den Simulator laufen und vergleichen: "In der echten Welt wäre er abgestürzt. In unserer simulierten Welt, wo wir ihn ermutigt haben, ist er vielleicht gerettet."

Was haben sie herausgefunden?

Die Studie hat drei wichtige Dinge gezeigt:

1. Der Zeit-Modell funktioniert gut:
   Das System kann sehr genau vorhersagen, in welcher Woche das Risiko steigt. Es ist wie ein guter Wetterbericht: Es weiß, wann der Sturm kommt.

   • Ergebnis: Die Vorhersage war zu 84 % genau. Das ist sehr gut für solche schwierigen Vorhersagen.

2. Nicht alle "Rettungsversuche" funktionieren gleich:
   Als sie den Simulator laufen ließen, sahen sie etwas Interessantes:

   • Wenn sie einfach annahmen, dass eine Nachricht das Risiko sofort senkt (wie ein Wunder), sah es gut aus.
   • Aber wenn sie realistisch simulierten, dass der Student erst wieder lernen muss, um gerettet zu werden, war der Effekt manchmal sogar negativ oder sehr klein.
   • Die Lehre: Man kann nicht einfach "Zaubern". Man muss genau wissen, wie man hilft. Ein einfacher "Klick" reicht vielleicht nicht; man muss den Studenten wirklich zurück ins Lernen bringen.

3. Fairness-Check:
   Sie haben auch geprüft, ob diese Hilfe für alle Studenten gleich gut funktioniert. Haben Männer und Frauen unterschiedlich reagiert?

   • Ergebnis: Der Unterschied war winzig. Das ist gut! Es bedeutet, dass die Methode nicht unfair gegenüber einer Gruppe ist. Aber die Wirkung war so klein, dass man vorsichtig sein muss, große Versprechungen zu machen.

Warum ist das wichtig? (Die einfache Zusammenfassung)

Stell dir vor, du bist ein Feuerwehrmann.

• Die alte Methode sagte nur: "Da brennt ein Haus."
• Diese neue Methode sagt: "Das Haus brennt in der Küche. Wenn du jetzt nicht in 10 Minuten die Tür aufmachst, fängt das Wohnzimmer Feuer. Wenn du aber die Tür aufmachst, kannst du es retten. Aber wenn du nur Wasser auf den Boden sprühst, hilft das nicht."

Der große Gewinn:
Die Studie zeigt, dass wir nicht nur "Vorhersagen" machen müssen, sondern Strategien testen können, bevor wir sie in der echten Welt anwenden. Wir können im Computer simulieren: "Was passiert, wenn wir Studenten, die 7 Tage nicht da waren, eine E-Mail schicken?"

Es ist kein magischer Zauberstab, der alle Studenten rettet. Aber es ist ein Werkzeugkasten, mit dem Universitäten klügere, zeitgerechte Entscheidungen treffen können, um mehr Studenten durch das Studium zu bringen.

Kurz gesagt: Wir haben gelernt, nicht nur zu wissen, dass ein Student in Gefahr ist, sondern wann genau wir ihn brauchen, um ihn zu retten, und welche Art von Hilfe im Simulator am besten funktioniert.

Technische Zusammenfassung

1. Problemstellung und Motivation

Der vorzeitige Abbruch von Studiengängen (Student Dropout) stellt eine erhebliche Herausforderung für Hochschulen, Studierende und die Gesellschaft dar. Bisherige Ansätze zur Vorhersage von Abbrüchen basieren häufig auf statischen Machine-Learning-Modellen, die lediglich die Frage beantworten, wer wahrscheinlich abbrechen wird. Diese Modelle liefern jedoch oft keine zeitlich aufgelösten Informationen darüber, wann das Risiko im Verlauf eines Kurses ansteigt.

Dieses Defizit erschwert es Institutionen, proaktiv und zum richtigen Zeitpunkt intervenieren. Die Autoren argumentieren, dass der Übergang von der reinen Vorhersage zur politischen Handlung (Policy) drei Anforderungen stellt:

1. Risikobewertung in zeitlichen Begriffen (Wann steigt das Risiko?).
2. Übersetzung dieses Risikos in überprüfbare Entscheidungsregeln.
3. Vergleich alternativer Unterstützungs-Szenarien als explizite Interventionspolitiken.

Zudem fehlt es in der Praxis oft an strukturierten Daten über durchgeführte Interventionen, was eine kausale Bewertung von Maßnahmen in realen Umgebungen erschwert.

2. Methodik und Framework

Die Studie stellt ein mathematisches Framework vor, das zeitgestempelte Daten aus Learning-Management-Systemen (LMS) mit administrativen Abbruchdaten kombiniert. Das Framework besteht aus vier Hauptkomponenten:

A. Diskrete Zeit-Hazard-Modellierung (RQ1)

• Datengrundlage: Die Analyse-Einheit ist die Einschreibung (Enrollment) über diskrete Wochen ($t$). Die Daten werden im „Person-Period"-Format strukturiert (eine Zeile pro Woche pro Einschreibung).
• Zielvariable: Der Abbruch wird als beobachtetes „Time-to-Event"-Ereignis (administrativer Rückzug mit gültigem Datum) operationalisiert.
• Modell: Ein regularisiertes, klassenausgewogenes logistisches Regressionsmodell wird auf wöchentlichen Daten trainiert, um die wöchentliche Hazard-Rate $h_{it}$ (Wahrscheinlichkeit eines Abbruchs in Woche $t$ gegeben das Überleben bis $t$) zu schätzen.
• Kalibrierung: Die Rohwahrscheinlichkeiten werden mittels Platt-Scaling (sigmoidale Kalibrierung) nachträglich kalibriert, um interpretierbare Hazard-Wahrscheinlichkeiten zu erhalten.
• Validierung: Um Datenlecks zu vermeiden, erfolgt das Train-Test-Splitting auf Ebene der Einschreibungen (stratifiziert nach Ereignisstatus und zeitlichem Bucket), nicht auf Zeilenebene.

B. Zensierungsbehandlung (IPCW)

Da viele Studierende den Kurs beenden, ohne abzubrechen (Zensierung), wird die Inverse Probability of Censoring Weighting (IPCW) verwendet. Dies gewichtet die Beobachtungen basierend auf der geschätzten Wahrscheinlichkeit, bis zum Zeitpunkt $t$ nicht zensiert worden zu sein, um Verzerrungen in der Evaluierung zu korrigieren.

C. Counterfactual Policy Simulation (RQ2)

Das Framework enthält eine Schicht zur Simulation von Gegenfaktischen Szenarien. Anstatt kausale Effekte aus Beobachtungsdaten zu identifizieren, wird ein struktureller Vergleich von Modell-implyierten Überlebenspfaden unter definierten Regeln durchgeführt:

• Trigger-Regel: Basierend auf Kay & Bostock (2023): „Flagge, wenn in den letzten 7 Tagen keine LMS-Aktivität stattfand" (Recency $\ge$ 1 Woche).
• Szenarien:
  1. Shock-Szenario: Die Hazard-Rate wird im Aktivitätsfenster direkt um einen Faktor $\delta$ reduziert (z. B. $\delta = 0.08, 0.20, 0.60$). Dies repräsentiert eine hypothetische, sofortige Risikoreduktion.
  2. Mechanismus-bewusstes Szenario: Hier werden die Kovariaten (z. B. Klicks) im Aktivitätsfenster aktualisiert (simulierte Re-Engagement), und das Modell berechnet die Hazard-Rate neu basierend auf diesen geänderten Pfaden.
• Ergebnismetrik: Der strukturelle Kontrast $\Delta S(t) = \bar{S}^{(1)}(t) - \bar{S}^{(0)}(t)$ misst die Differenz der durchschnittlichen Überlebenswahrscheinlichkeit zwischen dem Interventions-Szenario und dem Baseline-Szenario.

D. Subgruppen-Analyse (RQ3)

Das Framework bewertet, wie sich die gleichen Szenarien auf unterschiedliche Subgruppen (hier: Geschlecht) auswirken. Es wird die Änderung der Überlebenslücke ($\Delta Gap$) zwischen den Gruppen unter der Intervention im Vergleich zum Baseline analysiert. Die Unsicherheit wird mittels Bootstrap (500 Resamples) quantifiziert.

3. Experimentelles Design

• Datensatz: Open University Learning Analytics Dataset (OULAD) mit ca. 32.593 Einschreibungen von 28.785 Studierenden.
• Aufteilung: 70% Training, 30% Test (stratifiziert nach Einschreibung).
• Zeithorizonte:
  • $T_{policy} = 18$: Der primäre Berichterstattungs-Horizont für politische Aussagen.
  • $T_{eval, metrics} = 37$: Der technische Horizont, bis zu dem die Zensierungs-Gewichtung stabil ist ($G(t) \ge 0.05$).
  • $T_{eval, policy} = 38$: Der maximale rohe Support-Horizont für Trajektorienvisualisierung.

4. Wichtige Ergebnisse

RQ1: Zeitliche Hazard-Qualität

• Das diskrete Zeit-Modell zeigt eine hohe Diskriminierungsfähigkeit auf Zeilenebene (AUC: 0,8350 im Training, 0,8405 im Test).
• Die Kalibrierung ist im aggregierten Zustand akzeptabel, jedoch ist die Datenbasis in den höchsten Risikobins (hohe Hazard-Wahrscheinlichkeiten) sehr dünn, was eine vorsichtige Interpretation erfordert.

RQ2: Strukturelle Szenario-Kontraste

• Shock-Szenarien: Zeigen positive Überlebensgewinne ($\Delta S > 0$). Bei $T=18$ beträgt der Gewinn für das konservativste Szenario ($\delta=0.08$) 0,0102, für das hypothetische Szenario B ($\delta=0.60$) 0,0819.
• Mechanismus-bewusstes Szenario: Zeigt unter dem aktuellen, getesteten Schedule (Klick-basierte Aktualisierung) negative Kontraste ($\Delta S_{mech}(18) = -0,0078$). Dies deutet darauf hin, dass die spezifische Art der simulierten Kovariaten-Änderung in diesem Setup nicht zu einer Verbesserung der Überlebenswahrscheinlichkeit führt.
• Fazit: Positive Effekte sind stark vom Szenario abhängig; das Framework ermöglicht den strukturellen Vergleich, liefert aber keine universell positiven Ergebnisse für alle Interventionsarten.

RQ3: Subgruppen-Analyse (Geschlecht)

• Die Intervention führt zu einer stabilen, aber sehr kleinen Verringerung der Geschlechterlücke im Überleben.
• $\Delta Gap(18) \approx -0,0005$ (95% Bootstrap-Intervall schließt 0 aus).
• Die Richtung ist robust, aber die Effektstärke ist minimal. Dies zeigt die Fähigkeit des Frameworks, subgruppensensitive strukturelle Kontraste zu quantifizieren, ohne kausale Behauptungen aufzustellen.

5. Bedeutung und Beiträge

• Paradigmenwechsel: Das Paper verschiebt den Fokus von statischen „Wer wird abbrechen?"-Modellen hin zu dynamischen „Wann und wie können wir intervenieren?"-Frameworks.
• Strukturelle Evaluation: Es bietet eine Methode, um Interventionspolitiken zu testen, ohne auf kausale Identifikation aus Beobachtungsdaten angewiesen zu sein. Es erlaubt den Vergleich von „Was wäre, wenn"-Szenarien unter expliziten Annahmen.
• Reproduzierbarkeit: Der gesamte Pipeline (Datenaufbereitung, Modelltraining, Simulation, Subgruppen-Analyse) ist als Open-Source-Projekt verfügbar und dokumentiert alle Annahmen (Trigger, Szenario-Parameter, Horizons).
• Praktische Relevanz: Das Framework hilft Hochschulen, Interventionszeitpunkte zu identifizieren und die potenziellen Auswirkungen verschiedener Unterstützungsstrategien (z. B. digitale Nudges vs. direkte Risikoreduktion) strukturell zu vergleichen, bevor reale Ressourcen eingesetzt werden.

Einschränkung: Die Autoren betonen wiederholt, dass die Ergebnisse modell-implyierte strukturelle Kontraste sind und keine kausal identifizierten Effekte realer Interventionen darstellen. Die Validität hängt von der Gültigkeit der simulierten Szenario-Annahmen ab.