💻 computer science

Early-Warning Learner Satisfaction Forecasting in MOOCs via Temporal Event Transformers and LLM Text Embeddings

Die vorgestellte Arbeit stellt TET-LLM vor, ein multimodales Framework, das zeitliche Ereignis-Transformer und LLM-basierte Texteinbettungen kombiniert, um die Zufriedenheit von Lernenden in MOOCs bereits in den ersten Tagen des Kurses präzise vorherzusagen und so rechtzeitige Interventionen zu ermöglichen.

Ursprüngliche Autoren: Anna Kowalczyk, Jakub Kowalski

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Anna Kowalczyk, Jakub Kowalski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen riesigen, digitalen Campus vor, auf dem Millionen von Menschen gleichzeitig Kurse belegen – von „Kochen für Anfänger" bis hin zu „Künstliche Intelligenz". Das sind die MOOCs (Massive Open Online Courses).

Das Problem ist oft: Ein Student fängt an, kocht mit Begeisterung, aber nach zwei Wochen ist er frustriert und verschwindet einfach. Die Kursleiter merken das erst, wenn der Kurs vorbei ist und sie die Bewertungen lesen. Das ist wie ein Koch, der erst nach dem Essen merkt, dass das Salz fehlt – zu spät, um es zu retten.

Diese Forschung stellt sich eine wichtige Frage: Können wir erkennen, dass ein Student unzufrieden wird, bevor er aufgibt?

Hier kommt das neue System TET-LLM ins Spiel. Man kann es sich wie einen super-sensiblen Frühwarn-Radar vorstellen, der drei verschiedene Sensoren kombiniert, um die Stimmung eines Lernenden einzuschätzen.

Die drei Sensoren des Radars

Stellen Sie sich vor, Sie beobachten einen Schüler in einem Klassenzimmer. Wie merken Sie, ob er Spaß hat oder nicht?

Der Bewegungssensor (Verhaltensdaten):
Der Schüler klickt auf Videos, macht Quizze oder schreibt auf dem Forum.
- Die Analogie: Ein normaler Lehrer zählt nur, wie viele Stunden der Schüler im Klassenzimmer saß. Unser Radar hingegen schaut genau hin: Wie sitzt er? Sitzt er stundenlang da, aber starrt nur auf den Bildschirm? Oder macht er Pausen, kommt zurück und versucht es nochmal? Das System erkennt Muster im Verhalten, die zeigen, ob jemand „im Sinkflug" ist oder sich gerade erholt.
Der Sprachanalyst (KI-Texte):
Der Schüler schreibt vielleicht einen kurzen Kommentar im Forum: „Das Video war verwirrend" oder „Ich liebe diese Aufgabe!".
- Die Analogie: Früher haben Computer nur nach Schlüsselwörtern wie „gut" oder „schlecht" gesucht. Unser System nutzt eine moderne KI (ein „Großes Sprachmodell"), die wie ein sehr einfühlsamer Psychologe ist. Sie versteht den Kontext. Sie weiß, dass „Das ist ja mal wieder toll" ironisch gemeint sein kann, wenn es in einem bestimmten Tonfall geschrieben wurde. Sie liest zwischen den Zeilen, auch bei kurzen, umgangssprachlichen Nachrichten.
Der Themen-Scanner (Großes Bild):
Worüber beschweren sich die Leute gerade? Ist es das Thema, der Dozent oder die Plattform?
- Die Analogie: Wenn 50 Leute gleichzeitig schreiben „Die Hausaufgaben sind zu schwer", ist das ein rotes Licht für die Schwierigkeit des Kurses. Das System fasst diese vielen kleinen Stimmen zu einem großen Bild zusammen, um zu sehen, wo der Schuh drückt.

Wie funktioniert die Vorhersage?

Das System schaut sich nur die ersten 7, 14 oder 28 Tage an. Es versucht vorherzusagen, wie die endgültige Bewertung am Ende des Kurses aussehen wird.

Das Besondere daran: Es ist nicht nur ein glatter Zahlenwert. Es ist wie ein Wetterbericht mit Unsicherheit.

Normale Vorhersage: „Der Student wird eine 3 bekommen."
Unser System: „Der Student wird wahrscheinlich eine 3 bekommen, aber ich bin mir zu 90 % unsicher, weil er noch gar nichts geschrieben hat."

Warum ist das wichtig? Weil Kursleiter dann wissen: „Okay, bei diesem Studenten bin ich mir nicht sicher. Ich warte lieber ab oder schicke eine sehr sanfte Nachricht, statt sofort zu intervenieren." Es verhindert, dass man falsche Alarme schreit.

Das Ergebnis im echten Leben

Die Forscher haben das System mit riesigen Datenmengen getestet. Das Ergebnis?

Es ist besser als alle bisherigen Methoden, besonders in den ersten kritischen Tagen (nach nur einer Woche).
Es erkennt unzufriedene Schüler viel früher.
Es hilft den Kursleitern, ihre Zeit dort zu investieren, wo sie wirklich gebraucht wird – wie ein Feuerwehrmann, der weiß, wo das Feuer wird, bevor die Flammen hochschlagen.

Zusammenfassend:
Statt nur am Ende des Kurses zu fragen: „War das gut?", sagt dieses System: „Achtung, hier brennt es bald!" – und zwar basierend auf dem, wie die Leute klicken, was sie schreiben und worüber sie sprechen. Es ist ein Frühwarnsystem, das hilft, die Bildungserfahrung für alle zu verbessern, bevor jemand den Kurs verlässt.

1. Problemstellung und Motivation

Massive Open Online Courses (MOOCs) generieren eine Fülle von Daten, doch die meisten bestehenden Systeme zur Vorhersage der Lernenden-Zufriedenheit arbeiten nachträglich (post hoc). Sie analysieren Kursbewertungen und Sternebewertungen erst am Ende eines Kurses. Dies stellt ein kritisches Problem dar, da pädagogische Interventionen (z. B. personalisierte Hinweise, Warnungen an Dozenten oder adaptive Inhalte) am effektivsten sind, wenn sie frühzeitig erfolgen, bevor Lernende das Interesse verlieren oder negative Eindrücke verfestigen.

Das Paper adressiert die Lücke der Frühwarn-Vorhersage (Early-Warning Forecasting). Das Ziel ist es, die endgültige Zufriedenheit eines Lernenden (gemessen als Sternebewertung am Kursende) allein auf Basis von Daten zu prognostizieren, die in den ersten $t$ Tagen des Kurses ( $t \in \{7, 14, 28\}$ ) beobachtet wurden.

Herausforderungen:

Sparsity und Heterogenität: Frühe Verhaltenssignale sind oft dünn gesät und unregelmäßig. Einfache Aggregatstatistiken (z. B. Gesamt-Watchtime) erfassen die Dynamik des Engagements (z. B. progressive Desengagement oder Erholung nach einem gescheiterten Quiz) nicht.
Kontextabhängigkeit: Frühe Textspuren (Forenbeiträge, kurzes Feedback) sind oft kurz, informell und kontextabhängig, was starke kontextuelle Repräsentationen erfordert, um emotionale Signale zu extrahieren.

2. Methodik: Das TET-LLM Framework

Die Autoren schlagen TET-LLM (Temporal Event Transformer with LLM embeddings) vor, ein multimodales Fusionsframework, das drei komplementäre Informationsströme kombiniert:

A. Zeitliche Ereignis-Transformer für Verhaltenssequenzen

Eingabe: Eine Sequenz von Verhaltensereignissen ( $e_j$ ) mit Zeitstempeln ( $\tau_j$ ) innerhalb des Zeitfensters $t$ .
Repräsentation: Jedes Ereignis wird durch einen Embedding-Vektor für den Ereignistyp (z. B. Video abspielen, Quiz einreichen) und einen Zeitabstands-Embedding ( $\Delta \tau_j$ ) kodiert. Um die heavy-tailed Verteilung der Zeitabstände zu handhaben, werden diese logarithmisch in Bins unterteilt.
Architektur: Ein Transformer-Encoder mit Multi-Head-Self-Attention (MHSA) verarbeitet die Sequenz. Ein lernbarer Query-Vektor aggregiert die Sequenz via Attention Pooling zu einer festen Verhaltensrepräsentation $b^{(t)}_{ic}$ .
Robustheit: Während des Trainings wird Random Event Masking angewendet, um mit unvollständigen Logs umzugehen.

B. LLM-basierte Text-Embeddings

Eingabe: Frühe Textfragmente (Forenbeiträge, Feedback).
Verarbeitung: Ein vortrainierter Encoder (RoBERTa oder BERT) extrahiert kontextuelle Repräsentationen (via [CLS]-Token) für jedes Textfragment.
Aggregation: Da frühe Beiträge oft kurz und heterogen sind, werden sie nicht einfach gemittelt, sondern durch Attention Pooling zu einem einzigen Vektor $h^{(t)}_{ic}$ zusammengefasst. Ein binärer Indikator markiert fehlende Textdaten.

C. Kurztext-Themen-/Aspekt-Verteilungen

Um grobe Zufriedenheitsfaktoren zu erfassen (z. B. Inhaltsqualität, Dozentenleistung, Bewertungsschwierigkeit), wird eine Themenverteilung $\theta^{(t)}_{ic}$ über 6 vordefinierte MOOC-Evaluationsdimensionen extrahiert. Dies dient als komplementärer Feature-Stream, besonders wenn Textdaten knapp sind.

D. Multimodale Fusion und Heteroskedastische Regression

Fusion: Die drei Modalitäten (Verhalten, Text-Embeddings, Themen) werden auf eine gemeinsame Dimension projiziert und concateniert.
Ausgabe: Ein heteroskedastischer Regressionskopf (MLP) gibt nicht nur einen Punktwert für die Zufriedenheit ( $\hat{\mu}$ ) aus, sondern auch eine Vorhersageunsicherheit ( $\hat{\sigma}^2$ ).
Verlustfunktion: Das Modell wird mittels einer heteroskedastischen Gaußschen Negative Log-Likelihood trainiert. Dies zwingt das Modell, bei schwierigen oder datenarmen Instanzen eine hohe Unsicherheit auszugeben, was konservative Interventionsstrategien ermöglicht.
Modality Dropout: Um das Problem fehlender Textdaten (bei ca. 82% der Lernenden nach 7 Tagen) zu lösen, wird während des Trainings zufällig eine Modalität (Text oder Verhalten) mit einer Wahrscheinlichkeit von 0,3 bzw. 0,1 auf Null gesetzt. Dies erzwingt die Robustheit des Modells bei fehlenden Daten im Inferenzmodus.

3. Wichtige Beiträge

Leakage-sicheres Evaluationsprotokoll: Einführung eines rigorosen Protokolls für die Vorhersage in verschiedenen Zeithorizonten ( $t=7, 14, 28$ Tage), das sicherstellt, dass keine zukünftigen Daten in die Merkmale einfließen.
Neuartige Architektur (TET-LLM): Kombination von zeitlichen Verhaltensmodellen, LLM-Texteinbettungen und Themenmodellen unter einem heteroskedastischen Regressionsziel.
Umfassende Evaluation: Experimente auf einem großen, plattformübergreifenden MOOC-Datensatz mit Ablationsstudien, Unsicherheitskalibrierung und operativen Frühwarn-Szenarien.

4. Ergebnisse

Die Experimente wurden auf einem Datensatz mit 480.000 Einschreibungen und 120 Kursen durchgeführt.

Vorhersagegenauigkeit: TET-LLM übertrifft konsistent alle Baselines (Aggregat-Features + XGBoost, reiner Text, reines Verhalten, statische Multimodalität) über alle Zeithorizonte hinweg.
- Bei 7 Tagen (dem schwierigsten Szenario) erreicht TET-LLM einen RMSE von 0,82 und einen AUC von 0,77.
- Im Vergleich zur besten Baseline (TET-Behavior) ergibt sich eine relative RMSE-Verbesserung von ca. 4,7% nach 7 Tagen.
Ablationsstudie:
- Das Entfernen der frühen Text-Embeddings führt nach 7 Tagen zu dem größten Genauigkeitsverlust (+0,04 RMSE), was zeigt, dass LLM-Repräsentationen einzigartige affektive Signale liefern, die in Verhaltenslogs fehlen.
- Das Entfernen des temporalen Encoders führt nach 14 Tagen zum größten Verlust, was die wachsende Bedeutung von Verhaltensverläufen mit mehr Daten unterstreicht.
- Modality Dropout ist kritisch: Ohne ihn steigt der RMSE um 0,03, da das Modell bei fehlenden Textdaten (die Mehrheit der Fälle) versagt.
Unsicherheitskalibrierung: Das heteroskedastische Modell erreicht eine 90%ige Intervallabdeckung (nahe am nominalen Ziel), während statische Modelle die Unsicherheit unterschätzen (nur 84% Abdeckung).
Operative Leistung: Bei der Identifizierung von unzufriedenen Lernenden (Ziel: $y \le 3$ ) verbessert TET-LLM die Recall@10% von 0,35 auf 0,41 nach 7 Tagen. Das bedeutet, dass 41% der als Risikofälle markierten Lernenden tatsächlich unzufrieden sind – eine 17%ige relative Verbesserung gegenüber verhaltensbasierten Ansätzen.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass die Kombination aus feinkörnigen Verhaltenssequenzen (via Transformer) und semantischen Texteinbettungen (via LLM) entscheidend für eine frühe Vorhersage der Lernenden-Zufriedenheit ist.

Praktischer Nutzen: Das System ermöglicht Plattformen und Dozenten, Ressourcen gezielt dort einzusetzen, wo das Risiko eines Abbruchs oder einer niedrigen Bewertung am höchsten ist, und zwar zu einem Zeitpunkt, an dem Interventionen noch wirksam sind.
Robustheit: Durch die Integration von Unsicherheitsquantifizierung und Modality Dropout ist das System robust gegenüber den typischen Datenlücken in MOOCs (viele Lernende schreiben keine Forenbeiträge).
Zukunftsausblick: Die Autoren schlagen vor, die Methode in einer echten Produktionspipeline zu validieren, Cross-Course-Verallgemeinerung zu untersuchen und die Vorhersagen mit kausalen Interventionsstudien zu verknüpfen.

Zusammenfassend bietet TET-LLM einen neuen Standard für das Educational Data Mining, indem es die zeitliche Dimension von Verhaltensdaten mit der semantischen Tiefe von LLMs verbindet, um proaktive statt reaktive Lernunterstützung zu ermöglichen.