Which CS1 Students Will Fail? Identifying Digital Markers from Learning Analytics in Computer Systems and Architecture Using Weighted Academic Momentum and Interaction Logs

In der weiten Landschaft der modernen Bildung findet innerhalb der digitalen Systeme, die unsere Klassenzimmer verwalten, eine stille Revolution statt. Seit Jahrzehnten verlassen sich Lehrer auf Noten und Anwesenheitslisten, um zu beurteilen, wie gut ein Schüler vorankommt, aber diese traditionellen Maße treffen oft zu spät ein, um einem lernschwachen Schüler zu helfen. Heute, da Universitäten ihre Kurse zunehmend online verlagern, hinterlässt jeder Klick, jeder Login und jeder Moment, der auf einer digitalen Plattform verbracht wird, eine Spur. Forscher bezeichnen diese Spuren als „digitale Marker“. Sie sind die Fußabdrücke des täglichen Lebens eines Studenten in einem Kurs und bieten einen Einblick in seine Gewohnheiten, sein Engagement und potenzielle Schwierigkeiten, lange bevor eine Abschlussprüfung überhaupt geschrieben wurde. Die Frage, die dieses neue Forschungsfeld antreibt, ist einfach und doch tiefgründig: Können wir diese digitalen Fußabdrücke lesen, um einen Studenten zu erkennen, der kurz vor dem Scheitern steht, und können wir dies früh genug tun, um seinen Weg zu ändern?

Dies ist die Herausforderung, der sich ein Forschungsteam der University of Zambia widmete, das seine Aufmerksamkeit auf einen berüchtigt schwierigen Kurs im ersten Studienjahr richtete: Computer Systems and Architecture. In diesem Kurs bestehen historisch gesehen fast vierzig Prozent der Studierenden nicht, eine Quote, die viele helle Köpfe zurücklässt, noch bevor ihr Studium wirklich begonnen hat. Die Dozenten wussten, dass etwas nicht stimmte, aber ihnen fehlte eine Möglichkeit, zu identifizieren, wer gefährdet war, bevor es zu spät war. Um dies zu lösen, entschied sich das Team, über die Endnoten hinauszublicken und stattdessen die digitalen Brotkrumen zu untersuchen, die Studenten über vier Jahre hinweg hinterlassen hatten. Sie sammelten Daten von fast dreihundert Studenten und kombinierten deren grundlegende Hintergrundinformationen, ihre Ergebnisse bei frühen Quizfragen und Tests sowie die Rohprotokolle darüber, wie sie mit dem Online-Lernsystem der Universität interagierten. Ihr Ziel war es, ein Modell zu entwickeln, das als Frühwarnsystem fungieren konnte, indem es Studenten markierte, die wahrscheinlich durchfallen würden, damit die Lehrkräfte eingreifen konnten, während noch Zeit blieb, um das Blatt zu wenden.

Die Forscher begannen damit, den Menschen zuzuhören, die den Kurs am besten kannten: den Dozenten, den Tutoren und den Studenten selbst. Durch Interviews und Umfragen identifizierten sie zehn Faktoren, die den Erfolg scheinbar beeinflussten, wie etwa Zeitmanagement, Motivation und ob ein Student einen Computer besaß. Sie übersetzten diese menschlichen Erkenntnisse dann in Datenpunkte und erstellten eine umfassende Liste von Merkmalen zum Testen. Sie entwickelten einen speziellen Wert namens „weighted academic momentum“ (gewichtetes akademisches Momentum), der betrachtete, wie ein Student bei seinen allerersten Quizfragen und Tests abschnitt, wobei er den späteren, umfassenderen frühen Bewertungen mehr Bedeutung beimas. Sie verfolgten auch, ob ein Student jemals in das Online-System eingeloggt war und an wie vielen verschiedenen Tagen er aktiv war. Indem sie all diese Informationen in ein Computermodell einspeisten, testeten sie, welche Kombination von Faktoren am besten vorhersagen konnte, wer durchfallen würde.

Was sie entdeckten, war sowohl überraschend als auch beruhigend. Der stärkste Prädiktor für das Scheitern war nicht eine komplexe Umfrage über die Motivation eines Studenten oder seine bisherige Erfahrung mit Computern, sondern vielmehr eine einfache Kombination aus drei Dingen: seinem frühen akademischen Momentum, seinem grundlegenden Hintergrund und einer einfachen Ja-Nein-Frage darüber, ob er jemals das Online-Lernsystem benutzt hatte. Das Modell fand heraus, dass die Leistung des Studenten in den ersten Wochen der Bewertungen das stärkste Signal für seinen zukünftigen Erfolg war. Dieses Signal war jedoch noch aussagekräftiger, wenn es mit einer einfachen Prüfung seiner digitalen Präsenz kombiniert wurde. Wenn ein Student hohe frühe Punktzahlen hatte, aber nie in das Online-System eingeloggt war, bestand dennoch ein erhebliches Risiko. Dies deutet darauf hin, dass einige Studenten vielleicht auf natürlicher Begabung oder Vorwissen segeln, sich der verfügbaren Online-Unterstützungsstrukturen nicht bewusst sind oder vielleicht zuversichtlich in ihrer Fähigkeit sind, ohne die Kursmaterialien zu nutzen, zu bestehen.

Als die Forscher ihr fertiges Modell an einer Gruppe von Studenten testeten, die es zuvor noch nie gesehen hatte, erwies es sich als bemerkenswert effektiv bei seiner primären Aufgabe: die Studenten zu finden, die in Schwierigkeiten steckten. Das System identifizierte korrekt siebenundachtzig Prozent der Studenten, die den Kurs letztendlich nicht bestanden. Dieser hohe Erfolgsgrad ging mit einem Kompromiss einher: Das Modell markierte auch einige Studenten, die bestanden hätten, als gefährdet, was zu einer Fehlalarmrate von einundvierzig Prozent führte. Die Forscher argumentieren, dass dies ein akzeptabler Preis für den Einsatz in einem Bildungsumfeld ist. Es ist weit besser, einem Studenten, der es nicht braucht, zusätzliche Hilfe anzubieten, als einen Studenten zu übersehen, der im Stillen kämpft und kurz vor dem Scheitern steht. Das Modell erreichte dies, indem es die Daten bereits fünf Wochen nach Semesterbeginn nutzte – ein Zeitrahmen, der den Dozenten ein entscheidendes Fenster für Interventionen bietet.

Die Studie zeigte auch, dass das Hinzufügen komplexerer Daten die Vorhersage nicht zwangsläufig besser machte. Die Einbeziehung detaillierter Umfrageantworten über die Gefühle eines Studenten oder seine spezifische Kursarbeitslast verbesserte die Genauigkeit des Modells nicht. Tatsächlich funktionierte der einfachste Ansatz – die Konzentration auf frühe Noten und eine grundlegende Überprüfung der Online-Aktivität – am besten. Dies deutet darauf hin, dass für diesen spezifischen Kurs die Handlungen eines Studenten in den ersten Wochen ein zuverlässigerer Indikator für seine Zukunft sind als seine selbstberichteten Gefühle oder Hintergrunddetails. Die Forscher nutzten eine Methode namens SHAP-Analyse, um zu verstehen, warum das Modell seine Entscheidungen traf, was bestätigte, dass das gewichtete akademische Momentum der wichtigste Faktor war, dicht gefolgt von der Interaktion zwischen diesem Momentum und der Frage, ob der Student mit dem Online-System interagiert hatte.

Diese Arbeit bietet einen praktischen Bauplan dafür, wie Universitäten die Daten, die sie bereits haben, nutzen können, um ihre Studenten zu unterstützen. Indem sie sich auf einfache, frühe digitale Marker konzentrieren, können Pädagogen vom Reagieren auf das Scheitern zum Verhindern desselben übergehen. Die Forscher planen, ihre Erkenntnisse in ein Live-Dashboard umzusetzen, das Dozenten automatisch alarmiert, wenn ein Student Anzeichen von Problemen zeigt, und ihnen klare Gründe für die Warnung liefert, damit sie gezielte Hilfe anbieten können. Obwohl die Studie an einer einzigen Universität in Sambia durchgeführt wurde, legt der Ansatz eine universelle Wahrheit nahe: Im digitalen Zeitalter spricht die Art und Weise, wie ein Student erscheint – selbst auf die kleinsten Arten –, oft lauter als sein Hintergrund oder sein anfängliches Selbstvertrauen. Der Weg zum Erfolg liegt nicht immer in komplexen Statistiken verborgen, sondern manchmal im leisen, beständigen Rhythmus des Erscheinens im Unterricht, sowohl persönlich als auch online.