How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education

Im modernen Universitätswesen hinterlässt ein beträchtlicher Teil des Studentenlebens einen digitalen Fußabdruck. Jedes Mal, wenn ein Lernender sich auf einer Kurswebsite einloggt, auf einen Link klickt oder ein Dokument herunterlädt, wird ein Datensatz erstellt. Pädagogen und Forscher betrachten diese digitalen Spuren seit langem als ein Fenster zum Erfolg der Studierenden. Die Logik scheint simpel zu sein: Wenn ein Student online aktiv ist, ist er wahrscheinlich engagiert, und wenn er engagiert ist, wird er wahrscheinlich gut in seinem Kurs abschneiden. Dieser Glaube hat die Entwicklung von Dashboards und Frühwarnsystemen vorangetrieben, die darauf ausgelegt sind, kämpfende Studierende durch das Zählen ihrer Klicks zu identifizieren. Eine kritische Frage blieb jedoch unbeantwortet: Verursacht die Aktivität selbst die guten Noten, oder sind die guten Noten lediglich ein Zeichen für einen Studenten, der bereits vorbereitet und motiviert war? Der Unterschied ist immens wichtig. Wenn Aktivität lediglich ein Symptom des Erfolgs ist, dann wird es dem Studenten nicht helfen, mehr zu lernen, wenn man ihn dazu zwingt, mehr Schaltflächen anzuklicken. Wenn die Aktivität jedoch ein echter Treiber des Lernens ist, dann könnte die Förderung von mehr Interaktion ein mächtiges Werkzeug zur Verbesserung sein.

Ein Forschungsteam setzte sich zum Ziel, diese Beziehung unter Verwendung einer massiven Sammlung von Daten der Open University im Vereinigten Königreich zu entwirren. Sie untersuchten die Aufzeichnungen von über einundzwanzigtausend Studenten, die an vierundzwanzig verschiedenen Online-Kurspräsentationen teilnahmen. Der Datensatz war reichhaltig und enthielt Details über die Hintergründe der Studenten, ihre vergangenen akademischen Leistungen und über zehn Millionen Interaktionen mit der virtuellen Lernumgebung. Die Forscher konzentrierten sich speziflich auf den Zeitraum vor dem Zeitpunkt, an dem ein Student eine Aufgabe einreichte. Sie zählten die Anzahl der Klicks und Aktivitäten, die in den Tagen vor der Abgabefrist stattfanden, und stellten sicher, dass jegliche Aktivität, die nach der Abgabe der Arbeit erfolgte, nicht mitgezählt wurde. Dieses sorgfältige Timing war entscheidend, um sicherzustellen, dass sie das Verhalten betrachteten, das stattfand, bevor das Ergebnis bekannt war.

Die Studie begann mit der Betrachtung der Rohzahlen, der Art von einfacher Assoziation, die oft in Standardberichten erscheint. Sie fanden eine starke Verbindung: Pro Standardzunahme des Volumens der Online-Aktivität stieg die Bewertung um etwa drei einviertel Punkte. Diese Zahl ist das, was ein typisches Dashboard hervorheben würde, um zu suggerieren, dass mehr Aktivität gleich besserer Leistung entspricht. Die Forscher wussten jedoch, dass diese Rohzahl wahrscheinlich den Einfluss vieler anderer Faktoren beinhaltete. Studenten, die in der Vergangenheit gut abgeschnitten hatten, klickten möglicherweise natürlicherweise mehr, weil sie selbstbewusst sind, oder sie klickten mehr, weil sie bereits gut in dem Fachgebiet sind. Um den wahren Effekt der Aktivität selbst zu finden, verwendeten die Forscher eine anspruchsvolle statistische Methode, die darauf ausgelegt war, diese bereits bestehenden Unterschiede zu eliminieren. Sie passten die Daten an, um die Faktoren zu berücksichtigen, die sie über die Studenten vor dem Öffnen des Aktivitätsfensters wussten, einschließlich ihrer bisherigen Noten, ihres demografischen Hintergrunds und ihrer Erfahrung mit der Plattform.

Als die Forscher diese Anpassung anwandten, änderte sich die Geschichte signifikant. Die Verbindung zwischen Aktivität und Noten verschwand nicht, aber sie schrumpfte erheblich. Nach Berücksichtigung der bisherigen Geschichte sank der Anstieg der Punktzahl von drei einviertel Punkten auf knapp unter ein Dreiviertelpunkt für die gleiche Zunahme der Aktivität. Das bedeutet, dass fast die Hälfte der ursprünglichen Verbindung zwischen Klicken und Punktzahl tatsächlich auf die Hintergründe und die vergangene Leistung der Studenten zurückzuführen war, nicht auf die Aktivität selbst. Die verbleibende Verbindung, obwohl immer noch real und statistisch signifikant, war viel kleiner, als die Rohzahlen vermuten ließen. Es deutet darauf an, dass Online-Aktivität zwar nützliche Informationen darüber liefert, wie ein Student zurechtkommt, aber das Verlassen auf die unbereinigten Zahlen Institutionen dazu führen würde, die Wirkung davon, einfach die Klicks zu erhöhen, auf die Verbesserung der Note eines Studenten zu überschätzen.

Die Forscher untersuchten auch, ob diese bereinigte Beziehung bei unterschiedlichen Arten von Studenten oder unterschiedlichen Arten von Aufgaben anders aussah. Sie fanden heraus, dass die Verbindung bei Aufgaben, die schriftliche, offene Antworten erforderten, die von einem menschlichen Tutor bewertet wurden, stärker war als bei Multiple-Choice-Fragen, die von einem Computer bewertet wurden. Dies deutet darauf hin, dass die Art der Arbeit zählt; die digitale Aktivität könnte enger mit dem tiefen Denken verbunden sein, das für aufsatzähnliche Aufgaben erforderlich ist, als mit schnellen, automatisierten Quizfragen. Sie entdeckten auch, dass die Verbindung bei Studenten, die in der Vergangenheit niedrigere Noten hatten, stärker war. Für diese Lernenden schien die Online-Aktivität ein zuverlässigeres Signal für ihre aktuelle Leistung zu sein. Im Gegensatz dazu zeigte die Verbindung keinen klaren Unterschied basierend darauf, ob ein Student aus einem benachteiligten Hintergrund stammte oder eine Behinderung angab, obwohl die Daten nicht präzise genug waren, um kleine Unterschiede vollständig auszuschließen.

Trotz dieser Ergebnisse blieben die Forscher vorsichtig damit, zu behaupten, dass die Aktivität die Noten verursacht. Um nach verborgenen Faktoren zu suchen, die sie nicht messen konnten, führten sie eine spezifische Prüfung durch. Sie fragten, ob die aktuelle Online-Aktivität eine Note einer vorherigen Aufgabe vorhersagen konnte, die bereits abgeschlossen worden war, bevor die aktuelle Aktivität überhaupt begann. Logischerweise können zukünftige Klicks keine vergangene Note ändern. Dennoch zeigten die Daten, dass Studenten, die im aktuellen Fenster mehr klickten, tatsächlich höhere Punktzahlen in dieser vorherigen Aufgabe hatten, selbst nach allen Anpassungen. Dieses Ergebnis signalisiert, dass noch ungesehene Kräfte am Werk sind. Vielleicht sind einige Studenten von Natur aus motivierter oder haben bessere Lerngewohnheiten, die außerhalb des digitalen Systems existieren und sowohl ihre Online-Aktivität als auch ihre Noten antreiben. Aus diesem Grund kamen die Forscher zu dem Schluss, dass die bereinigte Verbindung zwar real ist, es aber keine Garantie dafür ist, dass eine Intervention, die darauf abzielt, mehr Klicks zu erzwingen, die Punktzahlen automatisch um den vollen Betrag der bereinigten Zahl steigern würde.

Die Studie bietet eine klare Lektion dafür, wie Universitäten Daten nutzen, um Studenten zu unterstützen. Die digitalen Spuren, die Lernende hinterlassen, sind wertvoll, aber sie sind kein einfacher Schalter, der das Lernen einschaltet. Die rohe Assoziation zwischen Aktivität und Erfolg ist stark, wird aber maßgeblich durch die Frage beeinflusst, wer der Student ist und was er zuvor getan hat. Wenn Pädagogen diese Zahlen verwenden, um zu entscheiden, wer Hilfe benötigt, müssen sie verstehen, dass die Zahlen eine Geschichte der Korrelation erzählen, nicht unbedingt der Ursache und Wirkung. Ein Student mit geringer Aktivität könnte Unterstützung benötigen, aber es wird unwahrscheinlich sein, das Problem zu lösen, wenn man ihm lediglich sagt, er solle mehr klicken, falls die zugrunde liegende Ursache ein Mangel an Vorwissen oder Motivation ist. Der effektivste Ansatz besteht darin, diese Verhaltenssignale als Anlass für ein Gespräch und eine Diagnose zu nutzen, wobei man erkennt, dass die Aktivität ein Wegweiser ist, der auf den Zustand eines Studenten hinweist, und nicht ein Hebel, den man ziehen kann, um ein besseres Ergebnis zu erzwingen.