Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

Jedes Jahr stehen Universitäten weltweit vor einer stillen Krise: Ein erheblicher Teil ihrer Studierenden bricht das Studium ab, bevor sie ihren Abschluss erlangen. Dies ist nicht nur ein Verlust für die Studierenden, die oft mit schlechteren Berufsaussichten und geringeren Verdienstmöglichkeiten konfrontiert sind, sondern auch ein schwerer finanzieller Schlag für die Institutionen selbst. Seit Jahrzehnten versuchen Forscher, dieses Rätsel zu lösen, indem sie Computerprogramme entwickeln, die erkennen können, welche Studierenden wahrscheinlich ihr Studium abbrechen werden. Diese Programme, bekannt als Machine-Learning-Modelle, analysieren die Historie eines Studierenden – seine Noten, seine finanzielle Situation und seinen Hintergrund –, um seine Zukunft vorherzusagen. Das Ziel war schon immer, gefährdete Studierende frühzeitig zu erfassen, damit die Hochschulen Hilfe anbieten können, bevor es zu spät ist. Es hat sich jedoch ein kritischer Fehler in diesen Bemühungen durchgesetzt. Während die Computer zwar eine Vorhersage treffen können, sagen sie der Hochschule selten, wie sehr sie dieser Vorhersage vertrauen sollte. Ein Modell mag sagen, dass ein Studierender gefährdet ist, bietet aber keine Möglichkeit zu wissen, ob diese Warnung ein fundierter Fakt oder eine vage Vermutung ist. Ohne die Zuverlässigkeit der Prognose zu kennen, riskieren Hochschulen, Ressourcen für Studierende zu verschwenden, die eigentlich in Ordnung sind, oder – schlimmer noch – die Studierenden zu übersehen, die wirklich Hilfe benötigen.

Eine neue Studie von Kazi Sabbir Ahmad Nahin, einem Forscher an der University of Kentucky, geht diesem Problem entgegen, indem sie die Art und Weise ändert, wie diese Vorhersagen geliefert werden. Anstatt den Computer zu bitten, eine einzige, definitive Antwort zu geben wie „dieser Studierende wird das Studium abbrechen“ oder „dieser Studierende wird graduieren“, nutzt die Studie eine Methode namens Conformal Prediction. Dieser Ansatz fordert den Computer auf, eine Menge möglicher Ergebnisse zusammen mit einer Garantie zu liefern, wie oft diese Menge korrekt sein wird. Denken Sie an den Unterschied zwischen einem Wetterbericht, der sagt: „Es wird morgen regnen“, ohne Kontext, gegenüber einem, der sagt: „Es besteht eine 95-prozentige Wahrscheinlichkeit, dass es regnet, und falls wir falsch liegen, wird dies in diesem spezifischen Bereich von Möglichkeiten der Fall sein.“ Der Forscher wandte diese Methode auf Daten von über 4.400 Studierenden einer portugiesischen Universität an und testete sechs verschiedene Arten von Computermodellen, um zu sehen, welche am besten vorhersagen konnten, ob ein Studierender den Abschluss macht, das Studium abbricht oder einfach eingeschrieben bleibt.

Die Studie ergab, dass die Computermodelle tatsächlich recht gut darin waren, zwischen Studierenden, die ihre Abschlüsse erwerben würden, und jenen, die das Studium verlassen würden, zu unterscheiden. Die leistungsstärksten Modelle, die fortgeschrittene Techniken nutzten, um aus den Daten zu lernen, identifizierten das Ergebnis in etwa 90 Prozent der Fälle korrekt, wenn sie nur die zwei Endergebnisse betrachteten: Abschluss oder Abbruch. Der wahre Durchbruch kam jedoch, als die Forscher die Ebene der Unsicherheit hinzufügten. Als die Modelle aufgefordert wurden, hochkonfident zu sein – speziell, in 95 Prozent der Fälle richtig zu liegen –, lieferten sie nicht für jeden Studierenden eine einzige Antwort. Stattdessen gaben sie für etwa 9 bis 12 Prozent der Studierenden eine Menge zurück, die sowohl „Abschluss“ als auch „Abbruch“ enthielt. Dies war kein Versagen des Computers; es war ein Erfolg der neuen Methode. Es bedeutete, dass für diese spezifischen Studierenden die verfügbaren Beweise nicht stark genug waren, um eine Zukunft über die andere zu stellen. Der Computer gab ehrlich zu: „Ich bin mir noch nicht sicher.“

Diese Unsicherheit war noch ausgeprägter, als die Forscher eine dritte Kategorie einbezogen: Studierende, die noch eingeschrieben sind, aber noch keinen Abschluss erlangt haben. In diesem komplexeren Szenario stellten die Modelle fest, dass für fast 40 Prozent der Studierenden die Beweislage auf mehrere mögliche Zukünfte hindeutete. Die Gruppe der „noch Eingeschriebenen“ stellt einen Übergangszustand dar, in dem der Weg des Studierenden tatsächlich noch unentschieden ist. Indem frühere Studien versuchten, diesen Studierenden ein einzelnes Label aufzuzwingen, hätten sie möglicherweise die Tatsache verborgen, dass die Vorhersage wackelig war. Das neue Framework hingegen machte diese Ambiguität sichtbar. Es zeigte, dass für einen großen Teil der Studierendenschaft die Flugbahn noch nicht klar war und der Computer das Endergebnis nicht mit Sicherheit vorhersagen konnte. Dies ist eine entscheidende Unterscheidung für Hochschuladministratoren, da es verhindert, dass sie eine wackelige Vermutung mit demselben Gewicht behandeln wie einen soliden Fakt.

Über die bloße Messung der Unsicherheit hinaus untersuchte die Studie auch, welche Faktoren diese Vorhersagen antreiben. Unter Verwendung einer Technik, die den Entscheidungsprozess des Computers aufschlüsselt, fanden die Forscher heraus, dass die stärksten Signale aus dem akademischen Fortschritt eines Studierenden kamen. Insbesondere die Anzahl der bestandenen Kurse und die Noten im zweiten Semester waren die aussagekräftigsten Indikatoren für die Zukunft. Auch finanzieller Stress spielte eine große Rolle; Studierende, die mit Studiengebühren im Verzug waren oder Schulden trugen, wurden eher als gefährdet eingestuft. Diese Erkenntnisse decken sich mit langjährigen Theorien darüber, warum Studierende die Schule verlassen, und bestätigen, dass sowohl die akademische Integration als als auch die finanzielle Stabilität Schlüsselpfeiler der Beständigkeit sind. Die Studie behauptete nicht, dass diese Faktoren zum Studienabbruch führen, sondern dass sie die zuverlässigsten Hinweise sind, die der Computer nutzen kann, um Probleme aufzuspüren.

Die Auswirkungen dieser Arbeit sind praktisch und unmittelbar für das Management der Ressourcen durch Universitäten. Die Studie schlägt ein gestuftes System für das Handeln auf Basis dieser Vorhersagen vor. Wenn die Vorhersagemenge eines Studierenden nur „Abbruch“ enthält, kann die Hochschule ihn für sofortige, intensive Unterstützung wie Nachhilfe oder Finanzberatung priorisieren. Wenn die Menge nur „Abschluss“ enthält, kann der Studierende ungestört sein und sein Studium fortsetzen. Aber für die Studierenden, deren Vorhersagemenge mehrere Ergebnisse enthält – also diejenigen, bei denen sich der Computer nicht entscheiden konnte –, schlägt die Studie einen anderen Ansatz vor. Diese Studierenden sollten menschlichen Beratern zugewiesen werden, damit diese einen genaueren Blick darauf werfen können. Ein Berater kann weitere Informationen sammeln, wie etwa ein Gespräch mit dem Studierenden führen oder die Anwesenheit prüfen, um die Unsicherheit aufzulösen, bevor eine Entscheidung getroffen wird. Dies verwandelt den Computer von einem endgültigen Richter in ein hilfreiches Werkzeug, das aufzeigt, wo menschliches Urteilsvermögen am dringendsten benötigt wird.

Letztlich legt diese Forschung nahe, dass die Zukunft der studentischen Unterstützung nicht darin liegt, Computer zu bauen, die immer recht haben, sondern Systeme zu schaffen, die ehrlich darüber sind, wenn sie sich unsicher sind. Durch die Quantifizierung der Unsicherheit können Hochschulen aufhören zu raten und beginnen, informierte Entscheidungen zu treffen. Sie können ihre begrenzten Ressourcen auf die Studierenden lenken, die sie am dringendsten benötigen, während sie gleichzeitig das Stigma und die Verschwendung vermeiden, die entstehen, wenn man in Fällen interveniert, in denen das Ergebnis eigentlich klar ist. Die Studie kommt zu dem Schluss, dass Machine Learning zwar ein mächtiges Werkzeug ist, um Muster in Studentendaten aufzuspüren, es aber mit Methoden kombiniert werden muss, die die Zuverlässigkeit messen. Nur dann können diese Systeme wirklich das Ziel unterstützen, jedem Studierenden dabei zu helfen, die Ziellinie zu überqueren.