Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
Diese Studie zeigt auf, dass zuvor berichtete nahezu perfekte Vorhersagen des Hochschulabschlusses Artefakte eines Target Leakage durch ergebnisabhängige Attribute waren, und stellt fest, dass maschinelle Lernmodelle bei Anwendung eines korrigierten, frei von Leakage befindlichen Protokolls auf Verwaltungsdaten aus Gaza eine hohe, aber realistische Genauigkeit (bis zu 89,16 %) erreichen, wobei die Anzahl der abgeschlossenen Semester der stärkste Prädiktor ist.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
An der modernen Universität hinterlässt jeder Studierende eine gewaltige digitale Spur. Vom Moment der Bewerbung an werden Namen, Noten und Anwesenheit in Verwaltungssystemen erfasst, wodurch ein massives Archiv akademischer Geschichte entsteht. Seit Jahrzehnten versuchen Forscher, diese Daten zu erschließen, um Muster zu finden, die vorhersagen können, wer seinen Abschluss schaffen wird und wer möglicherweise das Studium abbricht. Das Ziel ist es, kämpfende Studierende frühzeitig zu identifizieren, damit die Hochschulen Hilfe anbieten können, bevor es zu spät ist. Dieses Feld, bekannt als Educational Data Mining, stützt sich auf eine einfache, aber strenge Regel: Eine Vorhersage muss nur mit den Informationen getroffen werden, die zu diesem spezifischen Zeitpunkt verfügbar sind. Wenn ein Modell eine Information verwendet, die erst nach dem eingetretenen Ereignis existiert, nutzt es zukünftige Informationen. Dieser Fehler, bezeichnet als Target Leakage (Zielleckage), erzeugt eine falsche Gewissheit und lässt ein Modell perfekt erscheinen, obwohl es in Wirklichkeit nur den Lösungsschlüssel liest.
Ein Forschungsteam in Gaza, Palästina, setzte sich zum Ziel, diese Idee anhand von zwanzig Jahren Datensätzen des University College of Applied Sciences zu testen. Sie untersuchten die Akten von fast 4.700 Studierenden, die zwischen 2000 und 2019 Informationstechnologie studiert hatten. Ihre Untersuchung begann mit einer erschreckenden Entdeckung. Als sie Computermodelle zur Vorhersage des Studienabschlusses mit den Daten bauten, wie sie exakt im System der Schule gespeichert waren, waren die Ergebnisse verdächtig perfekt. Die Modelle erreichten eine Genauigkeit von 100 Prozent, was bedeutete, dass sie keinen einzigen Fehler machten. Dies schien ein Triumph zu sein, doch die Forscher erkannten, dass die Modelle nicht tatsächlich die Zukunft vorhersagten. Sie betrachteten lediglich zwei spezifische Spalten in der Datenbank: das Jahr, in dem ein Student graduierte, und seinen Abschlussnotendurchschnitt. Diese Zahlen erscheinen nur im System, wenn ein Student sein Studium bereits abgeschlossen hat. Durch den Einschluss dieser Daten wurde den Modellen im Wesentlichen die Antwort gegeben, bevor sie mit dem Test begannen.
Sobald die Forscher diese zwei „Zukunftsinformations-Spalten“ entfernten, änderte sich das Bild grundlegend. Die Modelle, die Decision Trees, Random Forests und Gradient Boosting Algorithmen beinhalteten, mussten nun mit den Informationen arbeiten, die während des Studiums der Studierenden verfügbar waren. Unter diesen ehrlichen Bedingungen sank die Genauigkeit auf ein realistischeres Niveau von etwa 89 Prozent. Obwohl dies immer noch ein starkes Ergebnis ist, liegt es weit entfernt von der unmöglichen Perfektion der vorangegangenen Messungen. Die Forscher fanden heraus, dass das stärkste Signal dafür, ob ein Student graduieren würde, nicht sein Notendurchschnitt war, sondern schlicht die Anzahl der erfolgreich absolvierten Semester. Ein Student, der kontinuierlich erschien und die Semester abschloss, war weitaus wahrscheinlicher in der Lage, sein Studium abzuschließen, als jemand mit hohen Noten, der jedoch die Teilnahme einstellte. Dies deutet darauf hin, dass Beharrlichkeit ein stärkerer Prädiktor für Erfolg ist als die momentane akademische Leistung.
Die Studie untersuchte auch, wie früh diese Vorhersagen getroffen werden konnten. Als die Forscher die Modelle so einschränkten, dass sie nur die Informationen nutzen durften, die zum Zeitpunkt der Bewerbung an der Universität verfügbar waren – wie etwa die High-School-Noten und das Alter – sank die Genauigkeit auf etwa 70 Prozent. Dies zeigt, dass Hochschulen zwar eine allgemeine Einschätzung des Risikos treffen können, bevor ein Student überhaupt eintrifft, das wahre Bild sich jedoch erst ergibt, sobald der Student seine Reise beginnt und seine Historie der Anwesenheit Gestalt annimmt. Die Forscher prüften zudem, ob die Modelle männliche und weibliche Studierende fair behandelten. Sie stellten fest, dass die Modelle nicht diskriminierten; tatsächlich sagten sie, da weibliche Studierende in dieser spezifischen Gruppe eine natürlich höhere Graduationsrate hatten, korrekterweise voraus, dass sie eher erfolgreich sein würden. Die frühere Version der Studie hatte eine andere Regel basierend auf dem Geschlecht suggeriert, doch das war eine Illusion, die durch die fehlerhaften Daten erzeugt worden war.
Die Implikationen dieser Arbeit reichen weit über eine einzige Universität in Gaza hinaus. Sie dient als Warnung für Institutionen weltweit, die bestrebt sind, künstliche Intelligenz zur Steuerung des Studienerfolgs einzusetzen. Die Forscher demonstrierten, dass ein Modell unglaublich leistungsfähig wirken kann, während es völlig nutzlos ist, wenn man es erlaubt, in die Antwort hineinzuspähen. Sie lieferten eine klare Methode für andere Schulen, um ihre eigenen Daten auf diese verborgenen Mängel zu prüfen. Für Studienberater bieten die korrigierten Erkenntnisse einen praktischen Weg nach vorn: Konzentrieren Sie sich auf Studierende, die die Teilnahme am Unterricht einstellen, statt nur auf jene mit niedrigen Noten, und nutzen Sie diese Vorhersagen als Anstoß für ein menschliches Gespräch statt für eine automatisierte Entscheidung. Die Studie schließt mit dem Schluss, dass hohe Genauigkeit nicht das einzige Maß für ein gutes Modell ist; ein Modell, das ehrlich darüber ist, was es weiß und wie es es weiß, ist weitaus wertvoller für die Unterstützung von Studierenden auf ihrem Bildungsweg.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.