Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
Deze studie toont aan dat eerder gerapporteerde bijna perfecte voorspellingen van het afstuderen in het hoger onderwijs artefactën waren van target leakage vanuit uitkomstbepalende attributen, en stelt vast dat wanneer een gecorrigeerd, leakage-vrij protocol wordt toegepast op administratieve gegevens uit Gaza, machine learning-modellen een hoge maar realistische nauwkeurigheid bereiken (tot 89,16%) waarbij het aantal voltooide semesters de sterkste voorspeller is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne universiteit laat elke student een enorm digitaal spoor achter. Vanaf het moment dat ze zich aanmelden, worden hun namen, cijfers en aanwezigheid geregistreerd in administratieve systemen, wat een massief archief van academische geschiedenis creëert. Decennialang hebben onderzoekers geprobeerd deze gegevens te minen om patronen te vinden die kunnen voorspellen wie zijn diploma zal behalen en wie mogelijk zal afhaken. Het doel is om worstelende studenten vroegtijdig te identificeren, zodat scholen hulp kunnen aanbieden voordat het te laat is. Dit vakgebied, bekend als educational data mining, rust op een eenvoudige maar strikte regel: een voorspelling moet worden gedaan met uitsluitend de informatie die op dat specifieke moment beschikbaar is. Als een model een stuk informatie gebruikt dat pas bestaat nadat de uitkomst al heeft plaatsgevonden, gebruikt het toekomstige informatie. Deze fout, genaamd target leakage, creëert een vals gevoel van zekerheid, waardoor een model perfect lijkt terwijl het in werkelijkheid gewoon het antwoordblad afleest.
Een team van onderzoekers in Gaza, Palestina, zette zich het doel om dit idee te testen met twintig jaar aan gegevens van het University College of Applied Sciences. Zij onderzochten de dossiers van bijna 4.700 studenten die tussen 2000 en 2019 informatietechnologie hadden gestudeerd. Hun onderzoek begon met een schokkende ontdekking. Toen zij computermodellen bouwden om afstuderen te voorspellen met de gegevens precies zoals die in het systeem van de school waren opgeslagen, waren de resultaten verdacht perfect. De modellen behaalden een nauwkeurigheid van 100 procent, wat betekende dat ze geen enkele fout maakten. Dit leek een triomf, maar de onderzoekers realiseerden zich dat de modellen niet daadwerkelijk de toekomst voorspelden. Ze keken simpelweg naar twee specifieke kolommen in de database: het jaar waarin een student afstudeerde en hun gemiddelde eindcijfer. Deze cijfers verschijnen alleen in het systeem als een student zijn of haar graad al heeft behaald. Door deze op te nemen, werd de modellen in feilen geleid door het antwoord al te krijgen voordat ze aan de test begonnen.
Zodra de onderzoekers deze twee kolommen met "toekomstige informatie" verwijderden, veranderde het beeld volledig. De modellen, die bestonden uit decision trees, random forests en gradient boosting algoritmen, moesten werken met enkel de informatie die beschikbaar was terwijl de studenten nog aan het studeren waren. Onder deze eerlijke omstandigheden daalde de nauwkeurigheid naar een meer realistisch niveau, rond de 89 procent. Hoewel dit nog steeds een sterk resultaat is, is het verre van de onmogelijke perfectie die eerder werd gezien. De onderzoekers ontdekten dat het krachtigste signaal voor het wel of niet behalen van een diploma niet het gemiddelde cijfer was, maar simpelweg hoeveel semesters zij succesvol hadden voltooid. Een student die bleef verschijnen en termijnen afmaakte, was veel waarschijnlijker in staat af te studeren dan een student met hoge cijfers maar die stopte met aanwezig zijn. Dit suggereert dat doorzettingsvermogen een sterkere voorspeller is van succes dan tijdelijke academische prestaties.
De studie keek ook naar hoe vroeg deze voorspellingen gedaan konden worden. Wanneer de onderzoekers de modellen beperkten tot de informatie die beschikbaar was op het moment dat een student zich aanmeldde bij de universiteit — zoals de middelbare schoolcijfers en leeftijd — daalde de nauwkeurigheid naar ongeveer 70 procent. Dit geeft aan dat hoewel scholen een algemeen beeld van risico kunnen krijgen voordat een student zelfs arriveert, het ware beeld pas tevoorschijn komt zodra de student aan zijn of haar reis begint en de geschiedenis van aanwezigheid begint op te bouwen. De onderzoekers controleerden ook of de modellen mannelijke en vrouwelijke studenten eerlijk behandelden. Zij vonden dat de modellen niet discrimineerden; sterker nog, omdat vrouwelijke studenten in deze specifieke groep een hogere natuurlijke graad van afstuderen hadden, voorspelden de modellen correct dat zij eerder geneigd zouden zijn succesvol te zijn. De eerdere versie van de studie had een andere regel gebaseerd op geslacht gesuggereerd, maar dat was een illusie gecreëerd door de gebrekkige data.
De implicaties van dit werk reiken verder dan slechts één universiteit in Gaza. Het dient als een waarschuwing voor instellingen wereldwijd die gretig zijn om kunstmatige intelligentie te gebruiken voor het beheer van studentensucces. De onderzoekers hebben aangetoond dat een model ongelooflijk krachtig kan lijken terwijl het volkomen nutteloos is als het wordt toegestaan in het antwoord te gluren. Zij boden een duidelijke methode voor andere scholen om hun eigen gegevens te controleren op deze verborgen gebreken. Voor studiebegeleiders bieden de gecorrigeerde bevindingen een praktisch pad voorwaarts: focus op studenten die stoppen met het bijwonen van lessen in plaats van alleen op die met lage cijfers, en gebruik deze voorspellingen als een aanleiding voor menselijk gesprek in plaats van een geautomatiseerde beslissing. De studie concludeert dat hoge nauwkeurigheid niet de enige maatstaf is voor een goed model; een model dat eerlijk is over wat het weet en hoe het dat weet, is veel waardevoller voor het helpen van studenten bij het navigeren door hun opleiding.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.