Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

Elk jaar worden universiteiten wereldwijd geconfronteerd met een stille crisis: een aanzienlijk deel van hun studenten verlaat de opleiding voordat ze hun diploma hebben behaald. Dit is niet alleen een verlies voor de studenten, die vaak te maken krijgen met slechtere arbeidsvooruitingen en een lager inkomen, maar ook een zware financiële klap voor de instellingen zelf. Decennialang hebben onderzoekers geprobeerd dit puzzelstuk op te lossen door computerprogramma's te bouwen die kunnen herkennen welke studenten waarschijnlijk zullen afbreken. Deze programma's, bekend als machine learning-modellen, analyseren de geschiedenis van een student—hun cijfers, hun financiële situatie en hun achtergrond—om hun toekomst te voorspellen. Het doel is altijd geweest om risicovolle studenten vroegtijdig te signaleren, zodat scholen hulp kunnen bieden voordat het te laat is. Er heeft zich echter een kritiek gebrek voorgedaan in deze inspanningen. Hoewel de computers een voorspelling kunnen doen, vertellen ze de school zelden hoe zeer zij die voorspelling moeten vertrouwen. Een model kan zeggen dat een student een risico loopt, maar biedt geen manier om te weten of die waarschuwing een solide feit is of een wankele gok. Zonder te weten hoe betrouwbaar de prognose is, riskeren scholen middelen te verspillen aan studenten die eigenlijk prima bezig zijn, of erger nog, de studenten te missen die echt hulp nodig hebben.

Een nieuwe studie door Kazi Sabbir Ahmad Nahin, een onderzoeker aan de University of Kentucky, pakt dit probleem aan door te veranderen hoe deze voorspellingen worden geleverd. In plaats van de computer te vragen om één definitief antwoord te geven zoals "deze student zal afstuderen" of "deze student zal afbreken", gebruikt de studie een methode genaamd conformal prediction. Deze benadering vra\u00adgaat de computer om een reeks mogelijke uitkomsten te leveren, samen met een garantie over hoe vaak die reeks correct zal zijn. Denk aan het verschil tussen een weervoorspeller die zegt "het gaat morgen regenen" zonder context, versus iemand die zegt "er is een kans van 95 procent dat het regent, en als we ernaast zitten, dan is dat binnen dit specifieke bereik van mogelijkheden". De onderzoeker paste deze methode toe op gegevens van meer dan 4.400 studenten aan een Portugese universiteit, waarbij zes verschillende soorten computermodellen werden getest om te zien welke het beste kon voorspellen of een student zou afstuderen, zou afbreken of simpelweg ingeschreven zou blijven.

De studie toonde aan dat de computermodellen inderdaad zeer goed waren in het onderscheiden van studenten die hun diploma zouden behalen en studenten die zouden vertrekken. De best presterende modellen, die geavanceerde technieken gebruikten om van de gegevens te leren, identificeerden de uitkomst correct in ongeveer 90 procent van de gevallen wanneer er alleen naar de twee eindresultaten werd gekeken: afstuderen of afbreken. De echte doorbraak kwam echter toen de onderzoekers de laag van onzekerheid toevoegden. Wanneer de modellen werden gevraagd om zeer zeker te zijn—specifiek, om in 95 procent van de gevallen gelijk te hebben—dwongen ze niet voor elke student één enkel antwoord af. In plaats daarvan gaven de modellen voor ongeveer 9 tot 12 procent van de studenten een reeks terug die zowel "afstuderen" als "afbreken" bevatte. Dit was geen falen van de computer; het was een succes van de nieuwe methode. Het betekende dat voor deze specifieke studenten het beschikbare bewijs niet sterk genoeg was om één toekomst boven de andere te kiezen. De computer gaf eerlijk toe: "Ik weet het nog niet zeker."

Deze onzekerheid was nog prominenter aanwezig toen de onderzoekers een derde categorie toevoegden: studenten die nog ingeschreven waren maar nog niet waren afgestudeerd. In dit complexere scenario vonden de modellen voor bijna 40 procent van de studenten dat het bewijs op meerdere toekomsten wees. De groep "nog ingeschreven" vertegenwoordigt een overgangstoestand waarin het pad van een student nog werkelijk onbeslist is. Door deze studenten een enkel label op te leggen, hadden eerdere studies wellicht verborgen dat de voorspelling wankel was. Het nieuwe kader maakte deze ambiguïteit echter zichtbaar. Het toonde aan dat voor een groot deel van de studenten het traject nog niet duidelijk was en de computer de uiteindelijke uitkomst niet met zekerheid kon voorspellen. Dit is een cruciaal onderscheid voor schoolbestuurders, omdat het voorkomt dat zij een wankele gok met hetzelfde gewicht behandelen als een solide feit.

Naast het louter meten van onzekerheid, keek de studie ook naar welke factoren deze voorspellingen aanstuurden. Met behulp van een techniek die het besluitvormingsproces van de computer ontleedt, ontdekten de onderzoekers dat de sterkste signalen kwamen van de academische voortgang van een student. Specifiek waren het aantal gevolgde cursussen die een student heeft gehaald en de cijfers in het tweede semester de krachtigste indicatoren van hun toekomst. Financiële stress speelde ook een grote rol; studenten die achterliepen op de betaling van het collegegeld of schulden hadden, werden vaker als risicovol gemarkeerd. Deze bevindingen komen overeen met langgevestigde theorieën over waarom studenten de school verlaten, waarmee wordt bevestigd dat zowel academische integratie als financiële stabiliteit belangrijke pijlers zijn voor doorzettingsvermogen. De studie beweerde niet dat deze factoren ervoor zorgen dat studenten stoppen met hun studie, maar stelde dat dit de meest betrouwbare aanwijzingen zijn die de computer kan gebruiken om problemen te signaleren.

De implicaties van dit werk zijn praktisch en direct toepasbaar op hoe universiteiten hun middelen beheren. De studie stelt een gelaagd systeem voor om te handelen op basis van deze voorspellingen. Als de voorspellingsset van een student alleen "afbreken" bevat, kan de school hen prioriteit geven voor directe, intensieve ondersteuning zoals bijles of financiële counseling. Als de set alleen "afstuderen" bevat, kan de student met rust worden gelaten om zijn of haar studie voort te zetten zonder onnodige inmenging. Maar voor de studenten wier voorspellingsset meerdere uitkomsten bevat—degenen waarover de computer niet kan beslissen—stelt de studie een andere aanpak voor. Deze studenten moeten worden doorverwezen naar menselijke adviseurs voor een nadere blik. Een adviseur kan meer informatie verzamelen, zoals het spreken met de student of het controleren van de aanwezigheid, om de onzekerheid op te lossen voordat er een beslissing wordt genomen. Dit verandert de computer van een definitieve rechter in een nuttig hulpmiddel dat de aandacht vestigt op waar menselijk oordeel het meest nodig is.

Uiteindelijk suggereert dit onderzoek dat de toekomst van studentondersteuning niet ligt in het bouwen van computers die altijd gelijk hebben, maar in het bouwen van systemen die eerlijk zijn over wanneer ze het niet zeker weten. Door de onzekerheid te kwantificeren, kunnen scholen stoppen met gissen en beginnen met het nemen van geïnformeerde beslissingen. Ze kunnen hun beperkte middelen richten op de studenten die ze het hardst nodig hebben, terwijl ze het stigma en de verspilling vermijden die optreden bij interventies in gevallen waar de uitkomst eigenlijk duidelijk is. De studie concludeert dat hoewel machine learning een krachtig instrument is om patronen in studentgegevens te herkennen, het gepaard moet gaan met methoden die de betrouwbaarheid meten. Alleen dan kunnen deze systemen werkelijk bijdragen aan het doel om elke student te helpen de finishlijn te halen.