How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education

In de moderne universiteit laat een enorme hoeveelheid van het studentenleven een digitale voetafdruk achter. Elke keer dat een leerling inlogt op een cursuswebsite, op een link klikt of een document downloadt, wordt er een registratie gemaakt. Onderwijzers en onderzoekers beschouwen deze digitale sporen al lang als een venster naar het succes van de student. De logica lijkt eenvoudig: als een student online actief is, is hij waarschijnlijk betrokken, en als hij betrokken is, is hij waarschijnlijk goed in staat om te presteren in zijn vak. Dit geloof heeft geleid tot de creatie van dashboards en vroege waarschuwingssystemen die ontworpen zijn om worstelende studenten op te sporen door het aantal klikken te tellen. Echter, een kritische vraag is onbeantwoord gebleven: veroorzaakt de activiteit zelf de goede cijfers, of zijn de goede cijfers simpelweg een teken van een student die al voorbereid en gemotiveerd was? Het verschil is van enorm belang. Als activiteit slechts een symptoom van succes is, dan zal het dwingen van een student om meer op knoppen te klikken niet helpen bij het leren. Als de activiteit echter een echte drijfveer van leren is, dan kan het stimuleren van meer interactie een krachtig middel zijn voor verbetering.

Een team van onderzoekers zette zich in om deze relatie te ontrafelen met behulp van een enorme collectie gegevens van de Open University in het Verenigd Koninkrijk. Zij onderzochten de gegevens van meer dan eenentwintig duizend studenten die deelnamen aan tweeentwintig verschillende online cursuspresentaties. De dataset was rijk en bevatte details over de achtergrond van de studenten, hun eerdere academische prestaties en meer dan tien miljoen interacties met de virtuele leeromgeving. De onderzoekers richtten zich specif '} specifiek op de periode voorafgaand aan het moment waarop een student een stuk cursuswerk inleverde. Zij telden het aantal klikken en activiteiten dat plaatsvond in de dagen vóór de inleverdeadline, waarbij zij ervoor zorgden dat enige activiteit die plaatsvond nadat het werk was ingeleverd, niet werd meegeteld. Deze zorgvuldige timing was cruciaal om ervoor te zorgen dat zij keken naar gedrag dat plaatsvond voordat het resultaat bekend was.

De studie begon met het bekijken van de ruwe cijfers, het soort eenvoudige associatie dat vaak in standaardrapporten verschijnt. Zij vonden een sterke link: voor elke standaard toename in het volume van de online activiteit steeg de beoordelingsscore met ongeveer drie en een kwart punten. Dit getal is wat een typisch dashboard zou benadrukken om te suggereren dat meer activiteit gelijkstaat aan betere prestaties. De onderzoekers wisten echter dat dit ruwe getal waarschijnlijk de invloed van veel andere factoren bevatte. Studenten die in het verleden goed hadden gepresteerd, klikken misschien van nature meer omdat ze zelfverzekerd zijn, of ze klikken misschien meer omdat ze al goed zijn in het onderwerp. Om het werkelijke effect van de activiteit zelf te vinden, gebruikten de onderzoekers een geavanceerde statistische methode die ontworpen is om deze vooraf bestaande verschillen weg te strippen. Zij pasten de gegevens aan om rekening te houden met alles wat zij wisten over de studenten voordat de activiteitsperiode opende, inclusief hun eerdere cijfers, hun demografische achtergrond en hun geschiedenis van het gebruik van het platform.

Toen de onderzoekers deze aanpassing toepasten, veranderde het verhaal aanzienlijk. De link tussen activiteit en cijfers verdween niet, maar kromp aanzienlijk. Na het corrigeren voor de eerdere geschiedenis daalde de stijging in de score van drie en een kwart punten naar net onder de drieentwintig punten voor dezelfde toename in activiteit. Dit betekent dat bijna de helft van de oorspronkelijke verbinding tussen klikken en scoren eigenlijk te wijten was aan de achtergrond en eerdere prestaties van de studenten, en niet aan de activiteit zelf. De resterende link, hoewel nog steeds reëel en statistisch significant, was veel kleiner dan de ruwe cijfers suggereerden. Het geeft aan dat hoewel online activiteit wel degelijk nuttige informatie bevat over hoe het met een student gaat, het vertrouwen op de ongecorrigeerde cijfers instellingen ertoe zou leiden dat zij de mate waarin het simpelweg verhogen van klikken de cijfers van een student zou verbeteren, overschatten.

De onderzoekers keken ook of deze gecorrigeerde relatie anders uitzag voor verschillende soorten studenten of verschillende soorten opdrachten. Zij vonden dat de link sterker was voor opdrachten die geschreven, open vragen vereisten die door een menselijke tutor werden beoordeeld, vergeleken met meerkeuzevragen die door een computer worden beoordeeld. Dit suggereert dat het type werk ertoe doet; de digitale activiteit is mogelijk nauwer verbonden met het diepe denken dat vereist is voor essay-achtige taken dan voor snelle, geautomatiseerde quizzen. Zij ontdekten ook dat de verbinding sterker was voor studenten die in het verleden lagere cijfers hadden behaald. Voor deze leerlingen leek de online activiteit een betrouwbaarder signaal van hun huidige prestaties te zijn. In contrast hiermee vertoonde de link geen duidelijk verschil op basis van het feit of een student uit een achterstandssituatie kwam of een beperking had opgegeven, hoewel de gegevens niet nauwkeurig genoeg waren om kleine verschillen volledig uit te sluiten.

Ondanks deze bevindingen bleven de onderzoekers voorzichtig met het claimen dat de activiteit de cijfers veroorzaakt. Om te testen voor verborgen factoren die zij niet konden meten, voerden zij een specifieke controle uit. Zij vroegen zich af of de huidige online activiteit een cijfer kon voorspellen van een vorige opdracht die al was voltooid voordat de huidige activiteit überhaupt begon. Logischerwijs kunnen toekomstige klikken een reeds behaald cijfer uit het verleden niet veranderen. Toch toonden de gegevens aan dat studenten die meer klikten in de huidige periode inderdaad hogere scores hadden op die vorige opdracht, zelfs na alle aanpassingen. Dit resultaat signaleert dat er nog steeds onzichtbare krachten in het spel zijn. Misschien zijn sommige studenten van nature meer gemotiveerd of hebben zij betere studiegewoonten die buiten het digitale systeem bestaan, wat zowel hun online activiteit als hun cijfers aanstuurt. Vanwege dit deden de onderzoekers de conclusie dat hoewel de gecorrigeerde link reëel is, het geen garantie is dat een interventie om meer klikken af te dwingen automatisch de scores met het volledige bedrag van het gecorrigeerde getal zou verhogen.

De studie biedt een duidelijke les voor hoe universiteiten gegevens gebruiken om studenten te ondersteunen. De digitale sporen die leerlingen achterlaten zijn waardevol, maar het zijn geen eenvoudige schakelaar die het leren aanzet. De ruwe associatie tussen activiteit en succes is sterk, maar wordt zwaar beïnvloed door wie de student is en wat zij eerder hebben gedaan. Wanneer onderwijzers deze cijfers gebruiken om te beslissen wie hulp nodig heeft, moeten zij begrijpen dat de cijfers een verhaal vertellen van correlatie, en niet noodzakelijkerwijs van oorzaak en gevolg. Een student met lage activiteit kan ondersteuning nodig hebben, maar hen simpelweg vertellen dat ze meer moeten klikken zal waarschijnlijk het probleem niet oplossen als het onderliggende probleem een gebrek aan voorkennis of motivatie is. De meest effectieve aanpak is om deze gedragssignalen te gebruiken als een aanleiding voor gesprek en diagnose, waarbij men erkent dat de activiteit een wegwijzer is die naar de staat van de student wijst, in plaats van een hendel die kan worden overgehaald om een beter resultaat af te dwingen.