Do Option-Elimination Logs Improve Student Models? A Preregistered Negative Result on EdNet-KT4
Deze preregistreerde studie op de EdNet-KT4-dataset concludeert dat het toevoegen van logs over het elimineren van opties aan studentmodellen geen statistisch significante verbetering oplevert in het voorspellen van juistheid of het rangschikken van het consumptiegedrag van colleges, waarmee zij tegen de opname ervan in de geëvalueerde modellen pleiten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van digitaal onderwijs krijgt software steeds vaker de delicate taak toegewezen om de menselijke geest van een student te begrijpen. Deze systemen, vaak adaptieve leersystemen genoemd, vertrouwen op een "studentmodel"—een digitale snapshot van wat een leerling weet, waar hij of zij mee worstelt en hoe hij of zij waarschijnlijk zal presteren. Om deze snapshot op te bouwen, observeert de software de geschiedenis van de student: welke vragen hij of zij correct beantwoordde, hoe lang het duurde om een antwoord te geven en welke onderwerpen hij of zij eerder heeft bestudeerd. Jarenlang vroegen onderzoekers zich af of het model scherper gemaakt kon worden door te kijken naar de rommelige, tussenliggende momenten van het leren. Wanneer een student een meerkeuzevraag tegenkomt, kruist hij of zij vaak antwoorden door die hij of zij als fout weet te elimineren voordat er een definitieve keuze wordt gemaakt. Deze handeling van eliminatie, zichtbaar in de digitale logs van het systeem, leek een rijke bron van inzicht te zijn. Het suggereerde dat een student aan het nadenken was, redeneerde, of misschien aarzelde. Als de software deze doorgekreuzde opties kon zien, zou het de student dan beter kunnen begrijpen dan wanneer het enkel de definitieve antwoorden ziet?
Een team van onderzoekers zette zich in om deze vraag te beantwoorden met een rigoureus, vooraf gepland experiment met een enorme dataset van echte interacties van studenten. Ze richtten zich op een specifiek type data: de logs van studenten die foutieve antwoorden doorstrepen en soms zelfs van gedachten veranderen door ze te herstellen. De onderzoekers stelden een eenvoudige, directe vraag: voegt het toevoegen van een registratie van deze doorgekreuzde opties aan het studentmodel daadwerkelijk de capaciteit van het systeem om toekomstige prestaties te voorspellen of de juiste volgende les aan te bevelen, het verbeteren? Ze gokten niet zomaar; ze bouwden een gecontroleerde test waarbij ze een standaardmodel vergeleken met een model dat de eliminatiegeschiedenis bevatte, waarbij ze ervoor zorgden dat elke andere factor exact hetzelfde bleef.
De resultaten waren duidelijk en, in de wereld van wetenschappelijke ontdekkingen, vrij definitief. Na het analyseren van bijna twee miljoen voorspellingspunten van meer dan 70.000 leerlingen, kwamen de onderzoekers tot de conclusie dat het toevoegen van de eliminatielogs het studentmodel niet verbeterde. Het vermogen van het systeem om te voorspellen of een student de volgende vraag goed zou beantwoorden, bleef vrijwel onveranderd. Het verschil in prestaties was zo klein—gemeten in de vijfde decimaal van een standaard nauwkeurigheidsscore—dat het niet te onderscheiden was van willekeurige ruis. Sterker nog, voor de taak van het aanbevelen van de volgende videolecture die een student zou moeten bekijken, presteerde het model dat de eliminatielogs bevatte zelfs iets slechter dan het model dat ze negeerde. De studie concludeerde dat voor dit specifieke type leerplatform de handeling van het doorstrepen van een antwoord geen nuttige nieuwe informatie biedt over de kennis staat van een student. Het systeem weet al genoeg van de geschiedenis van de student wat betreft correcte en incorrecte antwoorden, de snelheid en de moeilijkheidsgraad van de vragen die hij of zij heeft gehad.
Om er zeker van te zijn dat hun negatieve resultaat geen fout was die werd veroorzaakt door een gebrekkig meetinstrument, bevatten de onderzoekers een ingebouwde controle. Ze verwijderden een kleine groep kenmerken waarvan ze wisten dat ze belangrijk waren—specifiek de timing van wanneer een student klikte en hoe lang hij of zij nodig had om te antwoorden—en observeerden hoe de prestaties van het model daalden. Dat gebeurde inder, en wel significant genoeg om te bewijzen dat het systeem gevoelig genoeg was om echte veranderingen te detecteren. Dit bevestigde dat het systeem correct functioneerde; het kon simpelweg geen waarde vinden in de eliminatielogs. De studie suggereert dat het doorstrepen van een optie op dit platform vaak een routineuze interface-handeling of een handeling met weinig inspanning is, in plaats van een diep signaal van het denkproces van een student. Omdat de handeling niets kost en geen straf met zich meebrengt, doen veel studenten dit zonder erbij na te denken, of doen ze het op manieren die niet correleren met hun werkelijke begrip van de stof.
Er was één kleine uitzondering op de regel. De onderzoekers merkten op dat voor een specifieke groep studenten die zeer frequent antwoorden doorstreepte, de eliminatielogs inderdaad een piepkleine hint van waarde boden. Echter, deze groep was klein, en het effect verdween toen de onderzoekers de data door elkaar haalden om te verzekeren dat het niet slechts een specifiek type student identificeerde in plaats van de handeling van eliminatie zelf. De hoofdzakelijke conclusie bleef standhouden: voor de grote meerderheid van de leerlingen hielp de extra data niet. De studie bracht ook een ander, structureel probleem met het aanbevelingssysteem aan het licht. Ze ontdekten dat de manier waarop het systeem selecteert welke lectures worden gesuggereerd zo rigide is, dat het onmogelijk is om ongeveer een derde van de lectures aan te bevelen die studenten daadwerkelijk bekijken. Deze beperking, veroorzaakt door het feit dat het systeem alleen video's voorstelt die specifieke tags delen met de zojuist beantwoordde vragen, is een veel grotere barrière voor effectief leren dan het gebrek aan eliminatiedata.
Uiteindelijk dient dit onderzoek als een waardevolle gids voor de toekomst van educatieve technologie. Het demonstreert dat niet elke digitale voetafdruk die een student achterlaat, nuttig is. Alleen omdat een systeem een handeling kan registreren, betekent dit niet dat die handeling helpt om de leerling te begrijpen. Door te bewijzen dat de eliminatielogs het model niet verbeterden, bespaart de studie andere onderzoekers de tijd die zij zouden verspillen aan het ontwikkelen van complexe systemen rondom een signaal dat er niet is. Het suggereet dat de meest effectieve studentmodellen zich wellicht op andere soorten data moeten richten, bijvoorbeeld op platforms waar de acties die studenten ondernemen meer doelbewust en kostbaar zijn, in plaats van op de snelle, gratis klikken van een app voor examenvoorbereiding. De les is er een van precisie: in de zoektocht naar het begrijpen van de menselijke geest door middel van data, is soms de belangrijkste bevinding weten wat je moet negeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.