Generative AI Availability, Grades, and Student Satisfaction at a Large University
Met behulp van een grootschalige difference-in-differences-analyse van meer dan 138.000 studenten, vindt deze studie geen bewijs dat de beschikbaarheid van generatieve AI de cijfers onevenredig heeft opgeblazen of de studenttevredenheid heeft verminderd in cursussen die gevoelig zijn voor AI-substitutie, waarmee de zorgen worden getemperd dat studenten cognitieve inspanning aan AI overlaten zonder te leren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin er plotseling een magische, superintelligente robotassistent verschijnt. Deze robot kan essays schrijven, wiskundige problemen oplossen en code schrijven sneller dan welke mens ook. Plotseling ontstaat er overal op scholen een grote vraag: Als studenten deze robot gebruiken om hun huiswerk te doen, zullen ze dan het materiaal nog wel echt leren? Of zullen ze gewoon perfecte cijfers halen zonder ooit een tekstboek open te slaan? Dit is de kern van een debat binnen de onderwijswetenschap. Onderzoekers proberen te achterhalen of deze "robot-hulp" een nuttig hulpmiddel is dat het leren een boost geeft, of een "cognitieve afkorting" die studenten de kans geeft om het zware denkwerk over te slaan. Het is belangrijk omdat cijfers als een signaal naar de toekomst fungeren; ze vertellen universiteiten en werkgevers wat een student weet. Als cijfers minder betekenis gaan krijgen omdat iedereen de robot heeft gebruikt, kan het hele systeem dat studenten sorteert voor banen en carrières in de war raken.
Nu zoomen we in op een enorme studie van een grote universiteit in het Amerikaanse Midwesten die probeerde dit mysterie op te lossen. De onderzoekers waren als detectives die op zoek waren naar een specifiek soort "truc". Ze wisten dat niet alle klassen hetzelfde zijn. Sommige lessen zijn als een "thuisopdracht" waarbij je alleen in je kamer kunt werken met je laptop — dit zijn de klassen die het meest "vatbaar" zijn voor de hulp van de robot. Andere lessen zijn als een "live optreden" of een examen zonder boek waarbij je je vaardigheden in realtime voor een docent moet laten zien — deze zijn veel moeilijker voor een robot om na te bootsen.
Het team verzamelde een berg aan data: syllabusdocumenten, cijfers en studentenonderzoeken voor meer dan 138.000 studenten verspreid over duizenden lessen, kijkend naar de jaren vóór en na de release van de beroemde AI-chatbot (ChatGPT) eind 2022. Ze gebruikten een slim statistisch trucje genaamd een "difference-in-differences"-benadering. Denk hierbij aan het vergelijken van twee groepen hardlopers: één groep loopt op een baan waar ze een gemotoriseerde step kunnen gebruiken (de vatbare klassen), en een andere groep loopt op een baan waar ze te voet moeten rennen (de niet-vatbare klassen). Ze wilden zien of, nadat de steps werden geïntroduceerd, de groep met de steps plotseling veel sneller begon te finishen dan de voetlopers.
Hier komt de twist: De studie vond dat de groep met de steps niet plotseling vooruit stormde. Sterker nog, de onderzoekers vonden geen significant verschil in de eindcijfers tussen de klassen waar AI gemakkelijk gebruikt kon worden en de klassen waar dat niet kon. Of een student nu een topscorer was of iemand die normaal gesproken moeite had, de AI leek geen magische cijferboost te geven. De "robot" heeft geen golf van cijferinflatie veroorzaakt.
De onderzoekers controleerden ook of studenten anders over hun lessen dachten. Vonden ze dat ze de stof minder begrepen? Raakten ze hun interesse kwijt? Voelde het werk makkelijker? Opnieuw was het antwoord grotendeels "nee". Zodra ze rekening hielden met de rommelige, verwarrende jaren van de pandemie (die de manier waarop scholen werkten al hadden veranderd), leek de introductie van de AI er niet voor te zorgen dat studenten zich minder betrokken of minder tevreden voelden.
Dus, wat is het eindoordeel? De studie suggereert dat de angst dat studenten AI gebruiken om hun eigen inspanning te "substitueren" en zo makkelijke A's te halen, in ieder geval in deze grote universitaire setting, overdreven is. Hoewel de AI zeker wordt gebruikt, heeft het het beoordelingssysteem niet kapot gemaakt en heeft het studenten niet gestopt met leren. Het "signaal" van een cijfer lijkt nog steeds te betekenen wat het altijd deed. De onderzoekers benadrukken voorzichtig dat dit niet betekent dat AI geen effect heeft, maar het betekent wel dat het angstaanjagende idee dat cijfers nu betekenisloos zijn door robots, niet wordt ondersteund door de verzamelde gegevens. De cijfers gingen niet omhoog, de studenten haakten niet af, en het leer-signaal blijft intact.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.