Measuring Changes in Instructor Class Design and Student Learning After the Release of Large Language Models (LLMs)

Technische Samenvatting: Het Meten van Veranderingen in het Ontwerp van Docentcursussen en Studentenleren Na de Lancering van Grootte Taalmodellen (LLM's)

Probleemstelling
De wijdverbreide publieke lancering van Grootte Taalmodellen (LLM's) eind 2022 heeft een verschuiving in het hoger onderwijs teweeggebracht, doch empirisch bewijs over de impact op studentenleergedrag, cursusthema's van docenten en de validiteit van traditionele cijfermetrieken blijft schaars. De auteurs identificeren een kritieke methodologische kloof: traditionele metrieken zoals cijfers worden steeds meer gecompromitteerd als proxies voor leren. Deze vervorming ontstaat door drie factoren: (1) de "kat-en-muis"-dynamiek waarbij docenten opdrachten herontwerpen om LLM-resistent te zijn, waardoor longitudinale vergelijkbaarheid wordt verbroken; (2) de mogelijkheid dat ongedetecteerd LLM-gebruik cijfers kunstmatig opblaast zonder overeenkomstige leerwinst; en (3) de bestraffing van studenten die betrapt worden op LLM-gebruik, wat kan leiden tot onvoldoendes ondanks daadwerkelijk conceptueel begrip. Bijgevolg ontbreekt er getrianguleerde data die historische cijferregistraties combineert met kwalitatieve percepties van zowel docenten als studenten om leertrant te beoordelen in het "post-LLM-tijdperk".

Methodologie
Deze studie hanteert een mixed-methods, multi-cursusontwerp uitgevoerd aan de University of Massachusetts, Boston (UMass Boston). Het onderzoek trianguleert drie distincte databronnen:

1. Retrospectieve Kwantitatieve Analyse: Historische cijferdata over een periode van tot wel tien jaar in ongeveer vijftien cursussen werd verkregen bij het universitair administratiebureau. Deze data maakt een vergelijking mogelijk van het Gemiddeld Cijfer (GPA), terugtrekkingspercentages en onvoldoentepercentages tussen het pre-LLM-tijdperk (voorafgaand aan voorjaar 2023) en het post-LLM-tijdperk.
2. Docentenenquêtes: Een enquête werd verspreid onder faculteitsleden om veranderingen in cursusstructuur, opdrachtontwerp en cijfercriteria te documenteren. Achttien docenten voltooiden de onderzoeksenquête. De enquête gebruikte Likert-schalen en open vragen om de omvang en aard van pedagogische aanpassingen vast te leggen.
3. Studentenenquêtes: Anonieme enquêtes werden afgenomen bij studenten (voornamelijk uit programmeergerelateerde opleidingen) om zelfgerapporteerd LLM-gebruiksfrequentie, studiegewoonten, conceptueel begrip en percepties van cijfervaliditeit te beoordelen. Om sociale wenselijkheidsbias aan te pakken, hanteerde de studie een tweeledige aanpak: directe vragen over persoonlijk gebruik en indirecte vragen over gebruik door leeftijdsgenoten om een "onderrapporteringsindex" te berekenen.

De studie gebruikte thematische analyse (Braun & Clarke) voor kwalitatieve data en statistische analyse (Spearman-correlaties, Welch-t-toetsen) voor kwantitatieve data. De inhoudelijke validiteit van de enquête-instrumenten werd vastgesteld door een expertreview van vijf universitair professoren, waarbij na verfijning van de items een algehele overeenstemmingsgraad van 94,00% werd bereikt.

Belangrijkste Bijdragen

• Getrianguleerd Bewijs: Dit is de eerste studie die gelijktijdig cijferdata, docentenpercepties en studentenself-reports onderzoekt om het LLM-fenomeen in het hoger onderwijs te analyseren.
• Kwantificering van Pedagogische Verschuiving: De studie documenteert de specifieke tijdslijn en omvang van cursushervormingen, waarbij een vertraging wordt geïdentificeerd tussen de beschikbaarheid van LLM's en significante docentadaptatie.
• Onderrapporteringsindex: Het onderzoek biedt een methodologische aanpak om de kloof tussen zelfgerapporteerd en daadwerkelijk LLM-gebruik te schatten door persoonlijke en peer-schattingen van gebruik te vergelijken.
• Cijfer-Leren Discrepantie: De studie biedt empirisch bewijs dat een gebrek aan cursushervorming koppelt aan kunstmatig opgeblazen cijfers, wat suggereert dat in ongewijzigde cursussen LLM-toegang correleert met hogere cijfers maar potentieel lager authentiek leren.

Resultaten

• Docentadaptatie: 86,7% van de respondenten docenten heeft hun cursussen aangepast als reactie op GenAI. De meest voorkomende veranderingen betroffen een verschuiving naar werk in de klas, toetsen in de klas en taken gericht op conceptueel redeneren (Figuur 3). De ernst van het herontwerp nam significant toe na voorjaar 2023, waarbij veel docenten 20–40% of meer van hun opdrachten aanpasten.
• Cijfertrends: In het post-LLM-tijdperk steeg het gemiddelde studenten-GPA licht van 2,96 naar 3,00 (statistisch significant maar verwaarloosbaar effectgrootte, Cohen's d = 0,04). Ook de terugtrekkings- en onvoldoentepercentages namen licht af.
• De "Onveranderde" Cursus Anomalie: Een kritieke bevinding deed zich voor met betrekking tot de twee docenten die geen veranderingen in hun cursusontwerp rapporteerden. Hun cursussen vertoonden een aanzienlijk grotere stijging in het gemiddelde GPA (+0,25 punten) in vergelijking met cursussen van docenten die hun opdrachten herontwierpen (+0,01 punten). Ook daalden de terugtrekkingspercentages scherper in deze ongewijzigde cursussen.
• Studentgedrag en Perceptie: Studenten rapporteerden hun persoonlijke LLM-gebruik voor becijferde opdrachten lager dan hun schattingen van het gebruik door leeftijdsgenoten. Hoger zelfgerapporteerd LLM-gebruik correleerde met een lagere overtuiging dat cijfers leren nauwkeurig weerspiegelen. Echter, in deze steekproef toonde zelfgerapporteerd LLM-gebruik geen statistisch significante correlatie met GPA, studietijd of scores voor conceptueel begrip (ConCal).
• Studentenzorgen: Studenten uitdrukten aanzienlijke angst om gestraft te worden voor het gebruik van AI (zelfs wanneer ze dit niet deden) en over de rechtvaardigheid van het systeem waarbij leeftijdsgenoten AI zouden kunnen gebruiken om hogere cijfers te behalen. Er was een sterke, ongevraagde vraag naar institutionele begeleiding en workshops over AI-gebruik.

Betekenis en Claims
De auteurs positioneren dit werk als een pilootstudie bedoeld om bredere institutioneel onderzoek en beleid te informeren. Het artikel claimt dat de primaire betekenis ligt in het bieden van een evidence-based beoordeling van leertrant met behulp van getrianguleerde data, wat noodzakelijk is voor universiteiten om GenAI-beleid te navigeren.

De studie concludeert dat terwijl de meeste docenten cursussen actief herontwerpen om afhankelijkheid van AI te mitigeren, diegenen die niet hebben aangepast, aanzienlijke cijferinflatie zien in hun klassen. Dit suggereert dat zonder pedagogische aanpassing LLM-toegang een concurrentieel nadeel kan creëren voor studenten die geen AI gebruiken, terwijl het tegelijkertijd de ware staat van studentenleren verdoezelt. De auteurs stellen dat de huidige data de noodzaak ondersteunt voor beleidsvorming op universiteitsniveau en begeleiding gericht op studenten, en merken op dat bestaande institutionele middelen zich bijna uitsluitend op docenten richten. Het artikel vermijdt expliciet brede generalisaties vanwege de aard van de studie (één locatie, convenience sampling) en dringt erop aan dat deze bevindingen dienen als fundament voor grotere, multi-institutionele studies.