Leveraging Large Language Models for Assessments Grading and Personalised Feedback Generation: A Case of Software Engineering

In de klaslokalen van moderne universiteiten vindt een stille revolutie plaats, gedreven door een nieuw soort kunstmatige intelligentie die bekend staat als een groot taalmodel. Dit zijn geen eenvoudige zoekmachines die feiten ophalen; het zijn systemen die getraind zijn op enorme hoeveelheden menselijke teksten, in staat om context te begrijpen, complexe problemen te doorgronden en tekst te genereren die menselijke conversatie nabootst. Jarenlang hebben onderwijzers zich afgevraagd of deze hulpmiddelen meer konden doen dan alleen maar chatten; konden ze daadwerkelijk lesgeven, of op zijn minst docenten helpen bij het nakijken van de bergen werk die studenten inleveren? Deze vraag is bijzonder lastig in vakgebieden zoals software engineering, waar studenten niet alleen essays schrijven of wiskundige problemen oplossen. In plaats daarvan creëren zij complexe blauwdrukken voor softwaresystemen, waarbij ze diagrammen tekenen die laten zien hoe verschillende onderdelen van een programma met elkaar verbonden moeten zijn en moeten functioneren. Deze visuele ontwerpen vereisen een menselijk oog om subtiele fouten in logica en structuur te ontdekken. Als een computer deze opdrachten nauwkeurig zou kunnen nakijken en nuttig advies zou kunnen geven over hoe ze verbeterd kunnen worden, zou dat docenten de ruimte geven om zich te concentreren op dieper leren, maar alleen als de computer betrouwbaar genoeg is om het vertrouwen van een studentencijfer te waardig te zijn.

Een team van onderzoekers van universiteiten uit Pakistan en het Verenigd Koninkrijk zette zich af om precies dit idee te testen. Ze wilden zien of twee van de meest geavanceerde beschikbare systemen voor kunstmatige intelligentie complexe softwareontwerpopdrachten konden nakijken en gepersonaliseerde feedback aan studenten konden geven. Hiervoor verzamelden ze 54 echte inzendingen van studenten van een cursus over softwareontwerp en -architectuur. Elke student had drie specifieke soorten diagrammen gemaakt: een use case-diagram dat laat zien hoe gebruikers met een systeem interageren, een klassediagram dat de bouwstenen van de software schetst, en een drielagensysteem-architectuurontwerp dat de lagen van het systeem in kaart brengt. Een ervaren menselijke instructeur had al elke een van deze opdrachten nagekeken aan de hand van een strikte set regels, of rubric, die precies definieerde wat vereist was voor volledige punten. De onderzoekers voerden vervolgens deze zelfde opdrachten, samen met de regels van de instructeur, in bij twee verschillende AI-modellen: één van een bedrijf genaamd OpenAI en een ander van Google.

De onderzoekers vroegen de computers niet simpelweg om een cijfer te geven. Ze ontwierpen een zorgvuldig proces om ervoor te zorgen dat de modellen stap voor stap nadachten over het nakijken, net zoals een menselijke docent dat zou doen. Ze vroegen de modellen eerst om te controleren of de student het juiste onderwerp wel had behandeld, vervolgens om elk onderdeel van de rubric te onderzoeken om te zien of de vereiste elementen aanwezig waren, en tot slot om een score te berekenen op basis van specifieke gevonden fouten. Om er zeker van te zijn dat de resultaten stabiel waren en niet slechts een gelukkige gok, vroegen de onderzoekers elk model om elke opdracht drie afzonderlijke keren na te kijken en vervolgens de resultaten te middelen. Ze bouwten ook een aangepaste webtool om dit hele proces te beheren, waardoor de modellen de PDF-bestanden van de studenten konden lezen, die zowel tekst als de complexe diagrammen bevatten, en een gedetailleerd rapport voor elke student konden genereren.

Toen de onderzoekers de door de computer gegenereerde cijfers vergeleken met de cijfers van de menselijke instructeur, waren de resultaten een mix van belofte en beperking. De systemen voor kunstmatige intelligentie kwamen over het algemeen dicht in de buurt van het gemiddelde cijfer van de menselijke docent, waarbij de computercijfers gemiddeld ongeveer vijf punten afweken van een totaal van vijftig. De computers hadden echter moeite om het vermogen van de menselijke docent te evenaren om het verschil te zien tussen de allerbeste en de aller slechtste studenten. De menselijke instructeur gaf een breed scala aan scores, van een laag van 19 tot een hoog van 49, wat een duidelijk begrip weerspiegelde van wie de stof beheerst had en wie niet. De computers hadden echter de neiging om deze scores te comprimeren in een nauwer spectrum, waarbij ze middelmatig werk vaak een iets hogere score gaven en uitstekend werk een iets lagere score. Dit betekende dat hoewel de computers goed waren in het geven van een ruwe schatting van de prestaties, ze nog niet betrouwbaar genoeg waren om een menselijke docent te vervangen bij het bepalen van een definitief cijfer, omdat ze het vermogen verloren om studenten nauwkeurig te rangschikken.

Ondanks de imperfecties in het nakijken, werd de door de computers gegenereerde feedback verrassend goed ontvangen. De studenten die de door AI gegenereerde opmerkingen ontvingen, vonden ze helder, nuttig en behulpzaam om hun fouten te begrijpen. Sterker nog, wanneer hen werd gevraagd naar welke computer zij de voorkeur gaven voor de feedback, kozen de overgrote meerderheid van de studenten het model van OpenAI, waarbij zij opmerkten dat de opmerkingen van dat model persoonlijker en constructiever aanvoelden, en dichter bij wat een menselijke docent zou zeggen. Interessant genoeg kwam deze voorkeur niet altijd overeen met welke computer de wiskundig meest nauwkeurige score gaf; het model dat studenten het beste vonden wat betreft de schrijfstijl, was niet noodzakelijkerwijs degene die het meest accuraat was in de beoordeling. Dit suggereert dat voor studenten de kwaliteit van het advies belangrijker is dan het exacte cijfer dat aan hun werk wordt toegekend.

De studie concludeert dat deze instrumenten voor kunstmatige intelligentie krachtige assistenten zijn, maar nog niet klaar zijn om het volledig over te nemen. Ze kunnen het zware werk aan kunnen, zoals het beoordelen van honderden opdrachten, het opsporen van ontbrekende elementen in diagrammen en het opstellen van eerste feedback, wat docenten een enorme hoeveelheid tijd bespaart. De onderzoeksresultaten suggereren echter sterk dat een menselijke docent in de loop moet blijven om de definitieve cijfers te controleren en eerlijkheid te garanderen, vooral bij beoordelingen met een hoge inzet waarbij de toekomst van een student afhangt van het resultaat. De ideale toekomst is, volgens deze bevindingen, een hybride aanpak waarbij de computer fungeert als een onvermoeibare eerste lezer die een voorlopige evaluatie en gedetailleerde suggesties biedt, terwijl de menselijke instructeur het uiteindelijke oordeel en het genuanceerde begrip levert dat alleen een persoon kan bieden. Deze samenwerking zou het onderwijs in software engineering kunnen transformeren, waardoor gepersonaliseerde feedback beschikbaar komt voor elke student zonder de docenten te overbelasten.