A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor

Stel je voor dat je een docent bent met een berg huiswerk die nagekeken moet worden. Je hebt 6.000 programmeeropdrachten te controleren en je ogen zijn moe. Maak kennis met de "Digitale Grader": een type superintelligent computerebrein dat een Large Language Model (LLM) wordt genoemd. Denk aan deze modellen als ongelooflijk goed onderlegde robots die bijna alles op het internet hebben gelezen, inclusief miljoenen regels code. Ze zijn ontworpen om taal en logica te begrijpen, dus het lijkt een perfect idee om hen direct studentenwerk te laten beoordelen. Maar hier komt de addertje onder het gras: net als mensen hebben deze robots verschillende persoonlijkheden. Sommigen zijn streng, anderen zijn easy-going, en sommige zijn gewoon vreemd. De grote vraag voor scholen is: als we deze robots het werk laten overnemen, zullen ze dan eerlijk zijn? Zullen ze het eens zijn met menselijke docenten? Of zullen ze het beoordelingssysteem veranderen in een chaotisch spel waarbij de ene robot je een A+ geeft en een andere een F voor precies dezelfde code?

Dit artikel is als een enorme "smaaktest" voor deze digitale beoordelaars. De auteur, Marcin Jukiewicz, verzamelde 6.000 echte programmeeropdrachten van een universitaire cursus en vroeg 18 verschillende versies van deze AI-robots om ze allemaal te beoordelen. Hij vroeg ze niet alleen om een cijfer te geven; hij observeerde hoe ze dachten, hoe streng ze waren en of ze het met elkaar eens waren of met de menselijke docenten. De studie laat zien dat deze AI-modellen geen uniforme blok intelligentie zijn; ze zijn een familie van zeer verschillende neven. Sommigen zijn "liberaal" en strooien met hoge cijfers als snoepjes, terwijl anderen "restrictief" zijn en studenten afkeuren voor kleine foutjes. Nog verrassender is dat de robots van hetzelfde bedrijf (zoals OpenAI of Google) op een zeer vergelijkbare manier denken en beoordelen, bijna alsof ze in hetzelfde huis zijn opgegroeid met dezelfde regels.

De belangrijkste bevinding is echter een beetje een realiteitscheck. Zelfs de "beste" AI-robot in de studie vertoonde slechts een matig statistisch niveau van overeenstemming met menselijke docenten, ver verwijderd van een perfecte match. In de wereld van het nakijken is dat als twee juryleden in een talentenjacht die totaal verschillende scores geven aan dezelfde zanger. De studie suggereert dat AI weliswa volkomen consistent kan zijn met zichzelf, maar nog steeds worstelt met de genuanceerde, vergevensgezinde en contextbewuste manier waarop menselijke docenten beoordelen. Bovendien stelde de studie vast dat de "mini" of "nano" versies van deze modellen (de kleinere, goedkopere versies) over het algemeen slechter waren in het beoordelen dan hun grote, volwaardige broers. Dus als een school AI wil gebruiken om huiswerk te beoordelen, kunnen ze niet zomaar elke robot kiezen; ze moeten zorgvuldig kiezen, want de keuze van de robot zal de cijfers die studenten krijgen daadwerkelijk veranderen.

De Grote Robot Beoordelingsshowdown

Stel je voor dat je een klas binnenloopt waar 18 verschillende robots aan bureaus zitten, elk met een rode pen in de hand. Ze gaan dezelfde stapel van 6.000 programmeeropdrachten nakijken. Dit zijn niet zomaar welke robots; het zijn de nieuwste en beste "Large Language Models" (LLM's) van vier grote techreuzen: OpenAI, Google, Anthropic en DeepSeek. Het doel van deze studie was om te zien of deze robots het allemaal met elkaar eens zouden zijn over wie een A krijgt, wie een B krijgt en wie zakt.

De resultaten waren een beetje als een reality-tv-show waarbij de juryleden het nergens over eens kunnen worden. De auteur ontdekte dat deze robots verschillende "beoordelingsfilosofieën" hebben.

De "Lieve" Robots versus De "Gemene" Robots
Sommige robots waren ongelooflijk gul. Modellen zoals GPT-4o en Claude-haiku-3.5 waren de "liberale" beoordelaars. Ze hadden de neiging om heel vaak hoge cijfers uit te delen (een "1" of volledige punten). Als de code van een student grotendeels klopte, waren deze robots tevreden om een voldoende te geven. Aan het andere uiteinde van het spectrum stonden de "restrictieve" robots zoals DeepSeek-Reasoner en GPT-4.1-nano. Dit waren de strenge disciplinehouders. Zij waren veel eerder geneigd om een "0" (een onvoldoende) te geven als ze zelfs maar een kleine fout ontdekten. Dit waren de robots die je zouden zakken voor een ontbrekende puntkomma, terwijl de lieve robots je slechts een zachte duw in de rug zouden geven.

Toen waren er de "gebalanceerde" robots, zoals Claude-sonnet-4 en Gemini-2.0-flash-lite. Dit waren de middenmoot-beoordelaars. Ze gaven niet alleen een perfect cijfer of een onvoldoende; ze hielden van de "0.5" score. Dit waren degenen die zeiden: "Je hebt de kern begrepen, maar je miste een paar details, dus hier is een gedeeltelijke puntentelling."

De Familiegelijkenis
Een van de coolste ontdekkingen was dat robots van hetzelfde bedrijf als broers en zussen optraden. Als je naar de beoordelingspatronen van de verschillende OpenAI-modellen keek (zoals GPT-4o, GPT-5 en hun "mini"-versies), vormden ze clusters. Ze dachten op dezelfde manier. Hetzelfde gebeurde met de Gemini-modellen van Google en de Claude-modellen van Anthropic. Het is alsof OpenAI al zijn robots heeft geleerd om op een specifieke manier te beoordelen, en Google heeft zijn robots een andere stijl geleerd. De studie vond zes duidelijke groepen robots: vijf hoofdclans met gedeelde stijlen (GPT-5, GPT-4, Gemini, DeepSeek en Claude) plus één speciale "Outlier cluster" die twee unieke modellen samenbracht omdat ze nergens anders bij pasten.

De "Mini" versus De "Mega"
De studie keek ook naar de grootte van de robots. Techbedrijven brengen vaak "mini" of "nano" versies van hun modellen uit die kleiner, sneller en goedkoper zijn in gebruik. Het paper vond dat deze kleinere robots over het algemeen slechter waren in het beoordelen. De volledige "flagship" modellen waren consistenter en betrouwbaarder. Het is alsoals het vergelijken van een professionele chef met een kind dat net een kookprogramma heeft gekeken; het kind kan het gerecht misschien wel maken, maar de professional heeft een grotere kans om de smaak telkens weer goed te krijgen. De "mini" en "nano" modellen hadden een lagere overeenstemming met menselijke docenten, wat suggereert dat als een school geld wil besparen door de goedkopere, kleinere modellen te gebruiken, ze mogelijk een lagere kwaliteit beoordeling krijgen.

De Menselijke Factor
Hier is de wending die je misschien zal verrassen. Wanneer de auteur al deze robots vergeleken met de eigenlijke menselijke docenten die dezelfde opdrachten hadden nagekeken, kwamen de robots niet goed overeen. Sterker nog, de menselijke docenten waren het meest genereus van allemaal! Zij gaven de hoogste gemiddelde scores (0,726) en waren veel eerder geneigd om een volle "1" te geven dan welke robot dan ook.

De beste robot, Claude-haiku-3.5, vertoonde een statistische overeenstemming van 0,470 met de menselijke docenten. In de wereld van de statistiek wordt dit beschouwd als een "matige" overeenstemming, en niet als een "goede" overeenkomst. Om als "goed" te worden beschouwd, heb je meestal een score nodig die hoger is dan 0,75. Dit betekent dat als je deze robot je huiswerk zou laten nakijken, het waarschijnlijk een ander cijfer zou geven dan je docent, en het zou strenger zijn.

Het "Crowd" Paradox
De studie deed iets slims om de robots tegen elkaar te testen. In plaats van de robots met mensen te vergelijken, vroegen de onderzoekers: "Als we het meest voorkomende cijfer nemen dat door alle 18 robots is gegeven, is dat dan het 'ware' cijfer?" Toen ze dit deden, stemden de robots veel beter met elkaar overeen (meer dan 80% overeenstemming voor de topmodellen). Dit suggereert dat de robots zeer consistent zijn met hun eigen soort, maar dat ze allemaal consistent verschillen van de menselijke docenten.

Dit roept een grote vraag op. Hebben de robots gelijk en zijn de docenten te gul? Of maken de robots allemaal dezelfde fout omdat ze op vergelijkbare data zijn getraind? Het paper suggereert dat hoewel de robots consistent zijn, ze mogelijk de "menselijke touch" missen—het vermogen om te begrijpen dat een student hard heeft gewerkt, of dat een kleine fout niet betekent dat ze het concept niet hebben begrepen.

Wat dit betekent voor de toekomst

Het paper zegt niet dat AI-beoordeling kapot is of dat we het moeten stoppen. In plaats daarvan waarschuwt het scholen om voorzichtig te zijn. Het kiezen van een robot om je huiswerk te beoordelen is geen neutrale beslissing; het is een keuze die de uitkomst verandert. Als je een "liberale" robot kiest, kunnen studenten hogere cijfers krijgen. Als je een "restrictieve" robot kift, kunnen studenten lagere cijfers krijgen.

De studie concludeert dat we de AI niet zomaar het volledige beoordelingsproces kunnen laten overnemen. We hebben nog steeds menselijke docenten nodig om een oogje in het zeil te houden. De robots zijn geweldige hulpmiddelen, maar ze zijn als verschillende soorten rekenmachines: sommige ronden naar boven af, sommige naar beneden, en sommige hebben andere knoppen. Totdat we een manier vinden om ze met menselijke docenten te laten overeenstemmen, moeten we onthouden dat het cijfer dat een robot je geeft, niet hetzelfde kan zijn als het cijfer dat je docent zou geven. En in de wereld van het onderwijs maakt dat verschil een groot verschil.