Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026

In de klaslokalen waar jongeren voor het eerst leren software te bouwen, is een nieuw soort helper gearriveerd. Dit zijn geen menselijke tutors, maar grote taalmodellen: computerprogramma's die getraind zijn op enorme bibliotheken van tekst en code, die een vraag kunnen lezen en daarop een programma kunnen schrijven. Jarenlang hebben onderwijzers deze tools zien evolueren, waarbij ze zich afvroegen of ze werkelijk de logica van programmeren konden begrijpen of dat ze slechts patronen imiteerden. De vraag is belangrijk omdat programmeren vaak wordt onderwezen via een specifieke stijl genaamd objectgeoriënteerd programmeren, waarbij code wordt georganiseerd in zelfstandige eenheden die gegevens bevatten en acties uitvoeren, vergelijkbaar met hoe een object uit de echte wereld zowel eigenschappen als gedragingen heeft. Als deze kunstmatige systemen dezelfde problemen kunnen oplossen als studenten, verandert dat hoe we lesgeven, hoe we toetsen en hoe we denken over de toekomst van leren coderen.

Onderzoekers aan de Universiteit van Tartu in Estland besloten vijf van de meest populaire kunstmatige intelligentiesystemen op de proef te stellen in een echte universitaire setting. Ze vroegen de machines niet om abstracte puzzels op te lossen of code in een vacuüm te schrijven. In plaats daarvan namen ze exact dezelfde programmeertoetsen en vragen van het eindexamen die werden gebruikt in een introductiecursus voor eerstejaarsstudenten en voerden deze rechtstreeks aan de machines. De taken waren geschreven in het Ests, de lokale taal, en de onderzoekers gaven de systemen geen speciale instructies of hints. Ze vroegen de machines simpelweg om de problemen op te lossen zoals een student dat zou doen, gebruikmakend van dezelfde beoordelingsregels die docenten toepassen op het werk van mensen. Het doel was om te zien of deze tools het tempo van de gemiddelde student konden bijhouden, en nog belangrijker, om te zien waar ze nog steeds struikelen.

De resultaten lieten zien dat de kunstmatige intelligentiesystemen opmerkelijk bekwaam zijn en vaak de menselijke studenten die zij werden vergeleken overtreffen. In de eerste programmeertoets, die vereiste het bouwen van een volledig programma met meerdere onderdelen, scoorde elk systeem behalve één systeem hoger dan de gemiddelde student. Eén systeem, een tool geïntegreerd in Microsoft Office, slaagde er in één instantie niet in om een werkend programma te produceren vanwege een kleine syntactische fout, maar de anderen behaalden consistent hoge cijfers. In een tweede, iets moeilijkere test met complexere gegevensverwerking, domineerden de machines opnieuw, waarbij de meesten perfecte of bijna perfecte scores behaalden. Zelfs op het eindexamen, dat de gehele cursus besloeg en lastige conceptuele vragen bevatte, scoorden de machines over het algemeen ruim boven het klassengemiddelde.

De machines zijn echter niet perfect, en hun fouten onthullen waar hun begrip nog oppervlakkig is. Hoewel ze lange, complexe programma's konden schrijven die zonder vastlopen draaiden, misten ze soms specifieke details die een menselijke docent zou opmerken. Zo faalden sommige systemen er bijvoorbeeld niet in om tekst correct te formatteren of vergaten ze een noodzakelijke instructie toe te voegen om de code te laten werken, wat leidde tot fouten die het programma stopzetten. Ze hadden ook moeite met bepaalde geavanceerde concepten, zoals hoe verschillende delen van een programma met elkaar moeten communiceren via specifieke regels die interfaces worden genoemd. Op deze gebieden produceerden de machines soms code die er correct uitzag, maar die niet daadwerkelijk deed wat de vraag vroeg. Daarnaast merkte de studie op dat de prestaties beperkt waren bij grafische vragen die betrekking hadden op beeldinterpretatie, wat een breder probleem weerspiegelt waar AI voor staat bij het verwerken van niet-tekstuele informatie.

De onderzoekers vonden dat deze systemen aanzienlijk zijn verbeterd vergeleken met evaluaties van slechts één jaar eerder. Waar oudere versies van deze tools wellicht zouden falen om de cursus te halen, scoren de nieuwere modellen nu consistent in het hoogste bereik van de studentenprestaties. Toch kwam er een duidelijk patroon naar voren: de machines blinken uit in het volgen van instructies om standaardstructuren te bouwen, maar kunnen struikelen wanneer een taak diepgaand redeneren vereist over hoe verschillende stukken van een systeem conceptueel in elkaar passen. Ze voegen vaak extra functies toe die niet gevraagd waren of gebruiken geavanceerde technieken die de studenten nog niet hadden geleerd, wat suggereert dat ze putten uit een veel bredere kennisbron dan het curriculum van de cursus.

Uiteindelijk schetst de studie een beeld van een tool die krachtig is, maar nog niet volledig betrouwbaar voor elke educatieve behoefte. De kunstmatige intelligentiesystemen kunnen werkende code genereren die vaak de gemiddelde student overtreft, wat bewijst dat ze de mechanica van programmeren beheersen. Maar ze maken nog steeds specifieke, terugkerende fouten die wijzen op een gebrek aan echt begrip van de onderliggende logica. Voor docenten betekent dit dat, hoewel deze tools kunnen worden gebruikt om het leren te ondersteunen, ze nog niet het menselijk toezicht of het zorgvuldige ontwerp van beoordelingen kunnen vervangen die testen op diep conceptueel begrip in plaats van alleen op het vermogen om code te produceren. De machines worden elk jaar beter, maar ze hebben nog een lange weg te gaan voordat ze werkelijk kunnen denken als een programmeur.