Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026

In den Klassenzimmern, in denen junge Menschen zum ersten Mal lernen, Software zu entwickeln, ist eine neue Art von Helfer eingetroffen. Dies sind keine menschlichen Tutoren, sondern große Sprachmodelle: Computerprogramme, die auf riesigen Bibliotheken von Text und Code trainiert wurden und in der Lage sind, eine Frage zu lesen und als Antwort ein Programm zu schreiben. Jahrelang haben Pädagogen beobachtet, wie sich diese Werkzeuge entwickelten, und sich fragten, ob sie die Logik der Programmierung wirklich verstehen könnten oder ob sie lediglich Muster imitierten. Die Frage ist wichtig, da Programmierung oft durch einen spezifischen Stil gelehrt wird, der objektorientierte Programmierung genannt wird, bei dem der Code in in sich geschlossenen Einheiten organisiert ist, die Daten halten und Aktionen ausführen – ganz so, wie ein reales Objekt sowohl Eigenschaften als auch Verhaltensweisen besitzt. Wenn diese künstlichen Systeme dieselben Probleme lösen können wie Studenten, verändert das die Art und Weise, wie wir lehren, wie wir prüfen und wie wir über die Zukunft des Programmierlernens nachdenken.

Forscher an der Universität Tartu in Estland beschlossen, fünf der populärsten Systeme der künstlichen Intelligenz in einem realen universitären Umfeld auf die Probe zu stellen. Sie baten die Maschinen nicht, abstrakte Rätsel zu lösen oder Code im luftleeren Raum zu schreiben. Stattdessen nahmen sie exakt dieselben Programmiertests und Abschlussprüfungsfragen, die in einem Einführungskurs für Erstsemester verwendet werden, und fütterten die Maschinen direkt damit. Die Aufgaben waren in Estnisch, der lokalen Sprache, verfasst, und die Forscher gaben den Systemen keine speziellen Anweisungen oder Hinweise. Sie baten die Maschinen einfach, die Probleme so zu lösen, wie es ein Student tun würde, unter Anwendung derselben Bewertungsregeln, die Lehrer auf menschliche Arbeit anwenden. Das Ziel war es zu sehen, ob diese Werkzeuge mithalten können wie ein durchschnittlicher Student, und vor allem zu sehen, wo sie noch stolpern.

Die Ergebnisse zeigten, dass die Systeme der künstlichen Intelligenz bemerkenswert fähig sind und oft die menschlichen Studenten übertreffen, mit denen sie verglichen wurden. Im ersten Programmiertest, der den Aufbau eines vollständigen Programms mit mehreren Teilen erforderte, erzielte jedes System außer einem einen höheren Wert als der Durchschnittsstudent. Ein System, ein in Microsoft Office integriertes Tool, konnte in einem Fall aufgrund eines kleinen Syntaxfehlers kein funktionierendes Programm erzeugen, aber die anderen erzielten konsequent Bestnoten. In einem zweiten, etwas schwierigeren Test, der ein komplexeres Datenhandling beinhaltete, dominierten die Maschinen erneut, wobei die meisten perfekte oder nahezu perfekte Punktzahlen erreichten. Selbst in der Abschlussprüfung, die den gesamten Kurs abdeckte und knifflige konzeptionelle Fragen enthielt, schnitten die Maschinen im Allgemeinen deutlich über dem Klassendurchschnitt ab.

Die Maschinen sind jedoch nicht perfekt, und ihre Fehler offenbaren, wo ihr Verständnis noch oberflächlich ist. Während sie lange, komplexe Programme schreiben konnten, die ohne Absturz liefen, übersahen sie gelegentlich spezifische Details, die ein menschlicher Lehrer bemerkt hätte. Beispielsweise versäumten es einige Systeme, Texte korrekt zu formatieren oder vergaßen eine notwendige Anweisung einzufügen, um den Code funktionsfähig zu machen, was zu Fehlern führte, die das Programm stoppten. Sie hatten auch Schwierigkeiten mit bestimmten fortgeschrittenen Konzepten, wie etwa der Frage, wie verschiedene Teile eines Programms über spezifische Regeln, sogenannte Interfaces, miteinander kommunizieren sollten. In diesen Bereichen erzeugten die Maschinen manchmal Code, der korrekt aussah, aber nicht tatsächlich das tat, was die Frage verlangte. Zusätzlich stellte die Studie fest, dass die Leistung bei grafikbezogenen Fragen zur Bildinterpretation begrenzt war, was eine breitere Herausforderung widerspiegelt, vor der KI beim Umgang mit nicht-textuellen Informationen steht.

Die Forscher fanden heraus, dass sich diese Systeme im Vergleich zu Auswertungen von vor nur einem Jahr signifikant verbessert haben. Wo ältere Versionen dieser Werkzeuge möglicherweise gescheitert wären, den Kurs zu bestehen, erzielen die neueren Modelle nun konsistent Punktzahlen im oberen Bereich der studentischen Leistungen. Dennoch zeichnete sich ein klares Muster ab: Die Maschinen glänzen beim Befolgen von Anweisungen zum Aufbau standardisierter Strukturen, können aber scheitern, wenn eine Aufgabe tiefgreifendes Denken darüber erfordert, wie verschiedene Teile eines Systems konzeptionell zusammenpassen. Sie fügen oft zusätzliche Funktionen hinzu, die nicht angefordert wurden, oder nutzen fortgeschrittene Techniken, die die Studenten noch nicht gelernt hatten, was darauf hindeutet, dass sie aus einem viel breiteren Wissenspool schöpfen als der Lehrplan des Kurses vorsieht.

Letztlich zeichnet die Studie das Bild eines Werkzeugs, das zwar leistungsstark, aber noch nicht für jeden Bildungsbedarf vollkommen zuverlässig ist. Die Systeme der künstlichen Intelligenz können funktionierenden Code generieren, der oft den Durchschnittsstudenten übertrifft, was beweist, dass sie die Mechanik der Programmierung beherrscht haben. Aber sie begehen immer noch spezifische, wiederkehrende Fehler, die auf einen Mangel an wahrem Verständnis der zugrunde liegenden Logik hindeuten. Für Pädagogen bedeutet dies, dass diese Werkzeuge zwar zur Unterstützung des Lernens eingesetzt werden können, aber noch nicht die Notwendigkeit menschlicher Aufsicht oder eines sorgfältig gestalteten Assessments ersetzen können, das auf tiefes konzeptionelles Verständnis statt nur auf die Fähigkeit zur Code-Erzeugung abzielt. Die Maschinen werden jedes Jahr besser, aber sie haben noch einen weiten Weg vor sich, bis sie wirklich wie ein Programmierer denken können.