A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor

Stellen Sie sich vor, Sie sind ein Lehrer mit einem Berg von Hausaufgaben, die korrigiert werden müssen. Sie haben 6.000 Programmieraufgaben zu prüfen, und Ihre Augen sind müde. Hier kommt der „Digitale Korrektor“ ins Spiel: eine Art superintelligentes Computergehirn, genannt Large Language Model (LLM). Betrachten Sie diese Modelle als unglaublich belesene Roboter, die fast alles im Internet gelesen haben, einschließlich Millionen von Zeilen Code. Sie sind darauf ausgelegt, Sprache und Logik zu verstehen, sodass es wie eine perfekte Idee erscheint, KI-Modelle zu bitten, die Arbeit von Studenten sofort zu bewerten. Aber hier ist der Haken: Genau wie Menschen haben auch diese Roboter unterschiedliche Persönlichkeiten. Einige sind streng, andere locker und manche sind einfach nur seltsam. Die große Frage für Schulen ist: Wenn wir diese Roboter die Korrektur übernehmen lassen, werden sie fair sein? Werden sie mit menschlichen Lehrern übereinstimmen? Oder werden sie das Bewertungssystem in ein chaotisches Spiel verwandeln, bei dem ein Roboter Ihnen ein A+ gibt und ein anderer für exakt denselben Code ein F vergibt?

Dieser Text ist wie ein riesiger „Geschmackstest“ für diese digitalen Korrektoren. Der Autor, Marcin Jukiewicz, sammelte 6.000 echte Programmieraufgaben aus einem Universitätskurs und bat 18 verschiedene Versionen dieser KI-Roboter, sie alle zu bewerten. Er fragte sie nicht nur nach einer Punktzahl; er beobachtete, wie sie dachten, wie streng sie waren und ob sie sich untereinander oder mit den menschlichen Lehrern einig waren. Die Studie zeigt, dass diese KI-Modelle kein einheitlicher Block von Intelligenz sind, sondern eine Familie sehr unterschiedlicher Cousins. Einige sind „liberal“ und verteilen hohe Punktzahlen wie Süßigkeiten, während andere „restriktiv“ sind und Studenten wegen winziger Fehler durchfallen lassen. Selbst überraschender: Die Roboter desselben Unternehmens (wie OpenAI oder Google) denken und bewerten in sehr ähnlicher Weise, fast so, als wären sie im selben Haus mit denselben Regeln aufgewachsen.

Die wichtigste Erkenntnis ist jedoch ein wenig Realitätscheck. Selbst der „beste“ KI-Roboter in der Studie zeigte nur ein moderates Maß an statistischer Übereinstimmung mit menschlichen Lehrern, weit entfernt von einer perfekten Übereinstimmung. In der Welt der Bewertung ist das so, als würden zwei Preisrichter in einer Talentshow völlig unterschiedliche Bewertungen für denselben Sänger abgeben. Die Studie legt nahe, dass KI zwar konsistent mit sich selbst sein kann, aber immer noch Schwierigkeiten hat, die nuancierte, nachsichtige und kontextbewusste Art und Weise zu erreichen, mit der menschliche Lehrer korrigieren. Darüber hinaus stellte die Studie fest, dass die „Mini“- oder „Nano“-Versionen dieser Modelle (die kleineren, günstigeren Versionen) im Allgemeinen schlechter beim Bewerten waren als ihre großen, voll ausgebauten Brüder. Wenn eine Schule also KI verwenden möchte, um Hausaufgaben zu korrigieren, darf sie nicht einfach irgendeinen Roboter wählen; sie muss sorgfältig wählen, denn die Wahl des Roboters verändert tatsächlich die Noten, die die Studenten erhalten.

Der große Roboter-Bewertungs-Showdown

Stellen Sie sich vor, Sie betreten ein Klassenzimmer, in dem 18 verschiedene Roboter an Schreibtischen sitzen und jeweils einen roten Stift halten. Sie sind dabei, denselben Stapel von 6.000 Programmieraufgaben zu bewerten. Dies sind nicht einfach nur irgendwelche Roboter; es sind die neuesten und besten „Large Language Models“ (LLMs) von vier großen Tech-Giganten: OpenAI, Google, Anthropic und DeepSeek. Das Ziel dieser Studie war es zu sehen, ob diese Roboter sich alle darüber einig wären, wer ein A bekommt, wer ein B und wer durchfällt.

Die Ergebnisse waren ein wenig wie eine Reality-TV-Show, in der sich die Preisrichter über gar nichts einig sind. Der Autor entdeckte, dass diese Roboter über „Bewertungsphilosophien“ verfügen.

Die „netten“ Roboter vs. die „bösen“ Roboter
Einige Roboter waren unglaublich großzügig. Modelle wie GPT-4o und Claude-haiku-3.5 waren die „liberalen“ Korrektoren. Sie neigten dazu, sehr oft hohe Punktzahlen (eine „1“ oder volle Punktzahl) zu vergeben. Wenn der Code eines Studenten weitgehend korrekt war, waren diese Roboter bereit, ihnen eine Bestehensnote zu geben. Am anderen Ende des Spektrums standen die „restriktiven“ Roboter wie DeepSeek-Reasoner und GPT-4.1-nano. Dies waren die strengen Disziplinierer. Sie waren viel eher bereit, eine „0“ (eine ungenügende Note) zu geben, wenn sie auch nur einen kleinen Fehler entdeckten. Dies waren die Roboter, die Sie wegen eines fehlenden Semikolons durchfallen ließen, während die netten Roboter Ihnen nur einen sanften Stoß gaben.

Dann gab es die „ausgewogenen“ Roboter, wie Claude-sonnet-4 und Gemini-2.0-flash-lite. Dies waren die Mittelweg-Korrektoren. Sie gaben Ihnen nicht einfach nur eine perfekte Punktzahl oder eine ungenügende Note; sie liebten die „0,5“-Punktzahl. Sie waren diejenigen, die sagten: „Du hast die Hauptidee verstanden, aber du hast ein paar Details übersehen, also bekommst du Teilpunkte.“

Die Familienähnlichkeit
Eine der coolsten Entdeckungen war, dass Roboter aus demselben Unternehmen wie Geschwister agierten. Wenn man sich die Bewertungsmuster der verschiedenen OpenAI-Modelle ansah (wie GPT-4o, GPT-5 und deren „Mini“-Versionen), gruppierten sie sich zusammen. Sie dachten ähnlich. Dasselbe geschah mit den Gemini-Modellen von Google und den Claude-Modellen von Anthropic. Es ist, als hätte OpenAI alle seine Roboter gelehrt, in einem bestimmten Stil zu bewerten, und Google hätte seinen Robotern einen anderen Stil beigebracht. Die Studie fand sechs verschiedene Gruppen von Robotern: fünf Haupt„Clans“ mit gemeinsamen Stilen (GPT-5, GPT-4, Gemini, DeepSeek und Claude) plus einen speziellen „Ausreißer-Cluster“, der zwei einzigartige Modelle zusammenfasste, weil sie nirgendwo sonst hineinpassten.

„Mini“ vs. „Mega“
Die Studie untersuchte auch die Größe der Roboter. Tech-Unternehmen veröffentlichen oft „Mini“- oder „Nano“-Versionen ihrer Modelle, die kleiner, schneller und kostengünstiger im Betrieb sind. Die Studie fand heraus, dass diese kleineren Roboter im Allgemeinen schlechter beim Bewerten waren. Die vollen „Flaggschiff“-Modelle waren konsistenter und zuverlässiger. Es ist wie der Vergleich zwischen einem Profikoch und einem Kind, das gerade nur eine Kochshow gesehen hat; das Kind mag das Gericht zwar fertigstellen, aber der Profi wird eher in der Lage sein, den Geschmack jedes Mal richtig zu treffen. Die „Mini“- und „Nano“-Modelle hatten eine geringere Übereinstimmung mit menschlichen Lehrern, was darauf hindeutet, dass Schulen, die versuchen, Geld zu sparen, indem sie die günstigeren, kleineren Modelle verwenden, möglicherweise eine geringere Bewertungsqualität erhalten.

Der menschliche Faktor
Hier kommt die Wendung, die Sie vielleicht überraschen wird. Als der Autor alle diese Roboter mit den tatsächlichen menschlichen Lehrern verglich, die dieselben Aufgaben bewertet hatten, passten die Roboter nicht gut zusammen. Tatsächlich waren die menschlichen Lehrer am großzügigsten! Sie vergaben die höchsten Durchschnittswerte (0,726) und waren viel eher bereit, eine volle „1“ zu geben, als jeder der Roboter.

Der beste Roboter, Claude-haiku-3.5, zeigte eine statistische Übereinstimmung von 0,470 mit den menschlichen Lehrern. In der Welt der Statistik gilt dies als „moderate“ Übereinstimmung, nicht als eine „gute“. Um als „gut“ zu gelten, benötigt man normalerweise einen Wert von über 0,75. Das bedeutet, wenn Sie diesen Roboter nutzen würden, um Ihre Hausaufgaben zu korrigieren, würde er Ihnen wahrscheinlich eine andere Note geben als Ihr Lehrer, und er wäre strenger.

Das „Crowd“-Paradoxon
Die Studie unternahm etwas Cleveres, um die Roboter gegeneinander zu testen. Anstatt sie mit Menschen zu vergleichen, fragten die Forscher: „Wenn wir die am häufigsten vergebene Note aller 18 Roboter nehmen, ist das dann die ‚wahre‘ Note?“ Als sie dies taten, stimmten die Roboter viel besser untereinander überein (über 80 % Übereinstimmung bei den Top-Modellen). Dies deutet darauf hin, dass die Roboter sehr konsistent mit ihrer eigenen Art sind, aber sie sind alle konsistent verschieden von den menschlichen Lehrern.

Dies wirft eine große Frage auf. Sind die Roboter richtig und die Lehrer zu nachsichtig? Oder machen alle die Roboter denselben Fehler, weil sie mit ähnlichen Daten trainiert wurden? Die Arbeit legt nahe, dass die Roboter zwar konsistent sind, aber möglicherweise die „menschliche Note“ vermissen – die Fähigkeit zu verstehen, dass ein Student sich angestrengt hat oder dass ein kleiner Fehler nicht bedeutet, dass er das Konzept nicht verstanden hat.

Was dies für die Zukunft bedeutet

Die Arbeit sagt nicht, dass KI-Bewertung kaputt ist oder dass wir die Nutzung aufhören sollten. Stattdessen warnt sie Schulen zur Vorsicht. Die Entscheidung, einen Roboter für die Korrektur Ihrer Hausaufgaben zu wählen, ist keine neutrale Entscheidung; es ist eine Wahl, die das Ergebnis verändert. Wenn Sie einen „liberalen“ Roboter wählen, könnten die Studenten höhere Noten erhalten. Wenn Sie einen „restriktiven“ Roboter wählen, könnten die Studenten niedrigere Noten erhalten.

Die Studie kommt zu dem Schluss, dass wir der KI nicht einfach die vollständige Kontrolle über die Bewertung überlassen können. Wir brauchen immer noch menschliche Lehrer, um die Dinge im Auge zu behalten. Die Roboter sind großartige Werkzeuge, aber sie sind wie verschiedene Arten von Taschenrechnern: Einige runden auf, einige runden ab, und einige haben andere Tasten. Bis wir herausfinden, wie wir sie dazu bringen können, mit menschlichen Lehrern übereinzustimmen, müssen wir uns daran erinnern, dass die Note, die ein Roboter Ihnen gibt, nicht unbedingt dieselbe sein wird, die Ihr Lehrer Ihnen geben würde. Und in der Welt der Bildung macht dieser Unterschied einen großen Unterschied.