Leveraging Large Language Models for Assessments Grading and Personalised Feedback Generation: A Case of Software Engineering

In den Hörsälen moderner Universitäten findet eine stille Revolution statt, die von einer neuen Art künstlicher Intelligenz angetrieben wird, die als Large Language Model bekannt ist. Dies sind keine einfachen Suchmaschinen, die lediglich Fakten abrufen; es sind Systeme, die mit riesigen Mengen menschlicher Texte trainiert wurden und in der Lage sind, Kontexte zu verstehen, komplexe Probleme durch logisches Denken zu lösen und Texte zu generieren, die menschliche Konversationen imitieren. Jahrelang haben Pädagogen sich gefragt, ob diese Werkzeuge mehr können als nur zu chatten; könnten sie tatsächlich lehren oder zumindest Lehrkräften dabei helfen, die Berge an Arbeiten zu bewerten, die Studierende einreichen? Diese Frage ist besonders knifflig in Fachbereichen wie dem Software Engineering, in denen Studierende nicht nur Essays schreiben oder mathematische Probleme lösen. Stattdessen entwerfen sie komplexe Blaupausen für Softwaresysteme und zeichnen Diagramme, die zeigen, wie verschiedene Teile eines Programms miteinander verbunden sein und funktionieren sollten. Diese visuellen Entwürfe erfordern ein menschliches Auge, um subtile Fehler in der Logik und Struktur zu entdecken. Wenn ein Computer diese Aufgaben präzise bewerten und hilfreiche Ratschläge zur Verbesserung geben könnte, würde dies Lehrkräfte dazu freimachen, sich auf tiefergehendes Lernen zu konzentrieren – aber nur, wenn der Computer zuverlässig genug ist, um das Vertrauen in die Benotung der Studierenden zu rechtfertigen.

Ein Team von Forschern aus Universitäten in Pakistan und dem Vereinigten Königreich setzte sich genau dieses Ziel zur Probe. Sie wollten testen, ob zwei der fortschrittlichsten verfügbaren Systeme der künstlichen Intelligenz komplexe Aufgaben zur Softwaregestaltung bewerten und den Studierenden personalisiertes Feedback geben können. Zu diesem Zweck sammelten sie 54 echte Abgaben von Studierenden aus einem Kurs über Softwaregestaltung und -architektur. Jeder Studierende hatte drei spezifische Arten von Diagrammen erstellt: ein Use-Case-Diagramm, das zeigt, wie Benutzer mit einem System interagieren, ein Klassendiagramm, das die Bausteine der Software skizziert, und ein Drei-Schichten-Architekturdesign, das die Ebenen des Systems darstellt. Ein erfahrener menschlicher Dozent hatte bereits jede einzelne dieser Aufgaben anhand eines strengen Regelwerks, oder Rubrik, bewertet, das genau definierte, was für die volle Punktzahl erforderlich war. Die Forscher fütterten dann dieselben Aufgaben zusammen mit den Regeln des Dozenten in zwei verschiedene Modelle künstlicher Intelligenz ein: eines von der Firma OpenAI und ein weiteres von Google.

Die Forscher baten die Computer nicht einfach nur darum, eine Punktzahl zu vergeben. Sie entwarfen einen sorgfältigen Prozess, um sicherzustellen, dass die Modelle die Bewertung Schritt für Schritt durchdenken, ganz so wie eine menschliche Lehrkraft. Sie wiesen die Modelle an, zuerst zu prüfen, ob der Studierende das korrekte Thema überhaupt angesprochen hat, dann jeden Teil der Rubrik zu untersuchen, um festzustellen, ob die erforderlichen Elemente vorhanden waren, und schließlich eine Punktzahl basierend auf den gefundenen spezifischen Fehlern zu berechnen. Um sicherzustellen, dass die Ergebnisse stabil waren und nicht nur ein glücklicher Zufall, baten die Forscher jedes Modell, jede Aufgabe dreimal separat zu bewerten und anschließend die Ergebnisse zu mitteln. Zudem entwickelten sie ein maßgeschneidertes Web-Tool, um diesen gesamten Prozess zu steuern, welches es den Modellen ermöglichte, die PDF-Dateien der Studierenden, die sowohl Text als auch die komplexen Diagramme enthielten, zu lesen und einen detaillierten Bericht für jeden Studierenden zu erstellen.

Als die Forscher die computergenerierten Noten mit den Noten des menschlichen Dozenten verglichen, waren die Ergebnisse eine Mischung aus Verheißung und Einschränkung. Die Systeme der künstlichen Intelligenz lagen im Durchschnitt generell nah an der Note der menschlichen Lehrkraft, wobei die Computer-Noten im Durchschnitt um etwa fünf Punkte von insgesamt fünfzig abwichen. Die Computer hatten jedoch Schwierigkeiten, die Fähigkeit des menschlichen Dozenten nachzuahmen, zwischen den sehr besten und den sehr schlechtesten Studierenden zu unterscheiden. Der menschliche Dozent vergab eine breite Spanne an Punkten, von einem Tiefstwert von 19 bis zu einem Höchstwert von 49, was ein klares Verständnis davon widerspiegelte, wer das Material beherrschte und wer nicht. Die Computer hingegen neigten dazu, diese Punktzahlen in ein engeres Band zu pressen, wobei sie mittelmäßige Leistungen oft etwas höher und exzellente Leistungen etwas niedriger bewerteten. Dies bedeutete, dass die Computer zwar gut darin waren, eine grobe Einschätzung der Leistung abzugeben, aber noch nicht zuverlässig genug waren, um eine menschliche Lehrkraft bei der Entscheidung über eine Endnote zu ersetzen, da sie die Fähigkeit verloren, die Studierenden präzise zu ranken.

Trotz der Unvollkommenheiten bei der Benotung wurde das von den Computern generierte Feedback überraschend positiv aufgenommen. Die Studierenden, die die KI-generierten Kommentare erhielten, empfanden diese als klar, nützlich und hilfreich, um ihre Fehler zu verstehen. Tatsächlich wählten die meisten Studierenden, wenn sie gebeten wurden, das Feedback des Computers zu wählen, das Modell von OpenAI, wobei sie anmerkten, dass dessen Kommentare persönlicher und konstruktiver wirkten und näher an dem lagen, was eine menschliche Lehrkraft sagen würde. Interessanterweise stimmte diese Präferenz nicht immer mit derjenigen überein, die die mathematisch genauere Note lieferte; das Modell, das die Studierenden hinsichtlich seines Schreibstils am meisten schätzten, war nicht zwangsläufig dasjenelbe, das bei der Punktvergabe am genauesten war. Dies deutet darauf hin, dass für Studierende die Qualität des Rats wichtiger ist als die exakte Zahl, die ihrer Arbeit zugewiesen wird.

Die Studie kommt zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz zwar leistungsstarke Assistenten sind, aber noch nicht bereit sind, das Steuer vollständig zu übernehmen. Sie können die Schwerstarbeit bei der Überprüfung hunderter Aufgaben leisten, fehlende Elemente in Diagrammen entdecken und ein erstes Feedback entwerfen, was Lehrkräften eine enorme Zeitersparnis bietet. Die Forschung legt jedoch nahe, dass eine menschliche Lehrkraft weiterhin involviert sein muss, um die Endnoten zu überprüfen und die Fairness zu gewährleisten, insbesondere bei hochbewerteten Prüfungen, bei denen die Zukunft eines Studierenden vom Ergebnis abhängt. Das ideale Modell der Zukunft sieht laut diesen Erkenntnissen ein hybrider Ansatz vor, bei dem der Computer als unermüdlicher Erstleser fungiert, der eine vorläufige Bewertung und detaillierte Vorschläge liefert, während die menschliche Lehrkraft das abschließende Urteil und das differenzierte Verständnis bereitstellt, das nur ein Mensch bieten kann. Diese Partnerschaft könnte die Ausbildung im Software Engineering transformieren, indem sie personalisiertes Feedback für jeden Studierenden verfügbar macht, ohne die Lehrkräfte zu überlasten.