CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

Stellen Sie sich vor, Sie lernen gerade, eine Geschichte zu schreiben. Sie wissen, dass die Handlung Sinn ergeben muss, die Charaktere richtig handeln müssen und das Ende zufriedenstellend sein muss. Aber es gibt noch eine weitere Ebene: Ihr Lehrer möchte auch, dass Sie bestimmte Schriftarten verwenden, Ihre Absätze genau so einrücken, wie er es vorgibt, und Sätze nicht mit „Und“ beginnen. Wenn Sie die Handlung richtig hinbekommen, aber die Formatierung falsch machen, könnten Sie Punkte verlieren. In der Welt der Computerprogrammierung wird diese „Formatierung“ als Code-Stil bezeichnet. Dabei geht es nicht darum, ob der Computer das Programm ausführen kann (das ist die Handlung), sondern darum, ob der Code ordentlich, organisiert und für andere Menschen leicht lesbar ist.

Lange Zeit hatten Lehrer damit zu kämpfen. Sie wollen, dass Schüler diese Regeln der Ordentlichkeit lernen, aber Feedback dazu zu geben, dauert ewig. Wenn ein Lehrer erst am Ende des Semesters sagt: „Hey, du hast die falsche Schriftart für deine Variablennamen verwendet“, hat der Schüler die Lektion schon längst vergessen. Vor kurzem ist ein neuer Typ von „intelligentem Assistenten“ namens Large Language Model (LLM) aufgetaucht. Betrachten Sie dies als superintelligente Roboter, die Ihren Code lesen und mit Ihnen darüber chatten können. Aber hier ist der Haken: Diese Roboter sind gut in allgemeiner Beratung, aber sie kennen oft nicht die spezifischen Regeln Ihres speziellen Kurses. Sie könnten Ihnen vielleicht raten, wie man sich in einem anderen Land professionell verhält, während Ihr Lehrer eigentlich nur möchte, dass Sie den lokalen Schulregeln folgen.

Dies ist das Problem, das ein Forscherteam der Purdue University mit einem neuen Tool namens CodeStylist zu lösen versuchte. Sie wollten sehen, ob sie einen Roboter bauen können, der genau weiß, was Ihr spezifischer Lehrer möchte, damit er Ihnen hilfreiche Tipps geben kann, während Sie noch an Ihrem Code schreiben, und nicht erst, nachdem Sie ihn bereits abgegeben haben. Sie haben ihn nicht nur gebaut, sondern auch eine Gruppe von Lehrern und Lehrassistenten gebeten, ihn auszuprobieren und zu sagen, ob er tatsächlich nützlich war oder ob er nur ein schickes Spielzeug ist, das die Schüler verwirrt.

Das Experiment: Ein Roboter, der den Lehrplan kennt

Die Forscher entwickelten CodeStylist, eine Web-App, die als persönlicher Editor für Programmierstudenten fungiert. Anstatt allgemeine Ratschläge wie „machen Sie Ihren Code sauberer“ zu geben, ist CodeStylist mit dem spezifischen „Style Guide“ eines bestimmten Kurses konfiguriert. Es ist, als hätte man einen Roboter, dem man den exakten Text des Lehrplans und des Bewertungsbogens Ihres Lehrers zur Referenz gegeben hat.

So funktioniert es in der Praxis: Ein Student lädt seine Codedateien hoch (was ein ganzes Projekt mit vielen verschiedenen Dateien sein kann, nicht nur eine einzelne). Er sagt dem Tool: „Dies ist für meinen C-Programmierkurs“, und das Tool sendet den Code an ein Large Language Model (eine KI). Die KI liest den Code und erstellt einen Bericht, der auf bestimmte Zeilen hinweist. Sie sagt Dinge wie: „Hey, in Zeile 42 hast du diese Variable 'x' genannt, aber unsere Kursregel besagt, dass Variablen beschreibend sein sollten, wie zum Beispiel 'totalScore'. Außerdem hast du hier einen Kommentar vergessen, der erklärt, was dieser Teil macht.“

Entscheidend ist, dass das in dieser Studie getestte Tool sich vollständig auf die KI verlassen hat, um diese Urteile zu fällen. Es verfügte nicht über ein separates, strenges Computerprogramm (einen „deterministischen“ Prüfer), um die Fakten zu überprüfen. Es fragte die KI, die die Regeln und die Fehler alle gleichzeitig finden sollte.

Das Ziel war nicht, den Code für den Studenten zu korrigieren oder ihn zu benoten. Das Ziel war, als „Revisions-Kumpel“ zu fungieren – ein Werkzeug, das den Studenten hilft, Fehler abzufangen, bevor sie auf den Button zum Absenden drücken. Die Forscher wollten wissen: Würden Lehrer diesem Roboter vertrauen? Würden Studenten ihn tatsächlich benutzen? Und vor allem: Würde der Roboter Ratschläge geben, die mit dem übereinstimmen, was die Lehrer tatsächlich wollen?

Was die Lehrer sagten: Ein gemischtes Echo

Um dies herauszufinden, versammelten die Forscher 18 Lehrkräfte (Lehrassistenten und einen Dozenten) aus einem Informatikkurs an der Purdue University. Dies waren die Personen, die jeden Woche den Code der Studenten lesen. Sie erhielten das Tool und wurden gebeten, es mit echten Codebeispielen zu testen, die sie zuvor gesehen hatten. Danach füllten sie eine Umfrage aus und teilten ihre ehrlichen Gedanken mit.

Die Ergebnisse waren ein wenig wie bei einem Schultheaterstück, bei dem die Schauspieler ihr Bestes geben, aber das Skript noch etwas Bearbeitung benötigt.

Die guten Nachrichten:
Die Lehrer stimmten zu, dass die Idee großartig sei. Sie sahen, dass CodeStylist die unsichtbaren Regeln sichtbar machen konnte. Ein Lehrer bemerkte, dass es wie ein „zweites Paar Augen“ sei, das Stilfehler sofort erkennen könne. Sie glaubten, dass Studenten das Tool tatsächlich nutzen würden, wobei die meisten vorhersagten, dass Studenten ihren Code mindestens einmal pro Woche überprüfen würden. Die Lehrer empfanden es als eine hilfreiche Methode, um Stilfehler vor der Endnote abzufangen, was langfristig allen Zeit spart.

Die schlechten Nachrichten (und die große Sorge):
Das Hauptproblem war das Vertrauen. Die Lehrer vertrauten den Antworten des Roboters nicht voll und ganz.

• Genauigkeit: Auf die Frage, wie oft der Roboter richtig lag, schätzten die Lehrer eine durchschnittliche Trefferquote von 60,7 %. Das bedeutet, dass in fast 4 von 10 Fällen der Roboter falsch liegen, verwirrend sein oder Ratschläge geben könnte, die nicht zu den Kursregeln passen. Da das Tool ausschließlich auf die KI setzte, ohne einen strengen „Rechtschreibprüfer“-Backup, übersah es manchmal Dinge oder erfand etwas dazu.
• Hilfreichkeit: Auf einer Skala von 1 bis 5 bewerteten die Lehrer die Hilfreichkeit der Antworten mit 3,50 und den Nutzen mit 3,33. Das sind „okay“ Werte, aber keine „großartigen“ Werte.
• Lernen: Die größte Sorge war, ob das Tool den Studenten tatsächlich beim Lernen helfen würde. Die durchschnittliche Bewertung für das „antizipierte Lernen der Studenten“ lag bei 2,61 von 5. Dies liegt unter dem Mittelpunkt. Die Lehrer befürchteten, dass Studenten, wenn der Roboter falschen Rat gibt, diesen einfach blind befolgen könnten, ohne nachzudenken, oder verwirrt sein könnten, wenn der Rat des Roboters mit den tatsächlichen Regeln des Lehrers kollidiert.

Ein Lehrassistent war so skeptisch, dass er die Genauigkeit des Tools mit 4 % bewertete und sagte, dass Studenten es „niemals“ nutzen würden. Ein anderer befürchtete, dass, wenn der Roboter schlechte Ratschläge gibt, dies zu mehr Arbeit für die Lehrer führen würde, die dann das Chaos beseitigen müssten, das der Roboter verursacht hat.

Das Urteil: Ein vielversprechender Entwurf, kein fertiges Produkt

Die Forscher kamen zu dem Schluss, dass CodeStylist ein vielversprechender Anfang ist, aber noch nicht bereit ist, die endgültige Autorität im Klassenzimmer zu sein. Die Lehrer sahen darin ein nützliches Werkzeug, um den Stil zu prüfen und potenzielle Probleme zu finden, aber sie sahen es noch nicht als ein Werkzeug an, das Studenten zuverlässig die tiefen Prinzipien guten Codierens lehren kann.

Das Paper legt nahe, dass dieses Tool wirklich funktionieren kann, wenn es einen „Hybrid-Ansatz“ nutzt. Anstatt die KI alles erraten zu lassen, sollte sie strikte, unveränderliche Computerregeln (wie ein Rechtschreibprüfer) verwenden, um offensichtliche Fehler zu finden, und die KI dann nur dazu nutzen, zu erklären, warum diese Fehler wichtig sind. Die Lehrer forderten auch bessere visuelle Hilfsmittel, wie etwa das Hervorheben der exakten Codezeile und das Anzeigen der spezifischen Regel, gegen die der Student verstoßen hat, damit die Studenten den Rat selbst überprüfen können.

Kurz gesagt deutet die Studie darauf, dass, obwohl kursbezogenes Feedback eine großartige Idee ist, die aktuelle Version von CodeStylist etwas zu unzuverlässig ist, um der beste Freund eines Lehrers zu sein, da ihr der strenste Computer-Backup fehlt. Es ist ein hilfreicher Entwurf, der mehr Arbeit erfordert, um sicherzustellen, dass er den Studenten nicht versehentlich beibringt, den Code falsch zu schreiben. Die Forscher glauben, dass dieser Typ von Tool zu einem Gamechanger werden kann, um Studenten dabei zu helfen, saubereren und professionelleren Code zu schreiben, wenn sie die Genauigkeitsprobleme beheben und das Feedback leichter überprüfbar machen können.