Commenting with Copilot: A Taxonomy and Multi-Year Analysis of Student Code-Generation Specifications
Diese Arbeit präsentiert eine vierjährige Analyse von Undergraduate-Programmierabgaben, um eine dreidimensionale Taxonomie für Studentenkommentare einzuführen, die als KI-Code-Generierungsspezifikationen dienen, wobei aufgezeigt wird, dass Studenten vorwiegend „Was“-Kommentare schreiben, zu „Wie“-Kommentaren für prozedurale Aufgaben übergehen und der Verifizierung des generierten Codes gegenüber dem wiederholten Umschreiben von Spezifikationen den Vorzug geben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Chefkoch, aber anstatt Gemüse zu schneiden und Töpfe umzurühren, sind Sie der „Kommandant“ eines superschnellen, hyperkreativen Roboter-Sous-Chefs. Ihre Aufgabe ist es nicht, das Essen selbst zu kochen; es ist Ihr Job, die Rezeptanweisungen in einfachem Englisch zu schreiben, damit der Roboter kocht. Dies ist genau das, was eine Gruppe von Forschern 1.161 Universitätsstudierende über vier Jahre hinweg in einem Informatikkurs beobachten ließ. Sie schrieben keinen Code Zeile für Zeile; sie schrieben Kommentare (kleine Notizen), um einem KI-Tool namens GitHub Copilot zu sagen, wie es ein Programm erstellen soll.
Hier ist, was die Forscher darüber herausgefunden haben, wie diese Studenten-Kommandanten mit ihren Roboter-Helfern sprachen.
Die wichtigste Entdeckung: „Was“ vs. „Wie“
Die größte Überraschung? Die meisten Studenten sprachen nicht wie Programmierer. Sie sprachen wie Menschen, die ein Ziel beschreiben.
- Die „Was“-Fraktion (77 %): Die überwiegende Mehrheit der Notizen, die die Studenten schrieben, bezog sich darauf, was sie als Ergebnis erreichen wollten. Anstatt zum Beispiel zu sagen: „Durchlaufe diese Liste und prüfe die Zahlen“, schrieben sie: „Wenn die Zahl negativ ist, gib false zurück.“ Sie beschrieben das Ziel, nicht die Fahrtrichtung.
- Der „Wie“-Wechsel: Wenn die Aufgabe jedoch schwierig wurde – etwa wenn Schritte viele Male wiederholt werden mussten oder eine komplexe Sequenz von Aktionen erforderlich war – wechselten die Studenten die Strategie. Sie begannen, „Wie“-Kommentare zu schreiben, also Schritt-für-Schritt-Marschbefehle zu geben. Es ist so, als würde man einem Freund sagen: „Mach mir ein Sandwich“ (was), aber wenn man plötzlich ein ganz spezielles, kompliziertes Club-Sandwich braucht, muss man plötzlich sagen: „Erst den Toast rösten, dann den Truthahn schichten, dann die Essiggurken hinzufügen...“ (wie).
Die Regel „Ändere nicht das Rezept“
Man könnte denken, dass ein Student, wenn der Roboter einen Fehler macht, seine Anweisungen hektisch immer und immer wieder umschreibt. Das Papier argumentiert dagegen.
Die Daten zeigen, dass Studenten ihre Kommentare selten umschrieben. Tatsächlich ließen sie die meisten Kommentare, sobald sie geschrieben waren, einfach unverändert.
- Die Realität: Von jeweils 100 Kommentaren wurden etwa 48 völlig unberührt gelassen, und weitere 41 waren brandneu. Nur ein winziger Bruchteil (etwa 4 %) wurde stark umgeschrieben oder komplett verworfen.
- Die eigentliche Arbeit: Wenn sie also nicht die Notizen umschrieben, was haben sie dann getan? Sie agierten wie strenge Qualitätsinspektoren. Die Studenten investierten ihre Energie in die Überprüfung der Arbeit des Roboters, das Ausführen von Tests und das Reparieren des Codes, den der Roboter produzierte, anstatt ständig ihre eigenen Anweisungen zu ändern. Das Papier legt nahe, dass die schwierige Aufgabe nicht das Schreiben des Prompts war, sondern die Verifizierung des Outputs.
Was die Studenten sagten (Die Reflexionen)
Nach den Aufgaben schrieben die Studenten Reflexionen, und die Forscher fanden 13 Hauptthemen. Hier sind die wichtigsten:
- Geschwindigkeit ist König: Die Studenten liebten das Tool, weil es schnell war. Es fühlte sich wie ein „Gerüst“ (Scaffold) an, das ihnen half, schnell anzufangen, ohne bei langweiligen Details stecken zu bleiben.
- Die „Vertrautheit“-Falle: Der Roboter war großartig bei einfachen, repetitiven Aufgaben (wie Boilerplate-Code), aber er hatte Schwierigkeiten, wenn die Aufgabe seltsam, sehr spezifisch oder erforderte eine einzigartige Lösung war.
- Das Vertrauensproblem: Obwohl der Roboter schnell war, wussten die Studenten, dass sie ihm nicht blind vertrauen konnten. Sie fühlen eine schwere „Verifizierungslast“. Sie mussten alles doppelt prüfen, da der Roboter manchmal Antworten gab, die zwar richtig aussahen, aber tatsächlich falsch waren.
- Lernen vs. Krücken: Einige Studenten äußerten die Sorge, dass sie zu viel auf den Roboter vertrauen und dadurch verlernen könnten, selbst zu kochen. Sie hatten das Gefühl, dass die Nutzung des Tools als „Krücke“ ihre eigene Fähigkeit zur Problemlösung später beeinträchtigen könnte.
Was das Papier ausschließt
Es ist wichtig zu wissen, was diese Studie nicht herausgefunden hat.
- Es ist KEIN „Magischer Knopf“: Das Papier lehnt die Idee explizit ab, dass Studenten einfach die KI nach einer vollständigen Lösung fragten und dann einfach aufhörten. Das funktionierte nicht gut. Die Studenten, die erfolgreich waren, behandelten die KI als Partner, den sie führen und kontrollieren mussten.
- Es geht NICHT um „perfekten“ Code: Die Studie fand nicht heraus, dass die KI immer perfekten Code produziert. Tatsächlich merkten die Studenten an, dass die KI oft unerwünschten Code hinzufügte oder winzige technische Details übersah.
- Es ist KEIN „gelöstes“ Problem: Das Papier behauptet nicht, dass das Lehren von Prompting für Studenten einfach ist oder dass nun alle Experten sind. Es deutet darauf an, dass dies ein neues Kompetenzfeld ist, das Übung erfordert – insbesondere darin, zu wissen, wann man spezifisch sein muss und wann man die Arbeit überprüfen muss.
Wie sicher sind wir?
Die Forscher sind sehr zuversichtlich bei diesen Zahlen, da sie einen massiven Datensatz untersucht haben: 10.257 Abgabebemühungen aus vier Jahren Kursen. Sie nutzten automatisierte Tools, um über 136.000 Kommentare zu zählen, und analysierten die Reflexionen der Studenten mit hoher Genauigkeit.
- Sie fanden heraus, dass 99,3 % der Studenten schließlich ihren Code dazu brachten, die Tests zu bestehen.
- Sie maßen das „Anpassen“ (Tweaking) von Kommentaren mit mathematischer Präzision und stellten fest, dass starke Umgestaltungen selten waren.
- Das Papier räumt jedoch auch Grenzen ein: Dies war nur ein einziger Universitätskurs, der Java verwendete. Wir wissen nicht, ob exakt dieselben Muster in einer anderen Sprache oder einer anderen Art von Kurs auftreten. Außerdem betrachtete die Studie nur die Kommentare, die die Studenten eingereicht haben, nicht die, die sie während der Arbeit vielleicht getippt und wieder gelöscht haben.
Das Fazit
Das Papier legt nahe, dass in Zeiten der KI die wichtigste Fähigkeit nicht nur das Schreiben von Code ist, sondern das Spezifizieren, was man möchte, und das Verifizieren, dass man es bekommen hat. Die Studenten lernten, dass das Schreiben eines klaren „Was“ der erste Schritt ist, aber die wahre Magie geschieht, wenn man als Chef agiert, die Arbeit des Roboters prüft und nur dann eingreift, um „Wie“-Anweisungen zu geben, wenn der Roboter den Faden verliert. Es geht nicht darum, die KI das Denken für einen übernehmen zu lassen; es geht darum, zu lernen, wie man mit ihr spricht, damit sie mit einem denkt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.