Changes in Coding Behavior and Performance Since the Introduction of LLMs
Diese quasi-längsschnittliche Studie eines Graduate-Kurses im Bereich Cloud Computing zeigt, dass sich seit der Einführung von LLMs das Kodierverhalten der Studierenden hin zu längeren, aber weniger iterativen Einreichungen mit geringeren Lernerfolgen verschoben hat, was darauf hindeutet, dass eine übermäßige Abhängigkeit von diesen Werkzeugen sowohl die Produktivität als auch die Bildungsergebnisse negativ beeinflussen kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Das „Zauberstift“-Experiment
Stellen Sie sich einen Kochkurs vor, bei dem die Schüler jedes Semester denselben speziellen Kuchen backen müssen. Fünf Jahre lang beobachtete der Lehrer, wie sie backten. Dann wurde Ende 2022 ein „Zauberstift“ (Große Sprachmodelle oder LLMs) verfügbar. Dieser Stift konnte das Rezept schreiben und sogar den Teig für die Schüler anrühren, wenn sie darum baten.
Die Forscher wollten wissen: Hat der Zauberstift den Schülern geholfen, besser backen zu lernen, oder hat er nur dafür gesorgt, dass die Kuchen schick aussehen, während die Schüler verlernten, wie man backt?
Sie untersuchten Daten aus 10 Semestern (5 Jahre vor dem Zauberstift und 5 Jahre nach dem Zauberstift) eines Informatik-Grundstudiums. Sie konzentrierten sich auf eine spezifische Programmieraufgabe, die sich nie änderte – sie fungierte wie das unveränderliche Kuchenrezept.
Was sie fanden: Der „Blähungs“-Effekt (Bloat Effect)
Den Forschern fielen nach der Ankunft des Zauberstifts einige sehr seltsame Dinge auf:
Mehr Änderungen, weniger Fortschritt: Vor dem Zauberstift machten die Schüler kleine, sorgfältige Änderungen an ihrem Code, um Fehler zu beheben. Nach dem Zauberstift begannen die Schüler, riesige, umfassende Änderungen zwischen den Abgaben vorzunehmen.
- Die Analogie: Stellen Sie sich vor, Sie korrigieren einen Satz. Früher hätten Sie vielleicht ein Wort geändert, um einen Tippfehler zu beheben. Nach dem Zauberstift löschen Sie vielleicht den ganzen Absatz und fügen einen neuen ein, der dreimal so lang ist, selbst wenn die neue Version nicht wirklich besser ist.
- Die Daten: Die Menge des Codes, den die Schüler zwischen den Versuchen änderten, verdreifachte sich. Die Gesamtmenge des eingereichten Codes wuchs um 500 %.
Die „Perfekte Punktzahl“-Illusion: Fast alle erhielten immer noch eine perfekte Punktzahl für die spezifische Aufgabe.
- Die Analogie: Es ist, als ob plötzlich jeder in der Klasse eine „Eins“ in der Prüfung bekommt. Aber der Lehrer stellte fest, dass die Schüler, die eine „Eins“ bekamen, einfach den Lösungsschlüssel vom Zauberstift kopierten, anstatt die Mathematik dahinter wirklich zu verstehen. Die Note erzählte nicht mehr die ganze Geschichte.
Das Signal des „langsameren Lernenden“: Die Forscher maßen, wie stark sich die Punktzahl eines Schülers mit jedem neuen Versuch verbesserte.
- Die Analogie: Denken Sie an das Klettern auf einer Leiter. Vor dem Zauberstift kam ein Schüler mit jedem Tritt auf eine Sprosse signifikant näher zum Ziel. Nach dem Zauberstift kletterten die Schüler viel schneller (machten mehr Änderungen), aber sie kamen dem Ziel nicht näher. Sie drehten sich nur im Kreis.
- Die Daten: Die „Punktverbesserung pro Änderung“ sank signifikant. Die Schüler arbeiteten härter (mehr Edits), lernten aber weniger.
Die Teamprojekt-Variante
Die Studie untersuchte auch ein Gruppenprojekt, bei dem die Studenten gemeinsam eine Website bauten.
- Das Ergebnis: Die Team-Punktzahlen stiegen nach der Ankunft des Zauberstifts sogar leicht an.
- Die Analogie: Es ist wie bei einer Sportmannschaft, bei der ein Spieler einen superschnellen Roboter zum Spiel mitbringt. Das Team gewinnt mehr Spiele, aber die menschlichen Spieler werden dadurch vielleicht nicht stärker. Der Roboter erledigt die schwere Arbeit und kaschiert dabei, dass die Menschen vielleicht nicht mehr so viel beitragen wie zuvor.
Die „Zentaur“-Warnung
Die Autoren vergleichen die Zukunft der Arbeit mit Schach.
- Im Schach ist ein „Zentaur“ ein Team aus einem Menschen und einem Computer, die zusammenarbeiten. Diese Teams sind besser als Menschen allein oder Computer allein.
- Das Problem: Die Forscher befürchten, dass die Studenten zu Schachspielern werden, die vergessen haben, wie man die Figuren bewegt, weil sie nur noch dem Computer sagen, was er tun soll.
- Sie fanden heraus, dass Studenten, die sich stark auf den Zauberstift verließen (erkennbar an jenen riesigen, aufgeblähten Code-Änderungen), bei anderen Einzelaufgaben tatsächlich etwas schlechter abschnitten. Dies deutet darauf hin, dass der Zauberstift zwar hilft, die Aufgabe zu erledigen, aber die Fähigkeit schaden kann, die nötigen Fertigkeiten zu erlernen, um die Aufgabe eigenständig zu bewältigen.
Das Fazit
Das Papier kommt zu dem Schluss, dass die Studenten zwar immer noch gute Noten bekommen, sich ihr Verhalten jedoch verändert hat, was darauf hindeutet, dass sie die KI übermäßig nutzen.
- Sie reichen längeren, unordentlicheren Code ein.
- Sie machen mehr Änderungen, ohne daraus viel zu lernen.
- Sie erzielen perfekte Punktzahlen bei einfachen Aufgaben, aber ihre allgemeine Lerneffizienz scheint zu sinken.
Die Autoren warnen, dass Schulen und Arbeitgeber neu darüber nachdenken müssen, wie sie „Geschicklichkeit“ messen. Nur weil ein Student mit einem Zauberstift ein perfektes Ergebnis erzielen kann, bedeutet das nicht, dass er weiß, wie man den Kuchen backt. Sie müssen herausfinden, wie man Studenten dazu bringt, die Schachmeister zu sein, die den Computer führen, statt nur die Menschen, die den „Start“-Knopf drücken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.