Learning from 53.6K Real-World Developer Edits of AI-Generated Code
Dieses Paper führt DECODE ein, einen Datensatz aus 53.600 realen In-IDE-Edits von KI-generiertem Code von über 1.000 Entwicklern, der aufzeigt, dass die meisten Modifikationen innerhalb von 15 Minuten nach der Annahme erfolgen, und demonstriert, dass das Fine-Tuning kleinerer Modelle auf diesen Daten die Vorhersage von Code-Edits im Vergleich zu Frontier-LLMs signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter das Kochen bei. Sie zeigen ihm ein Rezeptbuch, und er versucht, ein Gericht zuzubereiten. Manchmal gelingt es dem Roboter perfekt. Aber oft gibt er zu viel Salz hinzu, vergisst den Knoblauch oder benutzt einen Löffel statt eines Schneebesens. In der Welt der Informatik ist dieser Roboter ein „KI-Programmierassistent“ und die Gerichte sind Codezeilen. Lange Zeit versuchten Wissenschaftler, diese Roboter zu unterrichten, indem sie ihnen fertige Rezepte zeigten (genannt „Git-Commits“) – die fertigen, perfekten Gerichte, die es in die Kochbücher geschafft haben. Aber das ist so, als würde man versuchen, das Kochen zu lernen, indem man nur das Essen auf dem Teller betrachtet und die unordentliche Küche, das verbrannte Toastbrot und die hektischen Korrekturen des Kochs ignoriert.
Die wahre Magie (und das wahre Chaos) passiert in der Mitte. Wenn ein menschlicher Koch eine Suppe probiert und sagt: „Nein, die braucht mehr Pfeffer“, oder „Eigentlich, wirf das weg und fang von vorne an“, dann ist das eine „Code-Editierung“. Bis jetzt hatten wir keine gute Möglichkeit, den Koch dabei zu beobachten, wie er dies tut. Wir sahen nur das Endergebnis. Diese Arbeit taucht in diese unordentliche, wunderschöne Küche ein. Sie fragt: Wie korrigieren Menschen KI-Fehler tatsächlich? Passen sie nur ein wenig an oder werfen sie das Ganze weg? Und können wir den Roboter lehren, diese Korrekturen vorherzusagen, noch bevor sie überhaupt passieren?
Der große Code-Detektiv: DECODE
Die Forscher hinter dieser Studie erkannten, dass sie den Roboter besser darin machen mussten, Code zu schreiben, wenn sie aufhörten, nur auf das fertige Produkt zu schauen, und statztendessen den Prozess beobachteten. Sie entwickelten einen massiven neuen Datensatz namens DECODE (Developer Edits of Code Dataset). Denken Sie an DECODE als an ein riesiges, hochauflösendes Überwachungssystem, das in den IDEs (den digitalen Arbeitsbereichen) von über 1.000 echten Entwicklern installiert wurde. Anstatt nur den fertigen Code zu speichern, zeichnete dieses System jede einzelne Eingabe, jedes Löschen und jedes Umschreiben auf, das ein Entwickler vornahm, nachdem die KI ein Stück Code vorgeschlagen hatte.
Sie sammelten 53.600 dieser echten Bearbeitungssitzungen, hauptsächlich in Python, TypeScript und JavaScript. Es ist, als hätte man eine Bibliothek von 53.600 Geschichten darüber, wie Menschen und Roboter streiten, Kompromisse schließen und zusammenarbeiten, um Software zu bauen.
Was sie fanden: Die 15-Minuten-Regel und der „Mülleimer“
Als das Team die Daten untersuchte, fand es einige überraschende Muster darüber, wie Menschen mit KI-Vorschlägen umgehen.
Zuerst entdeckten sie eine strikte 15-Minuten-Regel. Die meiste Bearbeitung findet sehr schnell statt. Wenn ein Entwickler den Code der KI ändern wird, tut er dies meist innerhalb der ersten 15 Minuten nach der Annahme des Vorschlags. Danach wird der Code meist in Ruhe gelassen.
Zweitens fanden sie heraus, dass Menschen überraschend hart urteilen. In etwa 31 % der Fälle hat der Entwickler nicht nur den Code leicht angepasst, sondern den gesamten Vorschlag der KI gelöscht und von vorne angefangen. Es ist, als würde Ihnen die KI ein Sandwich reichen und Sie würden es sofort in den Müll werfen, weil das Brot etwas falsch ist. Die Daten legen nahe, dass, wenn ein KI-Vorschlag die Absicht des Entwicklers nicht sofort perfekt trifft, er oft dazu verdammt ist, verworfen zu werden.
Wenn Menschen den Code jedoch behalten, ändern sie nicht viel. Die Daten zeigen, dass Entwickler bei dem Code, der überlebt, meist etwa 63 % des ursprünglichen KI-Vorschlags beibehalten. Sie fügen selbst nur sehr wenig neuen Code hinzu (nur etwa 20 % des fertigen Codes sind neue Dinge, die der Mensch hinzugefügt hat). Das bedeutet, dass sich Entwickler stark auf die KI verlassen, aber sehr wählerisch bei der anfänglichen Qualität sind.
Die Forscher bemerkten auch eine spezifische Reihenfolge, wie Menschen Dinge korrigieren. Es ist wie eine Checkliste:
- Der „Ist das überhaupt nutzbar?“-Check: Zuerst entscheiden sie, ob sie den Code überhaupt behalten wollen. Wenn nicht, löschen sie ihn.
- Die „Fehler beheben“-Phase: Als Nächstes beheben sie Syntaxfehler oder Probleme mit der Lesbarkeit.
- Die „Mach es zu meinem“-Phase: Dann benennen sie Variablen um oder ändern Zahlen, um sie an ihre spezifischen Bedürfnisse anzupassen.
- Die „Plan ändern“-Phase: Wenn sie immer noch daran arbeiten, ändern sie schließlich vielleicht sogar, was der Code eigentlich tut.
Dem Roboter das Gedankenlesen lehren
Der zweite große Teil der Arbeit war ein Test: Können wir ein kleineres, Open-Source-KI-Modell dazu bringen, diese Edits besser vorherzusagen als die riesigen, superintelligenten „Frontier“-Modelle?
Normalerweise gelten die größten, teuersten KI-Modelle als die besten in allem. Aber hier nahmen die Forscher ein kleineres Modell (eines mit 3 Milliarden Parametern, was winzig im Vergleich zu den Giganten ist) und trainierten es spezifisch auf dem DECODE-Datensatz. Sie lehrten es, einen KI-Vorschlag anzusehen und zu raten: „Wird der Mensch dies löschen? Wird er es anpassen? Oder wird er es so lassen, wie es ist?“
Das Ergebnis war ein Schock. Das kleine Modell wurde, nachdem es aus den realen Bearbeitungsdaten gelernt hatte, signifikant besser darin, Edits vorherzusagen, als die massiven, hochmodernen Modelle, die diese spezifischen Daten nie gesehen hatten.
- Für das Raten, wie der fertige Code aussehen würde, verbesserte das kleine Modell seine Genauigkeit um 0,17 (ein riesiger Sprung in diesem Bereich).
- Für das Raten, ob der Code überhaupt geändert wird, verbesserte es sich ebenfalls um 0,17.
Dies deutet darauf hin, dass es wichtiger ist, die richtige „Erfahrung“ (reale Bearbeitungsdaten) zu haben, als einfach nur ein größeres Gehirn. Es ist, als wüsste ein junger Koch, der tausende Kochshows gesehen hat (die Daten), vielleicht besser, wie man ein Gericht korrigiert, als ein berühmter Koch, der nur perfekte Mahlzeiten im Labor gekocht hat.
Das Fazit: Es geht um den Menschen, nicht nur um den Code
Die Arbeit kommt zu dem Schluss, dass wir aufhören müssen, die KI-Codegenerierung wie ein mathematisches Problem zu behandeln, bei dem das einzige Ziel die „Korrektheit“ ist. Das wahre Ziel ist die „Alignment“ (Ausrichtung). Der Code muss zur Absicht des Menschen passen, sonst wird der Mensch ihn einfach wegwerfen.
Die Autoren schlagen vor, dass zukünftige KI-Assistenten nicht nur versuchen sollten, beim ersten Versuch den perfekten Code zu schreiben. Stattdessen sollten sie darauf trainiert werden, den Prozess des Editierens zu verstehen. Sie müssen lernen, dass Menschen Dinge oft schnell löschen, dass sie Fehler beheben, bevor sie Funktionen ändern, und dass sie eher Code behalten, der leicht anzupassen ist.
Durch die Verwendung von Datensätzen wie DECODE können wir eine KI bauen, die nicht nur Code schreibt, sondern Code, den Menschen tatsächlich behalten wollen. Es ist ein Wechsel von der Frage „Ist dieser Code korrekt?“ hin zu der Frage „Ist dieser Code etwas, das ein Mensch leicht zu seinem eigenen machen kann?“. Und die Daten deuten darauf hin, dass wir, wenn wir unsere KI lehren, das chaotische 15-Minuten-Zeitfenster der Bearbeitung zu verstehen, wir endlich einen Roboter bekommen könnten, der eine Mahlzeit kocht, die wir gerne essen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.