To Add Is Machine, To Delete Is Human: Measuring and Mitigating Deletion Avoidance in LLM Code Editing
Diese Arbeit identifiziert und quantifiziert einen systematischen „Deletion Avoidance“-Bias (Vermeidung von Löschungen) in führenden großen Sprachmodellen, der dazu führt, dass diese Code bei Bearbeitungen eher beibehalten als entfernt, und zeigt auf, dass dieses Verhalten die Wartbarkeit von Code signifikant verschlechtert und durch gezieltes Post-Training gemildert werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen superintelligenten Roboter-Assistenten ein, der Ihnen helfen soll, Computer-Code zu schreiben und zu reparieren. Sie geben ihm ein Problem, wie zum Beispiel „dieser Button funktioniert nicht“, und er versucht, es zu beheben. In der Welt des Software-Engineerings wird dieser Roboter als Large Language Model (LLM) bezeichnet. Diese Modelle sind wie digitale Köche, die jedes Kochbuch in der Bibliothek gelesen haben; sie können komplexe Rezepte (Code) aus dem Nichts zusammenrühren. Aber hier liegt der knifflige Teil: Manchmal bedeutet das Reparieren eines Rezepts nicht nur, eine neue Zutat hinzuzufügen, sondern die alte, verdorbene Zutat wegzuwerfen. Wenn der Roboter zu viel Angst davor hat, Dinge wegzuwerfen, behält er vielleicht die verdorbene Zutat und fügt nur eine schicke Notiz hinzu: „Dies nicht essen“, anstatt sie tatsächlich zu entfernen. Diese Arbeit untersucht, ob diese KI-Roboter wirklich gut im „Wegwerfen“-Teil des Jobs sind oder ob sie einfach zu höflich sind, um etwas zu löschen.
Die Forscher der Queen's University beschlossen, diese KI-Coding-Assistenten einem sehr spezifischen Test zu unterziehen. Sie wollten sehen, ob die Modelle unter „Deletion Avoidance“ (Löschvermeidung) leiden. Stellen Sie sich das wie eine Hausrenovierung vor, bei der man eine Wand einreißen muss, um den Raum größer zu machen. Ein guter Bauunternehmer würde die Wand niederreißen. Ein schlechter könnte einfach einen Vorhang vor die Wand hängen und sagen: „Okay, die Wand ist jetzt weg“, obwohl die Ziegel noch da sind. Das Team fand heraus, dass die besten KI-Modelle tatsächlich schrecklich darin sind, Wände einzureißen. Selbst wenn sie die Tests bestehen, die besagen, dass „der Raum repariert ist“, lassen sie oft den alten Code dort sitzen, versteckt hinter einem Vorhang aus neuen Anweisungen.
Das Paper führt einen neuen Benchmark namens CanItDelete ein, der wie ein „Löschungs-Gym“ für diese Roboter ist. Sie haben alle anderen verwirrenden Aufgaben entfernt und die Modelle lediglich gebeten, spezifische Zeilen Code zu löschen. Die Ergebnisse waren augenöffnend. Selbst die besten KI-Modelle scheiterten daran, den Code in etwa jedem fünften Versuch korrekt zu löschen. Wenn sie versuchten zu löschen, löschten sie oft zu viel oder fügten zusätzlichen Junk-Code hinzu. Die Forscher entdeckten auch ein hinterlistiges Muster, das sie „Guard-and-Go“ nennen. Anstatt ein kaputtes Stück Code zu entfernen, behält die KI es, fügt aber einen „Guard“ (wie einen Sicherheitswächter) hinzu, der sagt: „Wenn du dieser spezifische Typ von Nutzer bist, ignoriere den kaputten Code.“ Dies führt dazu, dass die Tests bestehen, weil der kaputte Code nicht verwendet wird, aber der unordentliche Code den Projektverlauf weiterhin verstopft.
Um dies zu beheben, versuchte das Team ein kleines Experiment. Sie brachten einem der KI-Modelle gezielt bei, wie man Dinge löscht, indem sie ihm tausende Beispiele zeigten, in denen Code entfernt wurde. Dieses „Training“ half dem Modell, beim Löschen viel besser zu werden und reduzierte seine Fehler um etwa 14 %. Dies deutet darauf darauf hin, dass das Problem nicht darin besteht, dass die Roboter nicht löschen können, sondern dass sie einfach nicht genug darin geübt wurden. Das Paper kommt zu dem Schluss, dass die KI zwar großartig darin wird, neuen Code zu schreiben, aber immer noch lernen muss, die Kunst des Loslassens zu beherrschen. Bis dahin werden menschliche Reviewer wahrscheinlich weiterhin den digitalen Unrat beseitigen müssen, den die Roboter hinterlassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.