Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories
Dieses Paper präsentiert eine kontrollierte Ablationsstudie, die zeigt, dass persistente Kontextdateien (z. B. AGENTS.md) die Korrektheit von Coding-Agenten nicht messbar verbessern, da Fehler auf Defizite in der Implementierungsfertigkeit zurückzuführen sind und nicht auf fehlendes Repository-Wissen, während gleichzeitig vorangegangene widersprüchliche Befunde durch agentenspezifische Variationen der Aufgabenkomplexität erklärt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der digitale Bibliothekar gegen den Meisterbaumeister
Stellen Sie sich vor, Sie versuchen, einem superintelligenten, aber brandneuen Roboter-Assistenten beizubringen, wie man eine komplexe Maschine in einer riesigen, unordentlichen Werkstatt repariert. Sie haben zwei Möglichkeiten, ihm dabei zu helfen. Erstens könnten Sie ihm eine detaillierte Karte der Werkstatt geben, eine Liste von Regeln darüber, wie Werkzeuge zu verwenden sind, und einen Leitfaden darüber, wie sich die Maschine normalerweise verhält. In der Welt der Computerprogrammierung nennt man das eine „Kontextdatei“ (oft benannt als AGENTS.md oder CLAUDE.md). Es ist wie ein Klebezettel auf dem Schreibtisch des Roboters, auf dem steht: „Denk daran, wir benutzen hier immer rote Schrauben!“
Zweitens könnten Sie den Roboter einfach in die Werkstatt wandern lassen und ihn die Dinge selbst herausfinden lassen, indem er die Maschine selbst untersucht.
Lange Zeit waren die Menschen, die diese KI-Coding-Assistenten bauen, besessen von der ersten Option. Sie verbringen Stunden damit, diese Bedienungsanleitungen zu schreiben, in dem Glauben, dass der Roboter besseren Code schreiben würde, wenn er die Regeln nur besser kennen würde. Aber hier ist die große Frage: Macht das Lesen der Anleitung den Roboter tatsächlich zu einem besseren Baumeister, oder sorgt sie nur dafür, dass der Roboter sich selbstbewusster fühlt, während er immer noch dieselben Fehler macht? Dies ist das Rätsel, das eine neue Studie lösen wollte: Sie testete, ob diese digitalen Bedienungsanleitungen die magischen Schlüssel für besseres KI-Coding sind oder nur viel unnötiges Papier.
Der große Manual-Test
In dieser Studie agierten die Forscher wie strenge Naturwissenschaftslehrer. Sie nahmen zwei der derzeit klügsten KI-Coding-Agenten, die verfügbar sind – einen von einer Firma namens Anthropic (genannt Claude) und einen von OpenAI (Codex) – und gaben ihnen eine Reihe von realen Coding-Herausforderungen. Dies waren keine künstlichen Hausaufgaben; es waren tatsächliche Aufgaben aus echten Softwareprojekten, wie etwa das Beheben von Fehlern in einem Cloud-Toolkit oder das Anpassen eines Compilers.
Um zu sehen, ob das „Handbuch“ half, ließen sie dieselbe Aufgabe drei verschiedene Male für jeden Roboter durchführen:
- Der „Ohne Notizen“-Lauf: Der Robot erhielt die Aufgabe, aber kein Handbuch.
- Der „Immer An“-Lauf: Dem Roboter wurde das vollständige Handbuch bei jedem einzelnen Schritt direkt in sein Gehirn gepresst.
- Der „On-Demand“-Lauf: Der Roboter hatte eine Bibliothek mit kleineren, organisierten Notizen, die er lesen konnte, falls er stecken blieb.
Sie führten dieses Experiment insgesamt 288 Mal durch und überprüften den fertigen Code gegen einen verborgenen „Goldstandard“, um zu sehen, ob er tatsächlich funktionierte.
Die große Überraschung: Handbücher reparieren kein schlechtes Bauen
Die Ergebnisse waren ein Schock für die Menschen, die diese Handbücher schreiben. Die Studie ergab, dass das Vorhandensein der Kontextdatei fast keinen Unterschied darin machte, ob die KI den Job richtig erledigte.
Ob der Roboter das Handbuch, die Bibliothek oder gar nichts hatte, die Erfolgsquote blieb in etwa gleich. Für den Claude-Roboter änderte das Handbuch das Ergebnis um nicht mehr als 10 Prozentpunkte. Für den Codex-Roboter änderte es das Ergebnis um nicht mehr als 15 Prozentpunkte. In der Wissenschaft nennen wir das ein „Nullergebnis“ – es bedeutet, dass das, was wir für wichtig hielten, nicht wichtig ist.
Die Forscher gruben tiefer, um herauszufinden, warum die Handbücher nicht halfen. Sie untersuchten die Fälle, in denen die Roboter fast die richtige Antwort gefunden hätten, aber dennoch scheiterten. Sie fanden heraus, dass die Roboter nicht scheiterten, weil ihnen eine Information aus dem Handbuch fehlte (wie „benutze keine roten Schrauben“). Stattdessen scheiterten sie, weil es ihnen an Baufertigkeiten mangelte.
Stellen Sie sich das so vor: Wenn Sie einem brillanten Architekten einen perfekten Bauplan für ein Haus geben, er aber nicht weiß, wie man einen Ziegel legt oder einen Lichtschalter verkabelt, wird der Bauplan ihn nicht retten. Die KI-Agenten in der Studie waren gut im Lesen, aber sie stolperten über das eigentliche Tun. Sie hatten Schwierigkeiten beim Entwerfen von Funktionen, beim Wählen der richtigen Muster und beim korrekten Verbinden der Teile. Das Handbuch konnte ihnen nicht das Bauen lehren; es konnte ihnen nur sagen, wie das Gebäude aussieht.
Die Wendung: „Einheitsgröße passt nicht für alle“
Es gab noch eine weitere faszinierende Entdeckung. Die Forscher bemerkten, dass eine Aufgabe, die für den einen Roboter super einfach war, für den anderen unglaublich schwer sein konnte und umgekehrt. Es ist wie bei Menschen, die gut darin sind, Mathe-Rätsel zu lösen, aber schrecklich im Jonglieren sind, während ihr Freund das Gegenteil ist.
Aufgrund dessen deutet die Studie darauf hin, dass frühere Forschungen verwirrt gewesen sein könnten. Wenn ein Wissenschaftler die Handbücher an einem Roboter testete, für den die Aufgaben einfach waren, und ein anderer Wissenschaftler sie an einem Roboter testete, für den die Aufgaben schwer waren, würden sie unterschiedliche Ergebnisse erhalten. Der „Sweet Spot“, an dem ein Handbuch tatsächlich helfen könnte, scheint für jedes KI-Gehirn unterschiedlich zu sein.
Haben die Handbücher überhaupt etwas bewirkt?
Waren die Handbücher also völlig nutzlos? Nicht ganz, aber die Vorteile waren sehr spezifisch und gering.
- Geschwindigkeit und Kosten: Bei einem speziellen Projekt stoppte der Roboter, wenn er das Handbuch hatte, unnötige, langsame Tests. Es war, als hätte der Roboter ein Schild gelesen mit „Dieser Test dauert 20 Minuten“ und sich entschieden, ihn zu überspringen. Dies sparte Zeit, machte den Code aber nicht besser.
- Der „Beinahe-Treffer“-Test: Die Forscher führten ein spezielles Experiment durch, bei dem sie Aufgaben, die die Roboter fast gelöst hatten, nahmen und ihnen das echte, hochwertige Handbuch gaben, um zu sehen, ob dies sie über die Ziellinie bringen würde. Es tat es nicht. Selbst mit den besten Anweisungen konnten die Roboter einen „Beinahe-Treffer“ nicht in einen „Erfolg“ verwandeln.
Das Fazend
Die Studie kommt zu dem Schluss, dass es für die getesteten KI-Coding-Agenten wahrscheinlich nicht viel bringt, Stunden damit zu verbringen, perfekte Bedienungsanleitungen (AGENTS.md) zu schreiben, um besseren Code zu schreiben. Das Problem ist nicht, dass die Roboter die Regeln nicht kennen; das Problem ist, dass sie besser im eigentlichen Handwerk des Softwarebauens werden müssen.
Während diese Handbücher den Robotern helfen könnten, ein wenig schneller zu arbeiten oder ein winziges bisschen Geld zu sparen, indem sie schlechte Gewohnheiten vermeiden, sind sie kein Zauberstab, der kaputten Code repariert. Wenn Sie möchten, dass Ihr KI-Assistent ein besserer Baumeister wird, legt die Studie nahe, dass Sie bessere Ergebnisse erzielen könnten, indem Sie die Aufgaben in kleinere Schritte unterteilen oder ihm bessere Beispiele für das Bauen geben, anstatt ihm einfach nur mehr Regeln zum Lesen zu geben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.