Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
Diese Arbeit bewertet die Wirksamkeit von Kontextdateien auf Repository-Ebene (wie AGENTS.md) für Coding-Agenten und stellt fest, dass diese entgegen der gängigen Praxis im Allgemeinen nicht dazu beitragen, die Erfolgsrate bei Aufgaben zu verbessern, während sie gleichzeitig die Inferenzkosten um über 20 % erhöhen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr klugen, aber noch etwas neuen Assistenten ein, um ein spezifisches Problem in Ihrer riesigen, unordentlichen Werkstatt zu lösen. Dieser Assistent ist ein KI-Coding-Agent.
Um Ihrem Assistenten zu helfen, beschließen Sie, ihm ein „Spickzettel“ oder eine „Gebrauchsanweisung“ (eine sogenannte AGENTS.md-Datei) auf die Werkbank zu legen. Dieses Handbuch soll dem Assistenten sagen:
- „Hier ist, wie diese Werkstatt organisiert ist.“
- „Hier sind die spezifischen Regeln, die wir beim Bauen befolgen.“
- „Hier ist der beste Weg, unsere speziellen Werkzeuge zu benutzen.“
Die große Frage, die das Papier stellt, lautet: Hilft das Hinterlassen dieses Spickzettels dem Assistenten tatsächlich dabei, den Job schneller und besser zu erledigen, oder verwirrt es ihn nur und verschwendet Zeit?
Die Forscher haben ein riesiges Experiment aufgebaut, um dies herauszufinden. Hier ist, was sie herausgefunden haben, einfach erklärt:
1. Das „Spickzettel“-Paradoxon
Das Team testete zwei Arten von Spickzetteln:
- Den vom Menschen geschriebenen: Geschrieben vom eigentlichen Werkstattbesitzer (dem Entwickler).
- Den KI-generierten: Geschrieben von einer anderen KI, nur weil das Agenten-Framework es so vorgesehen hatte.
Das Ergebnis: Überraschenderweise hat keine der beiden Arten von Spickzetteln dazu geführt, dass der Assistent den Job häufiger erfolgreich abschloss. Tatsächlich blieb die Erfolgsquote fast exakt gleich, egal ob der Spickzettel vorhanden war oder nicht.
2. Der „übervorsichtige“ Assistent
Obwohl die Spickzettel nicht dazu führten, dass der Assistent öfter die richtige Antwort fand, veränderten sie jedoch, wie der Assistent arbeitete.
- Ohne Spickzettel: Der Assistent sah sich um, probierte ein paar Dinge aus und löste das Problem.
- Mit Spickzettel: Der Assistent las den Spickzettel, nahm ihn sehr ernst und begab sich dann auf eine „Reise zur Recherche“. Er überprüfte mehr Dateien, führte mehr Tests durch und kontrollierte seine Arbeit doppelt und dreifach.
Der Haken: Diese zusätzliche „Gründlichkeit“ kostete Geld. Da der Assistent mehr Zeit mit Lesen und Testen verbrachte, stieg die Rechnung für die Zeit der KI um über 20 %. Es ist, als würde man einen Detektiv engagieren, der vor dem Lösen eines einfachen Sockenfallss ermittlungen die gesamte Enzyklopädie liest. Er ist sehr sorgfältig, aber teuer und nicht unbedingt schneller.
3. Die „Karte“ vs. die „Anweisungen“
Die Forscher fanden heraus, dass die Spickzettel tatsächlich zwei Funktionen hatten:
- Die „Karte“ (Überblick): Die meisten Spickzettel enthielten eine große Beschreibung der gesamten Werkstatt („Hier ist der Werkzeugschuppen, hier ist der Farbraum...“). Der Assistent las dies, aber es half ihm nicht, das richtige Werkzeug zu finden. Es war, als würde man jemandem eine detaillierte Karte einer Stadt geben, wenn er eigentlich nur wissen muss, an welcher Straßenecke er abbiegen muss.
- Die „Anweisungen“ (Regeln): Die Spickzettel enthielten auch spezifische Regeln („Benutze immer den roten Schraubenschlüssel“, „Nicht streichen, bevor geschliffen wurde“). Der Assistent folgte diesen Regeln perfekt. Er benutzte die spezifisch erwähnten Werkzeuge und befolgte die spezifischen Schritte.
4. Das Urteil: Weniger ist mehr (für den Moment)
Das Papier kommt zu dem Schluss, dass es derzeit eine Verschwendung von Geld ist, diese Spickzettel automatisch zu generieren.
- Wenn Sie eine KI verwenden, um den Spickzettel zu schreiben, fügt sie nur unnötiges „Geschwafel“ hinzu (lange Überblicke), das den Agenten verwirrt und Ihr Budget verbrennt.
- Wenn ein Mensch ihn schreibt, hilft er ein klein wenig mehr als die KI-Version, aber er verbessert die Erfolgsrate immer noch nicht signifikant.
Das Fazit:
Wenn Sie ein KI-Agent-Entwickler sind, werfen Sie Ihrem Agenten nicht einfach ein massives, KI-generiertes Handbuch hin. Es lässt ihn härter arbeiten und mehr kosten, ohne ihn schlauer zu machen.
Wenn Sie unbedingt einen Spickzettel benötigen, halten Sie ihn kurz. Fügen Sie nur die spezifischen, seltsamen Regeln hinzu, die nicht bereits offensichtlich im Code sind (wie „Benutze immer den roten Schraubenschlüssel“). Fügen Sie keine lange Geschichte der Werkstatt hinzu; der Agent kann das selbst herausfinden.
Kurz gesagt: Der Spickzettel macht den Agenten zu einem gehorsameren Schüler, der härter lernt, aber er macht ihn nicht zu einem besseren Schüler, der bessere Noten schreibt. Und härter zu lernen kostet mehr Studiengebühren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.