Don't Blame the Large Language Model: How Agent Harness Evolution Shapes Coding Agent Quality
Diese Arbeit präsentiert die erste kontrollierte Längsschnittstudie, die nachweist, dass die schnelle Evolution der Agent-Harnesses und nicht die zugrunde liegenden Large Language Models der primäre Treiber für Qualitätsschwankungen bei Coding-Agenten ist, wie eine tiefgehende Analyse von 35 aufeinanderfolgenden Releases des Qwen Code CLI belegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Computer nicht einfach nur darauf wartet, dass Sie Befehle eintippen, sondern die Arbeit tatsächlich für Sie erledigt. Dies ist die Ära der „Coding Agents“ – intelligenter, autonomer Programme, die Code lesen, Fehler beheben und sogar eigenständig neue Software schreiben können. Aber hier ist das Geheimrezept: Diese Agenten sind nicht nur das Gehirn (das riesige KI-Modell); sie benötigen auch einen Körper und ein Nervensystem, um zu funktionieren. Dieser Körper wird als „Agent Harness“ bezeichnet. Betrachten Sie das KI-Modell als ein brillantes, aber faules Genie, das einen Manager braucht, der ihm die richtigen Werkzeuge reicht, ihn an die Regeln erinnert und seine Gedanken ordnet. Das Harness ist dieser Manager. Es entscheidet, welche Werkzeuge die KI nutzen darf, wie viele Informationen sie erhält und wie sie in einer Schleife zurückkehrt und es erneut versucht, falls der erste Versuch fehlschlägt. Alle gehen davon aus, dass der Genius klüger und schneller arbeitet, wenn man ständig bessere Manager einstellt und das Büro aufwertet. Aber was, wenn der Manager die Dinge eigentlich verschlimmert, indem er zu viele Regeln oder verwirrende Anweisungen hinzufügt? Das ist die große Frage, die dieses Paper stellt: Während diese „Manager“-Systeme ständig aktualisiert werden, helfen sie der KI tatsächlich dabei, eine bessere Arbeit zu leisten, oder machen sie sie nur langsamer und teurer?
Die Autoren dieses Papers beschlossen, Detektiv zu spielen, um ein Rätsel zu lösen, über das sich Softwareentwickler beschweren. Sie bemerkten, dass diese Coding Agents oft mehr Fehler machten oder viel länger für die Erledigung von Aufgaben brauchten, wann immer sie ein Update erhielten. Die Leute gaben meist dem KI-Gehirn selbst die Schuld und dachten, das Modell sei dümmer geworden. Doch die Forscher vermuteten den wahren Übeltäter im „Manager“ (dem Harness), der zu oft seine Meinung änderte. Um dies zu beweisen, bauten sie ein sehr strenges Experiment auf. Sie wählten ein ganz bestimmtes KI-Modell aus und sperrten es in einen Käfig, damit es sich gar nicht verändern konnte. Dann nahmen sie die „Manager“-Software (speziell das Qwen Code CLI) und ließen sie durch 35 verschiedene Versionen laufen, von der allerersten Veröffentlichung bis zur neuesten. Für jede Version gaben sie dem Agenten 50 reale Programmierrätsel zum Lösen, wobei sie jedes Mal exakt dasselbe KI-Gehirn verwendeten.
Die Ergebnisse waren überraschend und ein wenig amüsant. Trotz der Tatsache, dass die „Manager“-Software ständig aktualisiert wurde – manchmal wurden neue Versionen mehr als zweimal täglich veröffentlicht –, verbesserte sich die Fähigkeit der KI, die Rätsel tatsächlich zu lösen, nicht. Tatsächlich blieb die Erfolgsquote in etwa gleich und pendelte sich unabhängig davon, wie oft sie die Software aktualisierten, bei etwa 30 % ein. Die frühen Versionen waren genauso gut darin, Fehler zu beheben, wie die schicken, neuen, komplizierten Versionen. Es gab jedoch einen riesigen Haken: Die neueren Versionen waren unglaublich verschwenderisch. Die neuesten Versionen des Managers ließen die KI fast doppelt so viele „Tokens“ (die wie der Treibstoff oder die Währung sind, die die KI zum Denken verbrennt) verbrauchen und führten doppelt so viele Tool-Aufrufe durch wie die alten Versionen. Es war, als würde man einen Automotor zu einer superkomplexen Version aufrüsten, die doppelt so viel Benzin verbraucht, aber das Auto nicht schneller fahren lässt.
Die Forscher gruben tiefer, um herauszufinden, warum das passierte. Sie untersuchten die Code-Änderungen in der Manager-Software und fanden heraus, dass die KI verwirrt wurde und mehr Energie verschwendete, wenn die Entwickler viele neue Funktionen hinzufügten oder versuchten, viele kleine Bugs gleichzeitig zu beheben. Sie entdeckten auch, dass bestimmte Teile des „Körpers“ des Managers gefährlich anzurühren waren. Die Änderung der Art und Weise, wie die KI mit ihrem Gehirn spricht (die „LLM Provider“-Schicht), oder wie sie sich Dinge merkt (die „Context Management“-Schicht), führte oft dazu, dass der Agent stolperte und scheiterte. Andererseits schien das Beheben von Sicherheitslücken oder das Hinzufügen einfacher Erweiterungen sicher zu sein. Der größte Schock? Das Softwareteam hatte keine Möglichkeit zu wissen, dass diese Probleme auftraten. Ihre automatischen Tests prüften nur, ob die Software abstürzte, nicht ob die KI tatsächlich eine gute Arbeit leistete oder Geld verschwendete. Es war wie eine Fabrik, die nur prüft, ob das Fließband läuft, aber nie prüft, ob die Autos, die vom Band kommen, tatsächlich Räder haben.
Am Ende legt das Paper nahe, dass wir aufhören müssen, das KI-Gehirn für diese Fehler verantwortlich zu machen. Das eigentliche Problem ist, dass sich die „Manager“-Software zu schnell entwickelt, ohne eine ordentliche Qualitätskontrolle zu durchlaufen. Die Entwickler fügen so viele Funktionen und Änderungen hinzu, dass die KI ins Stocken gerät und mehr Ressourcen verbraucht, um exakt dieselben Ergebnisse wie zuvor zu erzielen. Die Autoren fordern eine neue Art der „Qualitätssicherung“, die spezifisch prüft, ob der Agent nach jedem Update immer noch effizient und effektiv ist, anstatt nur zu prüfen, ob er noch startet. Bis dahin könnte das Upgrade dieser Coding Agents lediglich bedeuten, mehr für die gleiche Leistung zu bezahlen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.