Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks
Diese Arbeit untersucht, wie Aufgabenspezifikationen den Token-Verbrauch in agentischen Coding-Workflows beeinflussen, wobei sie aufzeigt, dass übermäßig kurze Prompts die Kosten signifikant erhöhen, während sie gleichzeitig eine prädiktive Methode zur Schätzung der Token-Ausgaben über verschiedene Konfigurationen hinweg mit hoher Genauigkeit einführt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt der Softwareentwicklung ist eine neue Art von Arbeiter entstanden: der künstliche Intelligenz-Agent. Im Gegensatz zu einem einfachen Chatbot, der eine einzelne Frage beantwortet, sind diese Agenten darauf ausgelegt, komplexe, mehrstufige Aufgaben zu bewältigen, wie etwa das Beheben eines Fehlers in einem Computerprogramm oder das Erstellen eines neuen Features von Grund auf. Dies tun sie, indem sie eine Aufgabenbeschreibung lesen, über das Problem nachdenken, digitale Werkzeuge nutzen, um Code zu schreiben und zu testen, und diesen Prozess wiederholen, bis die Aufgabe erledigt ist. Diese Autonomie hat jedoch einen Preis. Jedes Mal, wenn die KI nachdenkt, liest oder schreibt, verbraucht sie digitale Ressourcen, die in „Tokens“ gemessen werden – den Basiseinheiten des Textes, die das Modell verarbeitet. Diese Tokens lassen sich direkt in Geld umrechnen. Da diese Agenten in realen Systemen immer häufiger eingesetzt werden, stehen Ingenieure vor der dringenden Frage: Wie viel wird es kosten, eine KI arbeiten zu lassen, ein Problem zu lösen, und lässt sich dieser Kostenaufwand kontrollieren?
Die Antwort ist nicht so einfach wie die Wahl eines günstigeren Computermodells. Jüngste Studien haben gezeigt, dass selbst dann, wenn einer KI exakt dieselben Anweisungen gegeben werden, die Ausgaben von einem Versuch zum nächsten stark variieren können. Manchmal können sich zwei identische Durchläufe derselben Aufgabe in den Kosten um den Faktor dreißig unterscheiden. Diese Unvorhersehbarkeit macht die Budgetierung schwierig. Darüber hinaus haben Forscher zwar untersucht, wie verschiedene KI-Modelle abschneiden, dabei aber weitgehend ignoriert, wie die Art und Weise, wie ein Mensch die Aufgabe beschreibt, den Preis verändert. Ein erfahrener Ingenieur schreibt vielleicht eine detaillierte, strukturierte Spezifikation für eine Fehlerbehebung, während ein Junior-Entwickler lediglich eine rohe Fehlermeldung hineinkopiert. Führen diese unterschiedlichen Beschreibungen zu unterschiedlichen Kosten, oder erledigt die KI die gleiche Arbeit, unabhängig davon, wie die Anfrage formuliert ist?
Um dies herauszufinden, führte ein Forscher der Stanford University ein groß angelegtes Experiment mit einem spezifischen KI-Modell namens Kimi K3 durch. Das Team wählte fünf verschiedene Software-Reparaturaufgaben aus einer Standard-Testsuite aus, die von Entwicklern verwendet wird. Für jede Aufgabe erstellten sie eine Vielzahl von Anweisungen, die von einem vollständigen, hochstrukturierten Dokument mit jeder möglichen Detailinformation bis hin zu einer minimalistischen Beschreibung mit fast keiner Information reichten. Sie testeten auch drei verschiedene Ebenen des „Denkaufwands“ (Thinking Effort), was im Wesentlichen steuert, wie intensiv die KI über das Problem nachdenkt, bevor sie handelt. Insgesamt ließen sie das System 2.700 Mal laufen und verfolgten dabei sorgfältig, wie viel Geld pro Versuch ausgegeben wurde und wie oft der Agent auf den Computer zugreifen musste, um Aufgaben zu erledigen.
Die Ergebnisse zeigten ein klares und überraschendes Muster. Die Art und Weise, wie eine Aufgabe beschrieben wird, hat einen massiven Einfluss auf die durchschnittlichen Kosten. Als die Forscher eine vollständige, detaillierte Spezifikation auf eine einfache, in Alltagssprache gehaltene Erzählung dessen herunterbrachen, was der Nutzer möchte, stiegen die Kosten für die Lösung des Problems um fast dreißig Prozent. Dies geschah konsistent bei jeder der getesteten Aufgaben. Es scheint, dass die KI mehr Zeit und Geld aufwenden muss, um die fehlenden Teile selbst herauszufinden, wenn sie nicht genügend spezifische Details erhält. Die Studie fand jedoch auch heraus, dass die Anweisungen die Unvorhersehbarkeit der Kosten nicht veränderten. Unabhängig davon, wie detailliert oder vage der Prompt war, blieb der Unterschied zwischen einem Durchlauf und dem nächsten in etwa gleich. Der Kostenaufwand eines einzelnen Versuchs ist von Natur aus instabil, und der einzige Weg, die Gesamtrechnung berechenbarer zu machen, besteht darin, die einzelnen Versuche günstiger zu gestalten.
Eine weitere wichtige Erkenntnis war, dass der Detailgrad der Anweisungen am meisten ins Gewicht fällt, wenn die KI über ein begrenztes Budget für das Nachdenken verfügt. Wenn die KI erlaubt ist, tiefgründig und extensiv nachzudenken, schrumpft der Kostenunterschied zwischen einem detaillierten Prompt und einem vagen. Dies deutet darauf hin, dass die KI die Lücken einer schlechten Beschreibung selbst ausfüllen kann, wenn man ihr genug Zeit zum Nachdenken gibt; wenn man jedoch ihre Denkzeit einschränkt, wird ein klarer und detaillierter Prompt essenziell, um Geld zu sparen. Die Forscher fanden auch heraus, dass das Entfernen spezifischer Abschnitte einer Aufgabenbeschreibung, wie etwa der Liste der Randfälle (Edge Cases) oder der Erfolgskriterien, für sich genommen nur einen geringen Effekt hatte, während das Entfernen der gesamten User Story oder der Test-Szenarien zu einem dramatischen Kostenanstieg führte.
Die wohl praktischste Erkenntnis für jeden, der diese Werkzeuge nutzt, ist eine Methode zur Vorhersage der Kosten für neue Aufgaben. Das Team zeigte, dass man eine Aufgabe nicht dutzendfach durchlaufen muss, um zu wissen, wie viel sie kosten wird. Durch einen einzigen, kostengünstigen Test an einem neuen Problem konnten sie die Kosten desselben Problems unter vielen verschiedenen Instruktionsstilen und Denk-Einstellungen mit angemessener Genauigkeit vorhersagen. Ohsne diesen einzelnen Test wäre jede Schätzung über die Kosten einer neuen Aufgabe wahrscheinlich um mehr als einhundert Prozent daneben gelegen. Mit nur einer kleinen Messung sank der Fehler auf etwa sechsunddreißig Prozent. Dies bedeutet, dass Ingenieure die finanziellen Auswirkungen ihrer Entscheidungen schnell abschätzen können, ohne Ressourcen durch umfangreiche Versuche und Irrtümer zu verschwenden.
Die Studie kommt zu dem Schluss, dass das Verhalten der KI zwar von Natur aus unvorhersehbar ist, die Kosten ihrer Arbeit jedoch stark davon beeinflusst werden, wie Menschen die Anfrage formulieren. Eine gut strukturierte, detaillierte Aufgabenbeschreibung kann das ausgegebene Geld signifikant reduzieren, insbesondere wenn die KI nicht über unbegrenzte Zeit zum Nachdenken verfügt. Die Forschung legt nahe, dass der effektivste Weg, diese Kosten zu verwalten, nicht darin besteht, die Zufälligkeit der KI zu eliminieren, sondern die Aufgabenbeschreibungen sorgfältig zu gestalten und einen einzelnen, kostengünstigen Test zu verwenden, um die Erwartungen für neue Jobs zu kalibrieren. Während diese Agenten immer stärker in den Arbeitsalltag integriert werden, wird das Verständnis der Beziehung zwischen den Worten, die wir verwenden, und dem Geld, das wir ausgeben, genauso wichtig sein wie der Code, den sie schreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.