Prompt-Induced Waste in Large Reasoning Models: A Preregistered Two-Harness Benchmark of Coding Agents
Diese vorregistrierte Benchmark-Studie zeigt, dass die Formulierung von Prompts und das Harness-Design die Reasoning-Kosten großer Coding-Agenten signifikant aufblähen – oft um das 2,4- bis 30-fache – ohne den Aufgabenerfolg zu verbessern, wobei spezifische Anweisungen wie „entwickle mehrere Ansätze“ und bestimmte Harness-Architekturen die primären Treiber dieser Ineffizienz sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen superintelligenten Roboter-Assistenten ein, um einen kaputten Toaster zu reparieren. Sie wollen nicht nur, dass der Roboter den Toaster repariert; Sie wollen, dass er zuerst darüber nachdenkt, wie er ihn repariert. In der Welt der Künstlichen Intelligenz werden diese „Denkschritte“ als Reasoning Tokens bezeichnet. Genau wie ein Mensch vielleicht Notizen macht, Dinge durchstreicht und verschiedene Ideen ausproft, bevor er ein Rätsel löst, verbringen diese KI-Modelle Zeit und Geld damit, zu „überlegen“, bevor sie Ihnen eine Antwort geben.
Aber hier ist der Haken: Sie bezahlen für jeden einzelnen Gedanken, den der Roboter hat, selbst die, die er wegwirft. Wenn Sie den Roboter bitten, „richtig tief nachzudenken“ oder „fünf verschiedene Wege auszuprobieren“, wird er genau das tun und Ihr Budget aufbrauchen, ohne den Toaster besser zu reparieren, als wenn Sie ihn einfach nur gebeten hätten, „den Toister zu reparieren“. Dieses Paper untersucht eine seltsame Ecke der Informatik, in der Forscher wie Detektive versuchen herauszufinden, welche Wörter in Ihren Anweisungen den Roboter Geld verschwenden lassen und welche Wörter ihn auf einem engen Budget halten. Sie raten nicht nur; sie führen Tausende von kontrollierten Experimenten durch, um genau zu sehen, wie viel verschiedene Phrasen kosten.
Das Große Prompt-Experiment: Warum Ihre Worte Geld kosten
Stellen Sie sich vor, Sie haben eine Flotte von sechs verschiedenen superintelligenten Roboter-Köchen. Sie möchten sie bitten, Code zu schreiben (was wie ein Rezept für einen Computer ist), um 24 spezifische Kochherausforderungen zu lösen. Aber es gibt einen Haken: Sie müssen für jeden einzelnen Gedanken bezahlen, den die Köche haben, während sie kochen. Die Forscher wollten wissen: Ändert die Art und Weise, wie Sie Ihre Bestellung formulieren, wie viel die Köche denken, und hilft dieses Denken tatsächlich dabei, dass das Gericht besser schmeckt?
Um dies herauszufinden, bauten sie ein riesiges, superorganisiertes Küchenlabor auf. Sie raten nicht einfach nur; sie schrieben ihre Regeln auf, bevor sie mit dem Kochen begannen (das nennt man „Preregistration“, also wie ein Menü vor dem Einkauf im Supermarkt festzulegen). Sie verwendeten zwei verschiedene Arten von Küchenmanagern (sogenannte „Harnesses“), um mit den Köchen zu kommunizieren: Der eine war ein direkter, sachlicher Manager, und der andere ein sehr gesprächiger, detaillierter Manager, der bei jeder Bestellung eine riesige Menge an Hintergrundinformationen mitschickte.
Hier ist das, was sie nach über 4.600 Kochsessions herausgefunden haben:
1. Die „Versuch alles“-Falle
Der größte Geldverschwender? Dem Roboter zu sagen: „Entwickle mehrere Ansätze und vergleiche sie.“
Das klingt klug, oder? Wie ein guter Koch, der drei Saucen probiert, bevor er sich für eine entscheidet. Aber für diese KI-Roboter war diese Anweisung ein Desaster. Sie ließ sie 2,4- bis 7,4-mal mehr denken als üblich. Und das Schlimmste daran? Das fertige Gericht (der Code) war nicht besser. Sie haben einfach zusätzliches Geld dafür verbrannt, Optionen zu durchdenken, die sie nie verwendet haben. Es ist, als würde man einen Koch dafür bezahlen, drei verschiedene Rezepte für ein Sandwich zu schreiben, alle zu probieren und Ihnen dann dasselbe Sandwich zu servieren, das er auch gemacht hätte, wenn Sie ihn nur nach „einem Sandwich“ gefragt hätten.
2. Die magischen Worte, die nichts bewirken
Menschen sagen oft „denke Schritt für Schritt“ oder „denke tiefgründig“, um bessere Ergebnisse zu erzielen. Die Forscher fanden heraus, dass diese „tiefgründigen Denk“-Zauberworte für diese Coding-Roboter reine Verschwendung waren. Sie ließen die Roboter 1,6- bis 2,2-mal länger denken, ohne das Ergebnis zu verbessern. Es ist, als würde man einem Taschenrechner sagen, er solle „richtig tief nachdenken“, bevor er 2 + 2 rechnet; die Antwort ist dieselbe, aber Sie haben für die zusätzliche Denkzeit bezahlt.
3. Der „Bounded Efficiency“-Hack
Auf der anderen Seite gab es eine Geheimzutat, die Geld sparte. Wenn man dem Roboter einen strengen Rahmen vorgab – indem man ihm genau sagte, was das Ziel war, was die Regeln waren und wann er aufhören sollte – dachte er tatsächlich weniger. Ein Roboter halbierte sogar seine Denkzeit! Diese „Bounded Efficiency“-Vorlage war kostenlos nutzbar und machte die Roboter schneller und günstiger, ohne den Code zu beeinträchtigen.
4. Der Manager zählt mehr als der Koch
Eine der überraschendsten Entdeckungen war, dass wen Sie engagieren, um den Roboter zu managen, wichtiger ist als der Roboter selbst.
Sie testeten denselben Roboter mit zwei verschiedenen Managern. Ein Manager (PI.DEV) war effizient. Der andere (Claude Code) war wie ein Mikromanager, der bei jeder Nachricht eine massive, 12- bis 15-mal größere „Einleitungssendung“ mitschickte. Selbst wenn die Roboter das Problem perfekt lösten, kostete die Micromanager-Version 5- bis 30-mal mehr, nur wegen der Art und Weise, wie das Gespräch geführt wurde. Es stellt sich heraus, dass der „Manager“ (die Software, die die KI umgibt) oft den größten Teil der Rechnung ausmacht, nicht die KI selbst.
5. Die Illusion des „Versteckten Rabatts“
Die Forscher untersuchten auch, wie die Unternehmen diese Roboter berechnen. Sie fanden heraus, dass die Unternehmen automatisch Geld sparen, indem sie sich an die „Einleitungssendung“ erinnern, die sie jedes Mal senden. Dies sparte etwa 61 % der Rechnung. Aber die Forscher warnten: Nennen Sie das nicht „Effizienz“. Es ist nur ein Rabatt auf dieselbe alte Arbeit. Der Roboter hat nicht wirklich schneller oder klüger gearbeitet; das Unternehmen hat lediglich die Teile, die es sich gemerkt hat, nicht in Rechnung gestellt.
6. Neue Roboter, die alten Tricks
Als ein brandneuer, superschneller Roboter (Kimi-K3) veröffentlicht wurde, testeten die Forscher ihn sofort. Obwohl dieser neue Roboter von Natur aus günstiger im Betrieb war, ließen dieselben schlechten Anweisungen (wie „versuche mehrere Ansätze“) ihn 15-mal mehr Geld verschwenden als üblich. Die Lektion? Egal wie smart oder günstig der Roboter auch ist, schlechte Anweisungen werden ihn immer dazu bringen, zu viel auszugeben.
Das Fazit
Dieses Paper beweist, dass wie Sie eine Frage stellen, verändert, wie viel sie kostet, selbst wenn die Antwort dieselbe ist.
- Sagen Sie dem Roboter nicht, er solle „viele Ansätze versuchen“ oder „tief nachdenken“, es sei denn, Sie benötigen diese Funktionen tatsächlich.
- Geben Sie ihm stattdessen klare Grenzen und eine Abbruchbedingung.
- Denken Sie daran, dass die Software, die den Roboter verwaltet, Sie mehr kosten könnte als der Roboter selbst.
Die Forscher haben alle ihre Daten, Codes und Testrezepte öffentlich zugänglich gemacht. Sie wollen, dass alle wissen, dass in der Welt der KI-Agenten weniger „Thinking Theater“ und klarere Anweisungen der beste Weg sind, um Geld zu sparen und die Aufgabe zu erledigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.