The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI
Dieses Paper argumentiert, dass die Optimierung der Orchestrierungsschicht (das „Harness“) entscheidender für die Kontrolle der Kosten von Agentic AI in Unternehmen ist als die Modellauswahl, und demonstriert durch eine kontrollierte Studie, dass ein überlegenes Harness den Token-Verbrauch um 38 % und die Kosten um 41 % über verschiedene Modelle hinweg senken kann, während die Aufgabenqualität beibehalten oder sogar verbessert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie führen ein geschäftiges Restaurant. In diesem Restaurant sind die Köche die KI-Modelle (wie Claude, Gemini oder Qwen) und die Bestellungen sind die Aufgaben, die Sie erledigen möchten.
Schon lange ist die Restaurantbranche besessen davon, „Super-Köche“ einzustellen, die tiefer und schneller denken können. Aber es gibt ein Problem: Selbst wenn man die besten Köche hat, waren die Kellner (die Software, die die Bestellungen verwaltet) unglaublich ineffizient.
Dieses Paper, geschrieben von einem Team bei Writer, Inc., argumentiert, dass das wahre Geheimnis zum Geld- und Zeitsparen nicht darin besteht, einen besseren Koch zu kaufen. Es geht darum, die Kellner zu reparieren. Sie nennen diese Lösung das „Harness“ (das Geschirr/die Vorrichtung).
Hier ist die Geschichte dessen, was sie herausgefunden haben, einfach erklärt:
1. Das Problem: „Token Maxing“ (Der gierige Kellner)
In der Welt der KI sind „Tokens“ wie die Währung, mit der Sie für jedes Wort bezahlen, das die KI liest oder schreibt.
- Der alte Weg: Stellen Sie sich einen Kellner vor, der jedes Mal, wenn der Koch nachdenken muss, die gesamte Geschichte des Tages im Restaurant (jede Bestellung, jedes Gespräch, jede Speisekarte) zurück in die Küche bringt. Wenn der Koch um eine zweite Meinung bittet, bringt der Kellner die gesamte Geschichte erneut mit.
- Das Ergebnis: Die Küche wird mit Papier überflutet. Der Koch verbringt seine Zeit damit, alte Notizen zu lesen, anstatt zu kochen. Man zahlt ein Vermögen an „Tokens“, nur um den Kellner beschäftigt zu halten. Die Autoren nennen dies „Token Maxing“: Man kauft immer mehr Tokens in der Hoffnung auf bessere Ergebnisse, aber man bezahlt eigentlich nur dafür, dass der Kellner zu viel Gewicht trägt.
2. Die Lösung: Das „Harness“ (Der smarte Kellner)
Die Autoren entwickelten ein neues Art von Kellner-System namens Writer Agent Harness. Anstatt alles auf den Koch zu werfen, ist dieses System klug dabei, was es in die Küche bringt.
Man kann es sich wie ein smartes Ablagesystem vorstellen:
- Der „Stabile“ Ordner: Der Kellner bewahrt die Dinge auf, die sich nie ändern (wie die Speisekarte und die Identität des Kochs), in einem speziellen, gesperrten Ordner auf, den die Küche sofort einsehen kann, ohne extra dafür zu bezahlen.
- Der „Volatile“ Ordner: Die Dinge, die sich jede Sekunde ändern (wie die aktuelle Uhrzeit oder eine spezifische Kundenanfrage), werden in einem kleinen, frischen Notizblock aufbewahrt.
- Der „Zusammenfassungs“-Trick: Wenn das Gespräch zu lang wird, bringt der Kellner nicht das ganze Buch mit. Er schreibt eine einseitige Zusammenfassung dessen, was zuvor geschah, und bringt nur diese mit.
- Der „Delegations“-Trick: Wenn eine Aufgabe zu groß ist, versucht der Hauptkellner nicht, alles selbst zu machen. Er schickt einen kleineren, spezialisierten Helfer, um einen Teil der Aufgabe zu erledigen, und bringt nur das Endergebnis zurück.
3. Das große Experiment
Um zu beweisen, dass dies funktioniert, führten die Autoren einen fairen Test durch. Sie nahmen sechs verschiedene Top-KI-Köche (aus verschiedenen Unternehmen) und gaben ihnen dieselbe schwierige Aufgabe (22 Aufgaben).
- Gruppe A: Nutzte den „alten Weg“ (den ineffizienten Kellner).
- Gruppe B: Nutzte das „Harness“ (den smarten Kellner).
- Die Regel: Die Köche waren exakt dieselben. Die Aufgaben waren exakt dieselben. Das Einzige, was sich änderte, war der Kellner.
4. Die Ergebnisse: Ein Wunder der Effizienz
Die Ergebnisse waren schockierend. Allein durch den Wechsel des Kellners (des Harness) erzielten sie massive Verbesserungen in allen Bereichen:
- Kosten: Die Rechnung sank um 41 %. Es kostete fast halb so viel, um dieselbe Arbeit zu erledigen.
- Geschwindigkeit: Die Aufgaben wurden 44 % schneller abgeschlossen.
- Token-Nutzung: Sie verwendeten 38 % weniger Tokens.
- Qualität: Die Qualität des Essens (der Antwort) blieb gleich oder wurde sogar leicht besser.
Der überraschendste Teil? Es spielte keine Rolle, welchen Koch man engagierte. Ob man den teuersten, leistungsstärksten Koch oder einen günstigeren, schnelleren nutzte – der „smarte Kellner“ machte sie alle billiger und schneller. Tatsächlich sparte die Reparatur des Kellners mehr Geld, als der Wechsel vom teuersten zum günstigsten Koch bewirkt hätte!
5. Die „Harness Leverage“ (Der Hebel des Harness)
Das Paper fand ein interessantes Muster: Je besser der Koch von vornherein war, desto mehr profitierte er vom smarten Kellner.
- Ein super-intelligenter Koch + ein smarter Kellner = Erstaunliche Ergebnisse.
- Ein schwächerer Koch + ein smarter Kellner = Immer noch gut, aber sie können etwas verwirrt sein, wenn der Kellner versucht, zu viel komplexe Delegation zu übernehmen.
Das Fazit
Lange Zeit dachten Unternehmen, der einzige Weg zu besserer KI bestehe darin, mächtigere Modelle zu kaufen. Dieses Paper sagt: Stopp.
Der größte Hebel, den man bewegen kann, ist die Art und Weise, wie man die Arbeit organisiert. Wenn Sie ein smartes „Harness“ bauen, das den Kontext verwaltet, das Langweilige zwischenspeichert (caching) und die schwere Arbeit delegiert, können Sie das gleiche (oder ein besseres) Ergebnis für halb so viel Geld erzielen, unabhängig davon, welches KI-Modell Sie verwenden.
Es geht nicht darum, den größten Motor zu haben; es geht darum, das beste Getriebe zu besitzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.