🤖 AI

The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI

Dit artikel betoogt dat het optimaliseren van de orchestratielaag (de "harness") belangrijker is dan modelselectie voor het beheersen van de kosten van Agentic AI binnen ondernemingen, waarbij via een gecontroleerde studie wordt aangetoond dat een superieure harness het tokenverbruik met 38% en de kosten met 41% kan verminderen over diverse modellen heen, terwijl de kwaliteit van de taken gelijk blijft of verbetert.

Oorspronkelijke auteurs: Muayad Sayed Ali, Aliaksandra Novik, Anji Boddupally, Artem Yavorskyi, Chris Nickerson, Daniel Rica, Emily DuGranrut, Felix Leung, Garrett Prince, Grace Barnett, Heath Robinson, Hosain Al Ahmad, Jesse

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Muayad Sayed Ali, Aliaksandra Novik, Anji Boddupally, Artem Yavorskyi, Chris Nickerson, Daniel Rica, Emily DuGranrut, Felix Leung, Garrett Prince, Grace Barnett, Heath Robinson, Hosain Al Ahmad, Jesse Resnick, Juan Carlos Farah, Jyothi Swaroop Meruga, Leonid Kuznetsov, Luke Gorham, Marie Schmoll, Michael Paciullo, Saumya Das, Sharath Sheripally, Tommy Griscom, Mykyta Osadchyi, Neha Mantri, Nick Westrum, Olivia Benowitz, Parikshith Kulkarni, Radik Chernyshov, Rakshith Vasudev, Rohith Nadimpally, Vikas Gangadevi, Waseem AlShikh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een druk restaurant runt. In dit restaurant zijn de chefs de AI-modellen (zoals Claude, Gemini of Qen) en de bestellingen zijn de taken die je ze wilt laten uitvoeren.

Lama tijd heeft de restaurantindustrie zich gefocust op het inhuren van "super-chefs" die dieper en sneller kunnen denken. Maar er is een probleem: zelfs met de beste chefs waren de obermannen (de software die de bestellingen beheert) ongelooflijk inefficiënt geweest.

Dit artikel, geschreven door een team bij Writer, Inc., betoogt dat het echte geheim om geld en tijd te besparen niet alleen het kopen van een betere chef is. Het gaat erom de obers te verbeteren. Ze noemen deze oplossing de "Harness" (het Tuig).

Hier is het verhaal van wat ze ontdekten, eenvoudig uitgelegd:

1. Het Problek: "Token Maxing" (De Gulzige Ober)

In de wereld van AI zijn "tokens" als de munteenheid die je betaalt voor elk woord dat de AI leest of schrijft.

De Oude Manier: Stel je een ober voor die, elke keer dat een chef moet nadenken, de volledige geschiedenis van de dag in het restaurant (elke bestelling, elk gesprek, elk menu) weer naar de keuken brengt. Als de chef om een tweede mening vraagt, brengt de ober de hele geschiedenis opnieuw mee.
Het Resultaat: De keuken raakt overspoeld met papier. De chef besteedt al zijn tijd aan het lezen van oude aantekeningen in plaats van aan het koken. Je betaalt een fortuin aan "tokens" alleen maar om de ober bezig te houden. De auteurs noemen dit "Token Maxing": je blijft meer tokens kopen in de hoop op betere resultaten, maar je betaalt eigenlijk alleen maar voor het gewicht dat de ober moet dragen.

2. De Oplossing: De "Harness" (De Slimme Ober)

De auteurs bouwden een nieuw soort obersysteem genaamd de Writer Agent Harness. In plaats van alles op de chef te dumpen, is dit systeem slim over wat het naar de keuken brengt.

Denk aan een slim archiefsysteem:

De "Stabiele" Map: De ober houdt de dingen die nooit veranderen (zoals het menu en de identiteit van de chef) in een speciale, vergrendelde map die de keuken direct kan inzien zonder extra te betalen.
De "Volatiele" Map: De dingen die elke seconde veranderen (zoals de huidige tijd of een specifieke klantvraag) worden bijgehouden in een klein, vers notitieblok.
De "Samenvatting" Truc: Als het gesprek te lang wordt, brengt de ober niet het hele boek mee. Ze schrijven een samenvatting van één pagina over wat er eerder is gebeurd en brengen alleen dat mee.
De "Delegatie" Truc: Als een taak te groot is, probeert de hoofdober het niet allemaal zelf te doen. Ze sturen een kleinere, gespecialiseerde helper om een deel van de taak uit te voeren en brengen alleen het eindantwoord terug.

3. Het Grote Experiment

Om te bewijzen dat dit werkt, hebben de auteurs een eerlijke test uitgevoerd. Ze namen zes verschillende top-tier AI-chefs (van verschillende bedrijven) en gaven hen dezelfde 22 moeilijke taken.

Groep A: Gebruikte de "Oude Manier" (de inefficiënte ober).
Groep B: Gebruikte de "Harness" (de slimme ober).
De Regel: De chefs waren exact hetzelfde. De taken waren exact hetzelfde. Het enige wat veranderde, was de ober.

4. De Resultaten: Een Wonder van Efficiëntie

De resultaten waren verbazingwekkend. Door alleen de ober te veranderen (de Harness), behaalden ze enorme verbeteringen op alle fronten:

Kosten: De rekening daalde met 41%. Het kostte bijna de helft minder om hetzelfde werk te doen.
Snelheid: De taken werden 44% sneller voltooid.
Tokengebruik: Ze gebruikten 38% minder tokens.
Kwaliteit: De kwaliteit van het eten (het antwoord) bleef gelijk, of werd zelfs iets beter.

Het meest verrassende deel? Het maakte niet uit welke chef je inhuurde. Of je nu de duurste, krachtigste chef gebruikte of een goedkopere, snellere chef, de "Slimme Ober" maakte ze allemaal goedkoper en sneller. Sterker nog, het verbeteren van de ober bespaarde meer geld dan de overstap van de duurste chef naar de goedkoopste chef zou hebben gedaan!

5. De "Harness Leverage"

Het papier vond een interessant patroon: hoe beter de chef van origine was, hoe meer ze profiteerden van de slimme ober.

Een super-slimme chef + een slimme ober = Ongelooflijke resultaten.
Een zwakkere chef + een slimme ober = Nog steeds goed, maar ze kunnen een beetje in de war raken als de ober te veel complexe delegatie probeert te doen.

De Kern van het Verhaal

Lama tijd dachten bedrijven dat de enige manier om betere AI te krijgen, het kopen van krachtigere modellen was. Dit artikel zegt: Stop.

De grootste hendel die je kunt gebruiken, is hoe je het werk organiseert. Als je een slimme "Harness" bouwt die de context beheert, de saaie zaken cachet en het zware werk delegeert, kun je dezelfde (of betere) resultaten behalen voor de helft van de prijs, ongeacht welk AI-model je gebruikt.

Het gaat niet om het hebben van de grootste motor; het gaat om het hebben van de beste transmissie.

Technisch Overzicht: Het Harness-effect

1. Probleemstelling: Token Maxing en de Orchestratie-blindspot

Het paper identificeert een heersende inefficiëntie in de ontwikkeling van enterprise Agentic AI, getiteld token maxing. Dit is een ontwikkelingspad waarbij teams capaciteit inkopen door monotoon de token-intensiteit te verhogen (langere redeneerpaden, bredere tool-payloads, volledige geschiedenis-replay), terwijl de marginale kwaliteit per token afneemt. Hoewel de prijs per token daalt, stijgen de totale uitgaven omdat de "rekening" voor een agentische taak niet wordt bepaald door de interne verbositeit van het model, maar door de orchestratielaag (de harness) die de context samenstelt, tool-schema's beheert en beurten sequentieert.

Huidig efficiëntieonderzoek richt zich op twee gebieden:

Model/Serving-zijde: Technieken zoals speculative decoding of prompt compressie die de prijs van een token verlagen, maar niet de hoeveelheid tokens verminderen die een agent besluit te consumeren.
Routing: Strategieën die goedkopere modellen selecteren voor eenvoudigere taken, wat verandert welk model de rekening betaalt, maar niet hoe groot die rekening is.

Het paper betoogt dat de orchestratielaag de beslissende hefboom is. Deze controleert de voorwaarden van de token-rekening (system prompts, geschiedenis-replay, retrieval-payloads, retries) en wordt momenteel vaak naïef geïmplementeerd, wat leidt tot een kwadratische groei in input-tokens naarmate de agent-beurten toenemen ( $O(k^2)$ ).

2. Methodologie: De Gecontroleerde Harness Swap

Om de impact van orchestratie te isoleren van modelcapaciteit, voerden de auteurs een gecontroleerd experiment uit met de volgende opzet:

Constante Variabelen: 22 vergrendelde, capaciteit-geaudit enterprise taken; 6 fundamentele modellen (Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1, en Palmyra X6); identieke judges en prijslijsten.
Variabele: De orchestratielaag.
- Baseline: Een conventionele productie-agent loop (bevroren op 2026-06-07) met monolithische system prompts, volledige geschiedenis-replay en destructieve truncatie.
- Behandeling: De Writer Agent Harness, een model-agnostische orchestratielaag met sub-agent delegatie, gestructureerde compactie en cache-vorm discipline.
Meting: Trace-niveau boekhouding van tokens, kosten (gebruikmakend van een vaste publieke prijslijst), wandklok-latentie en taakvoltooiingskwaliteit.

3. Belangrijkste Bijdragen en Mechanismen

Het paper formaliseert token-economie op de orchestratielaag, waarbij de harness wordt gedefinieerd als de component die de prijs van het werk bepaalt. Het introduceert zes familie-mechanismen die in de Writer Agent Harness zijn geïmplementeerd en de token-rekening herschrijven:

Cache-Shape Discipline (De Two-Zone Prompt): Prompts zijn structureel verdeeld in een byte-stabiele prefix (tool-schema's, system prompt, duurzaam transcript) en een volatiele tail (taakspecifieke data). Dit maakt het mogelijk om tot 99,9% van de input-tokens te serveren als cache-reads tegen ~0,1x de lijstprijs, waardoor de inputkosten van kwadratische naar lineaire groei gaan.
Gestructureerde, Incrementele Compactie: In plaats van destructieve truncatie wordt oudere geschiedenis samengevoegd in getypeerde checkpoints (geheugen, samenvattingen, restricties), terwijl een live tail van recente berichten behouden blijft. Dit behoudt de contextrelevantie zonder de prompt op te blazen.
Context Offload: Informatie wordt beschikbaar gehouden zonder in de context window aanwezig te zijn. Dit omvat het gebruik van sub-agents als "context firewalls" (die gecapteerde samenvattingen teruggeven), progressieve onthulling van tool-documenten, en het verplaatsen van omvangrijke tool-outputs naar bestanden in plaats van naar de prompt.
Zero-Token Wachten: Menselijke goedkeuringen of achtergrondprocessen worden afgehandeld via duurzame suspensie en event-resumptie, wat polling-loops die tokens verbruiken elimineert.
Failure-Spend Governance: Fouten worden geclassificeerd en afgehandeld voordat ze kosten veroorzaken (bijv. het weggooien van gedeeltelijke concepten, circuit breakers bij herhaalde fouten). Dit begrenst het "multiplier"-effect van retries en doodlopende takken.
Model-Agnostische Vloer: De harness normaliseert provider-streams en handhaaft schema-hygiëne, waardoor een basisniveau van efficiëntie wordt gegarandeerd, ongeacht de onderliggende modelcapaciteit.

4. Resultaten

De vervanging van de orchestratielaag leverde significante efficiëntiewinst op over alle modellen, waarbij de kwaliteit stabiel bleef of verbeterde op basis van de modelsterkte.

Efficiëntiewinst (Gemengd):
- Kosten per taak: Verminderd met 41% ( $0,21 →$ 0,12).
- Tokens per taak: Verminderd met 38% (14,2k → 8,8k).
- Wandklok-tijd: Verminderd met 44% (48s → 27s).
- Kwaliteit per dollar: Gestegen met 82%.
- Taakvoltooiingen per miljoen tokens: Gestegen van 54,9 naar 92,0 (+68%).
Model Invariantie: Elk geteste model zag kostenreducties tussen 33% en 61%. De harness was een grotere kostenhefboom dan modelselectie; het wisselen van het duurste naar het goedkoopste model bespaarde 36%, terwijl het behouden van een model en het adopteren van de harness 33–61% bespaarde.
Kwaliteit en Harness Leverage:
- De headline taakvoltooiingskwaliteit bleef op pariteit (0,78 → 0,81, directioneel).
- Harness Leverage: De winst in kwaliteit die uit de harness werd geëxtraheerd, correleerde bijna perfect met de baseline modelsterkte ( $r = 0,99$ ). Sterkere modellen vertaalden de harness-structuur naar hogere kwaliteit; zwakkere modellen werden soms overweldigd door geavanceerde orchestratie-features (bijv. sub-agents).
- Capability Floor: De harness maakte een nieuwe capaciteit mogelijk (gedelegeerde sub-agents) die pas de bruikbare betrouwbaarheidsdrempel overschreed op de twee sterkste modellen (0,85–0,86).

5. Betekenis en Claims

Het paper betoogt dat de harness de enige component is waarvan de efficiëntie zich vermenigvuldigt over elk model dat een organisatie draait, zowel nu als in de toekomst.

Economische Verschuiving: Het paper claimt dat voor enterprise-implementaties het optimaliseren van de orchestratielaag grotere rendementen oplevert dan het optimaliseren van modelselectie of routing. Het verschuift de focus van "capaciteit kopen met tokens" naar "hetzelfde werk doen met minder tokens."
Jevons Paradox Reversal: Terwijl dalende tokenprijzen doorgaans leiden tot verhoogd verbruik (het Jevons-effect), biedt de harness de structurele discipline om de efficiëntiewinst te ontkoppelen van groeiverbruik, waardoor organisaties aan de "token maxing" kunnen ontsnappen.
First-Class Object: Het paper stelt dat de harness behandeld moet worden als een first-class object van ontwerp en evaluatie, waarbij token-economie als een gepubliceerd contract dient. Het benadrukt dat zonder per-taak boekhouding ingebouwd in de orchestratielaag, token maxing onwaarneembaar en onbeheersbaar blijft.
Schaalbaarheid: Omdat de harness boven de model-API staat, vermenigvuldigen de efficiëntiewinsten zich over modelmigraties en wijzigingen in vendors, wat het een duurzamere asset maakt dan model-specifieke optimalisaties.

Samenvattend demonstreert het paper dat orchestratie-ontwerp de primaire determinant is van de token-economie in agentische systemen. Door structurele discipline af te dwingen op context-assemblage en foutafhandeling, kunnen ondernemingen substantiële kosten- en latentiereducties realiseren zonder de taakkwaliteit op te offeren.