Technische Samenvatting: TraceLab: Karakterisering van de werkbelasting van coding agents voor LLM-serving

Probleemstelling

Hoewel agentische Large Language Models (LLM's), met name coding agents zoals Claude Code en Codex, snel belangrijke toepassingen worden, blijft het efficiënt serveren ervan een aanzienlijke uitdaging. Bestaande traces en benchmarks slagen er niet in de specifieke kenmerken van real-world, dagelijks gebruik van coding agents te vatten die nodig zijn voor de analyse van serving-systemen.

• Bestaande Traces: Systemen zoals Mooncake en Splitwise leggen echte gebruikersinteracties vast, maar richten zich op traditionele chat of single-turn completions, waarbij de langdurige, meerstaps, tool-calling structuur van coding agents ontbreekt.
• Bestaande Benchmarks: Benchmarks zoals Terminal-Bench en SWE-bench evalueren de nauwkeurigheid van modellen op geïsoleerde taken. Ze vatten de diversiteit van real-world gebruik niet, zoals persistente sessies, geaccumuleerde context en door mensen bepaalde tijdsintervallen tussen verzoeken, wat cruciaal is voor het begrijpen van serving-kosten en systeemgedrag.

Als gevolg hiervan is er een gebrek aan data om de optimalisatie van LLM-serving systemen voor de unieke workload-patronen van coding agents te sturen.

Methodologie

Om dit gat te dichten, hebben de auteurs een grootschalige, cross-provider trace van echt gebruik van coding agents verzameld, genormaliseerd en geanalyseerd.

• Dataverzameling: De dataset bestaat uit ongeveer 4.300 sessies verzameld over een periode van acht maanden van 43 ontwikkelaars. Het bevat ongeveer 350.000 LLM-stappen en 430.000 tool calls.
• Bronnen: De data is verzameld uit de dagelijkse onderzoeksworkflows van de auteurs met behulp van Claude Code (Anthropic) en Codex (OpenAI), verspreid over meer dan 20 modelversies.
• Verwerkingspipeline: De auteurs hebben een pipeline gebouwd om ruwe logs te extraheren, event-structuren en token-boekhouding te normaliseren (het decomponeren van inputs in prefix tokens voor gecachte historie en append tokens voor nieuwe input) en de data te anonimiseren door identifiers te vervangen en ruwe tekst te verwijderen, terwijl token-aantallen en tijdstempels behouden blijven.
• Analyseomvang: De studie analyseert macroscopische metrieken (sessieduur, kosten, contextgroei), LLM-generatiekenmerken (input/output lengtes, timing), tool-calling gedrag (latentie, distributie) en prefix cache efficiëntie (hit rates, eviction policies).

Belangrijkste Bevindingen

1. Sessie- en Contextkenmerken

• Autonome Loops: Coding sessies zijn grotendeels autonoom. Een typische sessie omvat gemiddeld 8,8 LLM calls en 10,8 tool calls per verzoek. De meeste stappen zijn tool-geïnitieerd in plaats van door de gebruiker geïnitieerd.
• Contextgroei: Contexten groeien over het algemeen naarmate nieuwe inputs en tool-resultaten worden toegevoegd. Echter, context compactie (het samenvatten van de historie om binnen limieten te blijven) vindt plaats in ongeveer 9,7% van de sessies, primair getriggerd door tool-geïnitieerde stappen nabij de contextlimiet.
• Kostenstructuur: Ondanks dat prefix tokens worden gefactureerd tegen ongeveer 1/10e van het tarief van verse input, domineren ze de kosten (59,5% van de totale uitgave) omdat de geaccumuleerde context bij elke stap opnieuw wordt afgespeeld. Output tokens zijn verantwoordelijk voor slechts 11,2% van de kosten.
• Tijdverdeling: Sessies worden zwaar gedomineerd door menselijke "denktijd" (92,3% van de wandkloktijd). Binnen een verzoek dragen tool executie (59,8%) en LLM generatie (41,0%) vergelijkbaar bij aan de responstijd.

2. LLM Generatiepatronen

• Lange Context, Korte Output: Een typische stap leest een enorme context (mediaan ~119k prefix tokens) maar genereert een korte output (mediaan ~214 tokens). Dit contrasteert met traditionele reasoning workloads.
• Bimodale Inputstructuur: Er is een duidelijke splitsing in inputpatronen. Stappen met korte prefixes (vaak cache misses of initiële verzoeken) hebben grote append tokens, terwijl stappen met lange prefixes zeer kleine, incrementele append tokens hebben.
• Output Attributie: Providers verschillen in hoe ze voorgaande outputs afhandelen. Claude en GPT-5.5 sturen vaak voorgaande outputs opnieuw als nieuwe append tokens, terwijl GPT-5.4 ze vaak cache als onderdeel van de prefix.
• Decoding Snelheid: Genormaliseerde decode-snelheden vertonen aanzienlijke variantie (CV > 50%). Langere contexten correleren met tragere waargenomen generatie, met name voor Codex.

3. Tool Calling Gedrag

• Heavy-Tailed Distributie: Toolgebruik is sterk scheef verdeeld. De top 3 tools (bijv. Bash, Read, Edit voor Claude; exec_command, write_stdin, apply_patch voor Codex) zijn verantwoordelijk voor meer dan 80% van alle calls.
• Latentie Variantie: Tool latentie varieert van milliseconden tot uren. Hoewel calls langer dan 1 minuut slechts ~4-5% van de totale calls vormen, zijn ze verantwoordelijk voor 85-92% van de totale tool-call tijd.
• Overhead: Voor Codex overstijgt de waargenomen end-to-end tool latentie vaak de interne executietijd, met een significante residuele overhead (gemiddeld 1,11s) toegeschreven aan scheduling, goedkeuring en runtime bookkeeping.

4. Prefix Cache Efficiëntie

• Hoog maar Imperfect Hit Rate: De globale prefix cache hit rate is hoog (~95,7%), maar misses zijn kostbaar. De meeste misses treden op tijdens door de gebruiker geïnitieerde stappen waarbij de menselijke inactiviteit de cache eviction threshold overschrijdt.
• Door Mensen Veroorzaakte Misses: Wanneer menselijke denktijden de 5 minuten overschrijden, daalt de hit rate aanzienlijk; na 1 uur resulteren bijna alle stappen in een cache miss.
• Redundante Prefill: Slechts ~19% van de append tokens is "fresh" (echt nieuw). De resterende ~81% zijn redundante her-prefills van context die theoretisch gecached hadden kunnen worden. Het huidige systeem versterkt de prefill met een factor 5,3 vergeleken met een ideale, eviction-vrije cache.
• Kostenimpact: Het elimineren van cache misses veroorzaakt door menselijke denktijden zou de append prefill met 45,9% kunnen verminderen en de totale API-kosten met ongeveer 12,8%.

Belangrijkste Bijdragen

1. TraceLab Dataset: De release van de eerste grootschalige, cross-provider trace van echt gebruik van coding agents, bevattende ~4.300 sessies en ~350k LLM-stappen.
2. Workload Karakterisering: Een uitgebreide analyse die aantoont dat coding agents fundamenteel verschillen van chat of completion workloads, gekenmerkt door lange autonome loops, lange contexten met korte outputs, en heavy-tailed tool latenties.
3. Systeem Inzichten: Identificatie van specifieke inefficiënties in huidige serving systemen, zoals de hoge kosten van prefix reads, de impact van menselijke pauzes op cache eviction, en de overhead van frequente tool-LLM wisselingen.
4. Open Resources: Release van de dataset, de trace collectie pipeline en de analysecode om verder onderzoek te faciliteren.

Betekenis en Toekomstige Richtingen

Het artikel betoogt dat het begrijpen van deze specifieke workload-patronen een vereiste is voor het optimaliseren van LLM serving systemen voor coding agents. De bevindingen wijzen op verschillende concrete onderzoeksrichtingen:

• Tool Calling: Het ontwikkelen van dichtere of gefuseerde tool invocaties en lagere overhead goedkeuringspaden om de scheduling latentie te verminderen.
• Prefill Optimalisatie: Implementatie van append-lengte-bewuste prefill routing en adaptieve kernel selectie om de bimodale inputstructuur aan te pakken.
• Cache Management: Ontwerpen van semantic-aware tool-latentie voorspelling voor eviction policies en het verkennen van goedkopere KV-cache opslag of prefetching strategieën om menselijke pauzes op te vangen.
• Attention Mechanismen: Onderzoek naar sparse attention om de decoding kosten geassocieerd met lange prefixes te verminderen.

De auteurs concluderen dat hoewel bestaande systemen mechanismen bieden voor het serveren van agents, de unieke kenmerken van coding-agent workloads (persistente context, tool loops, menselijke vertragingen) gespecialiseerde optimalisatiestrategieën vereisen waar deze trace informatie over beoogt te verschaffen.