💬 NLP

AGENTSERVESIM: A Hardware-aware Simulator for Multi-Turn LLM Agent Serving

Dit artikel introduceert AGENTSERVESIM, een hardware-bewuste simulator die de dynamiek van multi-turn LLM-agent-serving — inclusief programma-orchestratie, door tools veroorzaakte gaten en KV-cache-resistentie — nauwkeurig modelleert om schaalbare en kosteneffectieve evaluatie van serving-policies op commodity-CPU's mogelijk te maken zonder dat uitgebreide implementaties in echte systemen vereist zijn.

Oorspronkelijke auteurs: Rakibul Hasan Rajib, Mengxin Zheng, Qian Lou

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Rakibul Hasan Rajib, Mengxin Zheng, Qian Lou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een druk restaurant runt.

De Oude Manier (Standaard LLM Serving):
In het verleden was het bedienen van AI-modellen als een fastfood drive-thru. Elke auto (verzoek) komt binnen, bestelt een burger (een enkele vraag), krijgt deze en rijdt weg. De keuken geeft niet om wat de auto eerder deed of wat hij hierna gaat doen. Elke bestelling is onafhankelijk. Als de auto later terugkomt, wordt deze behandeld als een volkomen nieuwe klant.

De Nieuwe Manier (Multi-Turn Agent Serving):
Nu stel je je voor dat het restaurant een complexe kookwedstrijd organiseert. Een enkel team (een "Agent") blijft aan de tafel zitten voor een lange tijd. Ze vragen om een ingrediënt, waarna de chef moet wachten terwijl het team naar de voorraadkast gaat om een specerij te zoeken (een "tool call"), en dan weer terugkomt om naar de volgende stap te vragen. Dit gebeurt tientallen keren in één sessie.

Het Probleem: De chef (de AI) moet het hele recept tot nu toe onthouden. Als het team de tafel verlaat om 5 minuten naar de voorraadkast te gaan, mag de chef de aantekeningen op de toonbank (de "KV cache") niet weggooien, want ze zullen die aantekeningen nodig hebben wanneer het team terugkeert. Als het team naar een andere tafel gaat (een andere server) wanneer ze terugkomen, moet de nieuwe chef het hele recept vanaf nul opnieuw lezen, wat tijd verspilt.
De Uitdaging: Het beheren hiervan is moeilijk. Je moet beslissen: Houden we de aantekeningen op de dure, snelle toonbank? Of verplaatsen we ze naar een langzamere plank in de achterruimte? Of gooien we ze weg als het team te lang weg is? En welke chef moet de volgende beurt van het team afhandelen?

De Oplossing: AGENTSERVESIM
De auteurs hebben een virtuele restaurantsimulator gebouwd genaamd AGENTSERVESIM.

In plaats van te proberen deze complexe regels te testen op echte, dure supercomputers (wat een fortuin kost en eeuwen duurt), hebben ze een digitale tweeling gebouwd die draait op gewone, goedkope computers.

Zo werkt hun simulator, gebruikmakend van de restaurantanalogie:

De Programma Orchestrator (De Hoofdober):
In oude simulators werd elke bestelling apart behandeld. Deze simulator heeft een Hoofdober die de gehele kookwedstrijd als één enkel "Programma" bijhoudt. De Ober weet dat Team A momenteel wacht op de voorraadkast en laat de volgende bestelling niet beginnen voordat de trip naar de voorraadkast is voltooid.
De Tool Simulator (De Timer van de Voorraadkast):
Soms moet het team naar de voorraadkast (een tool uitvoeren zoals grep of pytest). Deze trips kunnen milliseconden of minuten duren. De simulator heeft een speciale timer die deze vertragingen nauwkeurig nabootst, zodat het systeem kan testen of het beter is om de receptnotities op de toonbank te houden of ze naar de plank te verplaatsen tijdens het wachten.
De Session-Aware Router (De Tafel Toewijzer):
Als het restaurant meerdere chefs (servers) heeft, probeert deze router Team A terug te sturen naar dezelfde chef waarmee ze begonnen zijn. Dit houdt de receptnotities precies waar ze zijn, wat tijd bespaart. Als die chef te druk is, berekent de router de kosten van het verplaatsen van de notities naar een nieuwe chef versus het gewoon opnieuw beginnen.
Het KV Residency Model (De Notitie-nemer):
Dit is het slimste deel. Het beslist waar de "receptnotities" (KV cache) worden opgeslagen.
- HBM (Hogesnelheidstoonbank): Snel maar klein.
- DRAM/CXL (Achterste plank): Langzamer maar groter.
- Het model vraagt: "Komt het team over 10 seconden of over 10 minuten terug?" Als het 10 seconden is, houd de notities op de toonbank. Als het 10 minuten is, verplaats ze naar de plank zodat de toonbank vrij blijft voor andere teams.

Waarom is dit belangrijk?
Het testen van deze strategieën op echte supercomputers is als het proberen te testen van een nieuw restaurantontwerp door daadwerkelijk het restaurant te bouwen, personeel aan te nemen en er wekenlang mee te draaien. Dat is duur en traag.

Het Resultaat: De auteurs hebben hun simulator getest tegen echte supercomputers (met echte AI-modellen en echte hardware). Ze ontdekten dat de simulator voorspelt hoe snel de "kookwedstrijd" zal eindigen met minder dan 6% foutmarge.
Het Voordeel: Nu kunnen ingenieurs duizenden "wat als"-scenario's op een gewone laptop draaien om de beste manier te bepalen om deze AI-agents te beheren, zonder dat ze voor elke test dure supercomputers hoeven te huren.

Kortom: Ze hebben een zeer nauwkeurige "vluchtsimulator" gebouwd voor AI-agents die onderzoekers in staat stelt om te oefenen met en te optimaliseren hoe ze complexe, meerstaps AI-taken uitvoeren zonder het echte vliegtuig te laten crashen (of een fortuin aan brandstof uit te geven).

Technische Samenvatting: AGENTSERVESIM

Probleemstelling

Moderne implementaties van Large Language Models (LLM's) verschuiven van staatloze, single-turn chat-queries naar multi-turn agentische systemen. In tegenstelling tot traditionele serving, waarbij elk prompt-completion paar een onafhankelijk verzoek is, voeren agentische systemen staatvolle programma's uit die LLM-aanroepen afwisselen met externe tool-invocaties (bijv. code-executie, web zoeken). Deze tool-invocaties introduceren variabel dure intervallen variërend van milliseconden tot minuten.

Deze verschuiving verandert de vereisten voor serving fundamenteel:

Stateful Executie: De door de gebruiker waargenomen latentie is de Job Completion Time (JCT) van het volledige programma, niet de latentie van individuele beurten.
Cross-Turn Afhankelijkheden: Latere beurten breiden vaak dezelfde conversatie uit, waardoor cross-turn prefix-hergebruik systematisch wordt.
KV-cache Dynamiek: De KV-cache staat moet de tool-geïnduceerde intervallen overleven om kostbare re-prefilling te voorkomen, maar het behouden van de staat tijdens lange intervallen verspilt schaarse geheugen.
Routing Complexiteit: In multi-instance implementaties moet routing sessie-affiniteit behouden om cache-lokaliteit te waarborgen, in plaats van simpelweg load-balancing toe te passen.

Het evalueren van scheduling-, routing- en KV-cache managementbeleid voor deze workloads op echte hardware is evenredig duur. Elk ontwerp punt vereist toegewezen tijd op versnellers, en de configuratieruimte (aankomstpercentages, model schalen, geheugenhiërarchieën) is te groot voor uitputtende real-world sweeps. Bestaande simulators (bijv. Vidur, APEX, LLMServingSim) richten zich op staatloze workloads en falen om programmatische identiteit, tool-gaten of cross-turn KV-residency te vatten.

Methodologie

De auteurs presenteren AGENTSERVESIM, een hardware-bewuste simulator die specifiek is ontworpen voor multi-turn LLM agent serving. De simulator behandelt het agent-programma als de eenheid van executie in plaats van individuele LLM-aanroepen. Het is gebouwd op een modulaire architectuur bestaande uit vijf kerncomponenten:

Program Orchestrator: Houdt een per-programma state machine bij die de volgorde van beurten en uitstaande tool-statussen bijhoudt. Het zorgt ervoor dat beurt $t+1$ pas wordt vrijgegeven nadat beurt $t$ en het bijbehorende tool-interval in gesimuleerde tijd zijn verstreken, waardoor de programmatische identiteit en afhankelijkheden worden bewaard.
Tool Simulator: Materialiseert tool-geïnduceerde intervallen. Deze werkt in twee modi:
- Replay Mode: Gebruikt vastgelegde wall-clock duur van echte traces voor validatie.
- Generative Mode: Samplet duurwaarden uit passende distributies voor counterfactual exploratie.
Session-Aware Router: Beheert multi-instance implementaties. Het houdt een program-to-instance affiniteitstabel bij om opeenvolgende beurten naar dezelfde "home" engine te routeren, wat prefix-cache lokalisatie bewaart. Als de home engine overcapaciteit heeft, berekent het de kosten van migratie of re-prefilling.
Program-Aware Batch Scheduler: Breidt de scheduler uit door naar programmatische identiteit te kijken. Het legt programmatische staat bloot (bijv. attained service) aan pluggable policy hooks, waardoor programmatische FCFS of attained-service prioritering mogelijk is terwijl standaard admission en continuous-batching logica behouden blijft.
KV Residency Model: Houdt de plaatsing van de KV-cache bij over verschillende geheugenniveaus (HBM, Host DRAM, CXL). Het wijst policy-gedefinieerde deadlines toe aan KV-blokken op basis van de duur van het tool-interval en recompute kosten. Het modelleert expliciet de verdrijving (eviction), het swappen naar host-geheugen en retentiebeslissingen tijdens tool-intervallen.

De simulator integreert deze modules met een operator-graph execution engine (gebaseerd op LLMServingSim 2.0 en ASTRA-sim) om heterogene hardware, interconnects en multi-tier geheugentoegang te modelleren.

Belangrijkste Bijdragen

Program-Centric Simulatie Architectuur: Een nieuw framework dat het agent-programma abstraheert als de executie-eenheid, wat de studie van turn-afhankelijkheden, tool-geïnduceerde idle intervallen en cross-turn KV-residency mogelijk maakt binnen één hardware-bewuste framework.
Validatie Tegen Real-World Deployments: De auteurs hebben AGENTSERVESIM gevalideerd tegen echte systeemruns op drie hardwareplatforms (RTX 3090, H100-SXM, B200) met de SWE-Bench Verified workload. De simulator reproduceert real-system gedrag met minder dan 6% fout over belangrijke metrieken (JCT en throughput) terwijl deze volledig op commodity CPU's draait.
Hardware-Bewuste Design-Space Analyse: De paper gebruikt de simulator om systematisch de interactie tussen prefix caching, scheduling, routing en KV management te bestuderen. Het identificeert specifieke condities waaronder agent-bewuste beleid voordelen biedt, zoals de impact van prefix hergebruik ratio's en tool-latentie distributies.

Resultaten

Nauwkeurigheid: Over 80 configuratiecellen (variërend in hardware, modelgrootte en beleid) kwam AGENTSERVESIM overeen met de real-system JCT met een gemiddelde relatieve fout van <5%. Fouten in throughput waren vergelijkbaar laag (<2%).
Impact van Routing: In multi-instance clusters behield session-aware routing de prefix-cache hit rates nabij de single-instance plafonds (96,26%), terwijl round-robin en least-loaded routing de hit rates met 3,3–3,6 procentpunten verlaagden, wat de JCT aanzienlijk verhoogde.
Policy Sensitiviteit: Het voordeel van agent-bewuste scheduling (bijv. Autellix, InferCept) ten opzichte van request-level baselines (vLLM-FCFS) is sterk afhankelijk van de prefix hergebruik ratio ( $\eta$ ). Wanneer $\eta < 0,3$ domineren recompute kosten en zijn de verschillen in beleid verwaarloosbaar. Wanneer $\eta \ge 0,5$ , kan het kiezen van het verkeerde beleid resulteren in een multiplicatieve toename van de JCT.
Tool Latency: Naarmate de tool-latentie schaalt, presteren agent-bewuste beleid (met name die met adaptieve of statische TTL-retentie) aanzienlijk beter dan FCFS. Voor bimodale tool traces was een statische threshold retention regel vaak voldoende om de meeste winsten te behalen.
Memory Tiering: Het toevoegen van een tweede geheugenniveau (CPU DRAM of CXL) verzacht de prestatie-instorting van HBM-only systemen onder hoge belasting. CXL bandbreedte biedt een meetbaar voordeel (tot wel ~10% JCL reductie) bij specifieke verzadigingspunten, wat primair de tail latency ten goede komt.

Betekenis

De paper claimt dat AGENTSERVESIM gecontroleerde, reproduceerbare exploratie van agent-serving beleid mogelijk maakt zonder de noodzaak van uitputtende deployment op dure versnellers. Door de staatvolle natuur van agent executie getrouw te modelleren, stelt de simulator onderzoekers in staat om:

De interactie van beleid (scheduling, routing, KV management) te evalueren die nauw gekoppeld zijn en moeilijk te isoleren zijn in echte systemen.
Configuraties te verkennen die niet beschikbaar of te duur zijn om fysiek te testen (bijv. grotere clusters, hypothetische geheugenniveaus zoals CXL, of specifieke tool-latentie distributies).
Voorbij request-level metrieken te gaan om te optimaliseren voor programmatische doelstellingen zoals Job Completion Time.

Dit werk legt een fundament voor het ontwerpen van de volgende generatie LLM serving stacks die in staat zijn om de complexe, staatvolle workloads van moderne agentische AI te verwerken.