🤖 AI

Beyond Accuracy and Cost: Latency-Aware LLM Query Routing for Dynamic Workloads

Dit artikel stelt een latentiebewust query-routeringssysteem voor dat een lichtgewicht estimator voor de tijd tot het eerste token integreert met een gezamenlijke optimalisatiestrategie voor nauwkeurigheid, kosten en latentie, waarmee een verbetering van tot wel 40% in de nauwkeurigheid-kosten-utiliteit wordt bereikt zonder de responstijden te verhogen in vergelijking met standaard load-balancing methoden.

Oorspronkelijke auteurs: Shivam Patel, Akaash R. Parthasarathy, Ankur Mallick, Gauri Joshi

Gepubliceerd 2026-07-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shivam Patel, Akaash R. Parthasarathy, Ankur Mallick, Gauri Joshi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je een team van chefs hebt, elk met een ander vaardigheidsniveau en een andere prijs. Sommigen zijn meesterchefs die een gerecht met een Michelinster kunnen toveren, maar die een fortuin kosten en veel tijd in beslag nemen. Anderen zijn snelle, betaalbare lijnkoks die in een handomdraai een fatsoenlijke burger kunnen maken. In de wereld van kunstmatige intelligentie zijn deze "chefs" Large Language Models (LLM's)—de hersenen achter chatbots die verhalen schrijven, wiskundige problemen oplossen of nieuws samenvatten. Wanneer je een vraag stelt, beslist een "router" welke chef de opdracht krijgt. Het doel is simpel: het beste antwoord krijgen voor de laagste prijs.

Maar er is een addertje onder het gras dat de meeste routers tot nu toe hebben genegeerd: de rij. Zelfs als je de perfecte chef kiest, als zij al overspoeld worden door andere bestellingen, kan je eten eeuwenlang in de keuken blijven liggen. In de AI-wereld wordt deze wachttijd "latentie" genoemd. Als je een chatbot een vraag stelt terwijl deze druk is, staar je misschien minutenlang naar een draaiende cursor. Dit is een probleem omdat je soms een antwoord nu nodig hebt, niet alleen een goed antwoord. De grote vraag die onderzoekers proberen op te lossen is: Hoe kiezen we de juiste chef voor een geweldig antwoord, snel en zonder de bank te breken, zelfs wanneer de keuken chaotisch is?

Maak kennis met een nieuwe studie door onderzoekers van Carnegie Mellon University en Microsoft die probeert dit exacte probleem op te lossen. Ze realiseerden zich dat huidige systemen goed zijn in het balanceren van kwaliteit en kosten, maar dat ze "latentie-agnostisch" zijn, wat betekent dat ze blind zijn voor hoe lang de rij eigenlijk is. Om dit op te lossen, bouwde het team een slimme, lichtgewicht "simulator" die fungeert als een digitale kristallen bol. In plaats van alleen te gokken hoe druk een server is, houdt deze simulator de keuken in realtime in de gaten. Het kijkt naar hoeveel bestellingen er wachten, hoe lang de huidige gerechten duren om te bereiden, en zelfs hoe het keukenpersoneel hun werk bundelt. Vervolgens voorspelt het precies hoe lang het zal duren voordat jouw specifieke bestelling de eerste hap van het eten krijgt (een metriek die ze "Time-to-First-Token" noemen).

Door deze voorspelling in hun routing-systeem te voeden, creëerden de onderzoekers een slimme dispatcher die niet alleen naar de menuprijs of de reputatie van de chef kijkt, maar ook naar de wac wachttijd. Ze testten dit systeem met verschillende soorten vragen en variërende niveaus van keukenchaos. De resultaten waren veelbelovend: hun nieuwe methode slaagde erin de algemene "waarde" van de antwoorden (het balanceren van kwaliteit, kosten en snelheid) met wel 40% te verbeteren ten opzichte van standaardmethoden, terwijl de wachttijden net zo laag bleven als bij de beste bestaande load-balancing trucs. Kortom, ze vonden een manier om AI-chatbots sneller, goedkoper en slimmer te maken door eindelijk aandacht te besteden aan de rij.

De kern van hun innovatie is een tool die ze "Serving Framework Simulation" (SFS) noemen. Denk aan een verkeersregelaar voor een drukke snelweg. Oude methoden tellen misschien gewoon hoeveel auto's er op de weg zijn en raden de reistijd. Maar SFS is slimmer; het simuleert de werkelijke rijomstandigheden. Het weet dat sommige auto's snel maar zwaar zijn (zoals lange, complexe vragen), terwijl andere licht maar talrijk zijn. Het weet ook dat de snelweg specifieke regels heeft over hoe auto's invoegen en hoe snel ze kunnen rijden. Door deze regels te simuleren, kan SFS precies voorspellen wanneer een nieuwe auto de oprit zal bereiken.

De onderzoekers ontdekten dat simpelweg gokken op basis van hoeveel auto's er op de weg zijn (een methode die ze "throughput-based estimation" noemen) vaak leidt tot slechte voorspellingen. Als de snelweg verstopt zit met langzame, zware vrachtwagens, kan een nieuwe auto zelfs vast komen te zitten als het totale aantal auto's niet eens heel groot is. Hun simulatie houdt echter rekening met dit "fileffect". Ze testten hun systeem op een verscheidenheid aan taken, van het schrijven van korte verhalen tot het samenvatten van lange rapporten, en vonden dat het consequent beter presteerde dan oudere methoden. In hun simulaties verbeterde hun aanpak de "OnTimeUtility"—een score die meet hoe goed het antwoord was, hoeveel het kostte en of het op tijd aankwam—met 33% tot 40% ten opzichte van de beste bestaande baselines.

Een van de meest interessante bevindingen is hoe dit systeem omgaat met "bursty" verkeer. Stel je een plotselinge toestroom van bestellingen voor die allemaal tegelijk binnenkomen, zoals bij een lunchdrukte. Oudere systemen raken vaak overrompeld en sturen iedereen naar de goedkoopste, traagste chef, wat enorme vertragingen veroorzaakt. Het nieuwe systeem past de belasting echter dynamisch aan. Het kan een eenvoudige vraag naar een snel, goedkoop model sturen omdat de rij kort is, terwijl het een complexe, dringende vraag naar een krachtig model stuurt dat een iets langere rij heeft, maar de klus uiteindelijk sneller kan klaren. Deze flexibiliteit stelt het systeem in staat om een hoge prestatie te behouden, zelfs wanneer de vraag piekt.

Het team toonde ook aan dat hun simulator zelf ongelooflijk snel is. Het duurt minder dan een milliseconde om de simulatie uit te voeren en een beslissing te nemen, wat betekent dat het het systeem dat het probeert te helpen niet vertraagt. Dit is cruciaal, want als de router te lang duurt met beslissen, dient dat het doel van het besparen van tijd teniet. Ze verifieerden dat hun voorspellingen accuraat waren, met een foutmarge van minder dan 5% in hun tests, wat een aanzienlijke verbetering is ten opzichte van de foutmarge van 85% die ze zagen bij oudere, eenvoudigere gokmethoden.

Uiteindelijk suggereert dit artikel dat de toekomst van efficiënte AI niet alleen gaat over het bouwen van grotere modellen of het vinden van goedkopere modellen; het gaat over het zijn van een betere verkeersmanager. Door de wijsheid van "welk model is het beste" te combineren met de realiteit van "hoe lang de rij is", kunnen we systemen creëren die direct en responsief aanvoelen, zelfs onder zware belasting. Hoewel de resultaten voortkomen uit simulaties en gecontroleerde experimenten, geloven de auteurs dat deze aanpak een praktische weg biedt om AI-diensten in de echte wereld betrouwbaarder en gebruiksvriendelijker te maken.

Technische Samenvatting: Voorbij Nauwkeurigheid en Kosten: Latentie-bewuste LLM Query-routing voor Dynamische Workloads

Probleemstelling

Moderne taalquery-routers optimaliseren de afweging tussen responskwaliteit (nauwkeurigheid) en monetaire kosten door queries toe te wijzen aan verschillende Large Language Model (LLM) instanties. Echter, bestaande routers zijn grotendeels latentie-agnostisch. Ze selecteren modellen op basis van nauwkeurigheids- en kostenvoorspellers, maar negeren de generatielatentie die een query zal ervaren bij een specifieke modelinstantie.

In de praktijk wordt latentie bepaald door systeemniveau load-balancing beleid (bijv. round-robin, join-the-shortest-queue), die geen rekening houden met modelnauwkeurigheid of inferentiekosten. Omgekeerd gaat systeemniveau latentie-optimalisatie uit van een vaste query-naar-model toewijzing en negeert het de nauwkeurigheid-kosten afwegingen. Dit creëëert een kloof: huidige routers kunnen queries naar overbelaste instanties routeren, wat leidt tot lange wachtrijvertragingen en schendingen van Service Level Objectives (SLO's), terwijl systeemniveau optimalisaties de heterogene nauwkeurigheid-kosten capaciteiten van een modelpool niet kunnen benutten.

De kernuitdaging is dat generatielatentie niet-deterministisch is en afhangt van:

Hardware-specificaties en modelarchitectuur.
De huidige compositie van de workload (prefill versus decode stadia) bij de instantie.
De specifieke batching- en scheduling-policies van het serving framework (bijv. vLLM, Sarathi-Serve).

Het accuraat schatten van de Time-to-First-Token (TTFT) voor een inkomende query is moeilijk omdat dit vereist hoe het serving framework de nieuwe query zal batchen met bestaande resident sequenties, rekening houdend met zowel prefill (compute-bound) als decode (memory-bound) interferentie.

Methodologie

De auteurs stellen een routingframework voor dat nauwkeurigheid, kosten en latentie gezamenlijk optimaliseert. Het systeem bestaat uit drie hoofdonderdelen:

1. Routing Doelstelling

De router selecteert een modelinstantie $m(i)$ voor een query $q_i$ om de nauwkeurigheid-kosten nut ( $\hat{U}_{i,j}$ ) te maximaliseren terwijl een TTFT-restrictie ( $\tau_i$ ) wordt nageleefd.

Nut: $\hat{U}_{i,j}(\lambda) = \hat{acc}_{i,j} - \lambda \cdot \hat{cost}_{i,j}$ , waarbij $\lambda$ kwaliteit en kosten balanceert.
Restrictie: De geselecteerde instantie moet voldoen aan $\hat{L}^{ttft}_{i,j}(t) \leq \tau_i$ . Als geen enkele instantie aan de restrictie voldoet, selecteert de router de instantie met de minimale geschatte latentie.
Evaluatie: Prestaties worden gemeten via OnTimeUtility, wat het gemiddelde nut van queries die hun latentie-restricties halen (waarbij nul nut wordt toegewezen aan diegenen die de restricties schenden).

2. Serving Framework Simulation (SFS) Latentie Schatter

Om TTFT accuraat te voorspellen zonder real-time executie, ontwerpen de auteurs een lichtgewicht estimator die het gedrag van het serving framework simuleert.

Input: De estimator gebruikt de huidige staat van de modelinstantie, inclusief de set resident requests ( $R_j(t)$ ), hun resterende prefill tokens en voorspelde decode lengtes.
Simulatieproces:
1. Het construeert een uitgebreide workload inclusief de nieuwe query en alle resident queries.
2. Het simuleert deterministisch de continuous batching en scheduling policies van het serving framework om token batches te vormen.
3. Het iterereert door deze batches totdat de nieuwe query zijn eerste decode token genereert.
Token-Batch Verwerkingstijd Model: In plaats van low-level kernels te simuleren, gebruikt de estimator een gekalibreerd lineair model (Eq. 9) om de tijd voor elke token batch te voorspellen. Dit model houdt rekening met:
- Vaste overheads.
- Token-wijze dense-layer computation (lineair met batch size).
- Attention computation en KV-cache reads (lineair met contextlengte voor decode).
- Prefill attention kosten (kwadratisch binnen de prefill chunk).
Output: De som van de voorspelde verwerkingstijden van alle gesimuleerde batches tot de eerste decode token levert de TTFT-schatting op.

3. Gemiddelde Schatting (Geen Real-Time Data)

In scenario's waar real-time workload snapshots niet beschikbaar zijn (bijv. routeren naar third-party clouds), stellen de auteurs een wachtrijtheoretische abstractie voor met behulp van een Limited Processor Sharing (LPS) model. Dit model de instantie als een server die capaciteit deelt onder maximaal $k$ gelijktijdige queries, waarbij anderen in een FIFO-wachtrij wachten. Dit maakt het mogelijk om gemiddelde wachttijden te schatten op basis van aankomstfrequenties en servicecapaciteiten.

Belangrijkste Bijdragen

Joint Optimization Framework: Het paper overbrugt de kloof tussen nauwkeurigheid-kosten routing en systeemniveau latentie-optimalisatie door een router te ontwerpen die beslissingen neemt op basis van alle drie de metrieken tegelijkertijd.
Lichtgewicht SFS Estimator: De auteurs introduceren een nieuwe latentie estimator die autoregressieve token batch verwerking simuleert. Het vangt de complexe interactie tussen prefill en decode workloads en serving framework policies (zoals chunked prefills) op zonder volledige executie te vereisen.
Hoge Nauwkeurigheid en Lage Overhead: De SFS estimator bereikt een Mean Absolute Percentage Error (MAPE) van <5% op TTFT-voorspellingen met een test-time overhead van ongeveer 0.14 ms (sub-milliseconde), wat het geschikt maakt voor het kritieke pad van de routing.
Robuustheid: Het framework wordt geëvalueerd onder zowel standaard Poisson-aankomsten als bursty Markov-Modulated Poisson Process (MMPP) aankomsten, wat consistente prestatieverbeteringen aantoont.

Experimentele Resultaten

De auteurs evalueerden hun aanpak met drie Qwen3 modellen (0.6B, 8B, 32B) gedeployed op H100 GPU's met het vLLM serving framework. Ze vergeleken hun SFS-gebaseerde router met drie baselines:

Round Robin: Cyclische toewijzing die de workload negeert.
Shortest Queue: Wijst toe aan de instantie met de minste requests (latentie-gericht, nauwkeurigheid-agnostisch).
Latency-Agnostic: Maximaliseert nut zonder rekening te houden met latentie.

Belangrijkste Bevindingen:

Verbetering in Nut: De voorgestelde methode levert tot 40% verbetering in nauwkeurigheid-kosten nut vergeleken met standaard load-balancing baselines (zoals Shortest Queue) terwijl dezelfde latentie-restricties worden gehandhaafd.
OnTimeUtility: Over variërende query aankomstfrequenties bereikte de SFS router een 33% hogere Area Under the Curve (AUC) voor OnTimeUtility vergeleken met de beste baseline.
Trade-off Controle: Door de latentie penalty parameter $\delta$ in de Lagrangian relaxatie te variëren, biedt de router een controleerbare trade-off curve tussen nut en latentie, waarmee het baselines verslaat die deze metrieken niet effectief kunnen balanceren.
Estimator Prestaties: De throughput-gebaseerde baseline (die decode interferentie negeert) vertoonde een 85% MAPE, terwijl de SFS estimator dit verminderde tot 5%, wat de noodzaak van het simuleren van de volledige serving framework dynamiek onderstreept.

Betekenis en Claims

Het paper claimt dat de gezamenlijke optimalisatie van nauwkeurigheid, kosten en latentie essentieel is voor efficiënte LLM-implementatie onder dynamische workloads. De auteurs argumenteren dat huidige routers falen omdat ze latentie behandelen als een systeemniveau zorg die losstaat van modelselectie, wat leidt tot suboptimale resource-utilisatie en SLO-schendingen.

Door een lichtgewicht, simulatie-gebaseerde latentie estimator direct in de routingbeslissing te integreren, vermijdt het voorgestelde framework overbelaste instanties terwijl het sterke nauwkeurigheid-kosten prestaties behoudt. Het werk demonstreert dat het mogelijk is om significante winsten in nut (tot 40%) te behalen zonder de latentie-restricties op te offeren, waardoor het de voorheen gescheiden doelen van "slimme routing" (nauwkeurigheid/kosten) en "load balancing" (latentie) effectief verenigt. De auteurs positioneren dit als een praktische oplossing voor real-world implementaties waar query workloads dynamisch zijn en SLO's strikt zijn.