🤖 machine learning

Efficient Serving for Dynamic Agent Workflows with Prediction-based KV-Cache Management

Het artikel introduceert PBKV, een op voorspelling gebaseerd systeem dat dynamisch toekomstige agent-uitvoeringen in LLM-workflows voorspelt om intelligent hoog-potentieel KV-cache-inhoud in GPU-geheugen te beheren en te behouden, waardoor aanzienlijke snelheidswinst wordt behaald ten opzichte van bestaande baselines op zowel dynamische als statische workflows.

Oorspronkelijke auteurs: Haoyu Zheng, Fangcheng Fu, Jia Wu, Binhang Yuan, Yongqiang Zhang, Hao Wang, Yuanyuan Zhu, Xiao Yan, Jiawei Jiang

Gepubliceerd 2026-05-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoyu Zheng, Fangcheng Fu, Jia Wu, Binhang Yuan, Yongqiang Zhang, Hao Wang, Yuanyuan Zhu, Xiao Yan, Jiawei Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke, high-end restaurantkeuken runt. In deze keuken zijn Large Language Models (LLM's) de meesterkoks, en Agents zijn de gespecialiseerde stations (zoals de grill, de saladebar of de banketbakker) die samenwerken om een complexe bestelling af te maken.

Wanneer een kok een gerecht bereidt, bouwt hij een "mentale context" op (de ingrediënten, de receptstappen, de huidige staat van het maaltje). In computertaal heet dit KV-Cache. Het is als het bereidingsstation van een kok: als de volgende stap dezelfde gesneden uien of dezelfde saus nodig heeft, wil de kok ze niet opnieuw snijden en mengen; hij pakt gewoon wat er al ligt. Dit bespaart enorme hoeveelheden tijd.

De keuken heeft echter een beperkte hoeveelheid aanrechtruimte (GPU-geheugen). Je kunt niet elk bereidingsstation voor altijd ingericht houden. Je moet beslissen wat je weggooit om ruimte te maken voor nieuwe bestellingen.

Het Probleem: Het "Gokspel" van de Keuken

In het verleden gebruikten keukens een eenvoudige regel genaamd LRU (Least Recently Used): "Als een station een tijdje niet is aangeraakt, maak het leeg."

De Tekortkoming: In een dynamisch restaurant kan een station een tijdje stil liggen terwijl de kok met een klant praat of op een levering wacht, maar dan hebben ze het direct weer nodig. LRU gooit het weg omdat het stil was, waardoor de kok vanaf nul moet beginnen (een "re-prefill"), wat traag en duur is.

Een andere aanpak, genaamd KVFlow, ging ervan uit dat de keukenmanager de exacte volgorde van elk station van tevoren wist (bijvoorbeeld: "Grill -> Salade -> Banket").

De Tekortkoming: Het echte leven is rommelig. Soms merkt de saladekok dat de sla bedorven is en moet hij terug naar de koelkast (een "retry-loop"). Soms besluit de banketbakker een nieuw dessert te maken op basis van de reactie van de klant. De volgorde is niet statisch; hij verandert op basis van het gesprek. KVFlow raakt in de war wanneer het plan verandert.

De Oplossing: PBKV (De "Toekomstvoorspeller"-Keukenmanager)

De auteurs bouwden een nieuw systeem genaamd PBKV (Prediction-Based KV-Cache Management). In plaats van te gokken op basis van "wie het laatst druk was" of "wat het plan gisteren zei", fungeert PBKV als een super-slimme keukenmanager die een kijkje kan nemen in de nabije toekomst.

Hier is hoe PBKV werkt, met eenvoudige analogieën:

1. De Kristallen Bol (De Predictor)

PBKV heeft een "kristallen bol" (een machine learning-model) die kijkt naar de huidige bestelling en de geschiedenis van vergelijkbare bestellingen om te voorspellen: "Welke stations heeft de kok nodig in de volgende 3 stappen?"

Hoe het werkt: Het gokt niet alleen de volgende stap (die misschien fout is); het gokt de volgende drie stappen tegelijk. Het combineert de "menustructuur" (de algemene flow van het restaurant) met de "specifieke bestelgegevens" (wat de klant daadwerkelijk zei).
De Analogie: Als de klant zegt: "Ik wil een hamburger, maar misschien met extra kaas", voorspelt de manager: "Eerst de grill, dan misschien het Kaas-station, en als ze van gedachten veranderen, misschien het Broodje-station."

2. De "Gepensioneerde" Stationsregel (Levenscyclus-bewuste Verwijdering)

PBKV heeft een gouden regel: Als een gerecht klaar is, maak het station direct leeg.

De Analogie: Als een tafel heeft betaald en vertrokken is, wacht je niet tot de "Least Recently Used"-regel hun tafel leegmaakt. Je maakt het nu leeg om ruimte te maken voor nieuwe gasten. PBKV identificeert automatisch "voltooide" workflows en claimt hun geheugenruimte terug voordat het naar iets anders kijkt. Dit is een enorme winst omdat het 100% zeker is dat die stations niet meer nodig zullen zijn.

3. Het "Scorebord"-Systeem (Vooruitkijkende Scoreberekening)

Voor de stations die nog actief zijn, gokt PBKV niet alleen; het berekent een Score.

De Analogie: Stel je voor dat elk bereidingsstation een score krijgt op basis van: "Hoe waarschijnlijk is het dat een kok in de keuken dit in de komende paar minuten nodig zal hebben?"
Als het "Kaas-station" binnenkort door 5 verschillende bestellingen nodig wordt voorspeld, is de score hoog en blijft het op het aanrecht.
Als de "Speciale Saus" alleen nodig is door één bestelling die misschien annuleert, is de score laag en wordt het verplaatst naar de achterste koelkast (Host-geheugen) om aanrechtplek te besparen.

4. De "Veilige" Voorbestelling (Conservatief Prefetchen)

Soms denkt de manager dat een station binnenkort nodig zal zijn, dus proberen ze de ingrediënten uit de koelkast naar het aanrecht te brengen voordat de kok erom vraagt.

De Analogie: PBKV is hier zeer conservatief. Het haalt alleen ingrediënten naar buiten als:
1. Er al lege aanrechtplek is.
2. Het niets waardevols van het aanrecht hoeft te schoppen.
3. Het de hoofdleveringsvrachtwagen niet blokkeert (PCIe-bandbreedte).
Waarom? Als de manager verkeerd gokt en de verkeerde ingrediënten naar buiten haalt, moeten ze misschien een juist ingrediënt weggooien om ruimte te maken. Dat is een ramp. PBKV zegt: "Als we niet zeker zijn, gokken we niet met de waardevolle spullen."

De Resultaten: Een Snellere Keuken

De auteurs testten PBKV in drie verschillende "keukens" (werklasten):

Feitencontrole: Een workflow waarin agents informatie verifiëren.
Code schrijven: Een workflow waarin agents code schrijven en repareren (vaak met loops/herhaalde pogingen).
Financiële analyse: Een statische workflow (ter vergelijking).

De bevindingen:

In vergelijking met de oude "Laatst Gebruikt"-regel (LRU), maakte PBKV de keuken 1,85 keer sneller bij dynamische taken.
Het hield de "bereidingsstations" (cache) 2,55 keer vaker klaar dan LRU.
Zelfs in vergelijking met het vorige beste systeem (KVFlow) bij statische taken, was PBKV 1,26 keer sneller.

Het Veiligheidsnet

Het artikel bewijst ook wiskundig dat zelfs als de "Kristallen Bol" (de predictor) fouten maakt, het systeem niet crasht. Het degradeert op een elegante manier.

De Analogie: Als de voorspelling van de manager iets afwijkt, valt het systeem gewoon terug op een veilige, standaard manier van het aanrecht beheren. Het maakt de situatie niet slechter dan wanneer de manager helemaal niet had geprobeerd te voorspellen.

Samenvatting

PBKV is een slimme keukenmanager voor AI-workflows. Het stopt met het weggooen van nuttige gereedschappen alleen omdat ze even stil waren, en het stopt met blind gokken. In plaats daarvan kijkt het vooruit, maakt het voltooide werk direct leeg, en verplaatst het dingen alleen als het veilig is om dat te doen. Het resultaat is een veel sneller, efficiënter AI-systeem dat complexe, veranderende taken aankan zonder vast te lopen.

Technische Samenvatting: Efficiënt Serveren voor Dynamische Agent-Workflows met Op Voorspelling Gebaseerd KV-Cache Beheer (PBKV)

1. Probleemstelling

Multi-agent systemen op basis van Large Language Models (LLM) ontleden complexe taken in sequenties van samenwerkende agenten (bijv. Planner, Coder, Tester). Deze agenten delen aanzienlijke context, wat aanzienlijke kansen biedt voor hergebruik van de Key/Value (KV) cache. Echter, bestaande inferentie-engines (bijv. vLLM, SGLang) vertrouwen doorgaans op het 'Least Recently Used' (LRU)-beleid, dat uitgaat van temporele localiteit. In agent-workflows wordt cache-hergebruik gedreven door de structurele aard van de workflow in plaats van temporele nabijheid; een cache-item kan over meerdere agent-uitvoeringen heen inactief blijven (bijv. tijdens tool-aanroepen of lusiteraties) voordat het opnieuw wordt gebruikt, waardoor LRU het voortijdig verwijdert.

Alternatieve benaderingen zoals KVFlow gaan uit van een statisch, vooraf gedefinieerd agent-stapendiagram (een globale DAG) om verwijdering te bepalen op basis van "stappen tot uitvoering". Deze aanname faalt in realistische dynamische workflows, waarbij de volgorde van opgeroepen agenten afhankelijk is van runtime-context (bijv. een Tester die conditioneel een retry-lus triggert of een Retriever die nieuwe sub-query's genereert).

De kernuitdaging is tweeledig:

Voorspelbaarheid: Agent-werklasten zijn inherent stochastisch door LLM-decodering, wat het moeilijk maakt om toekomstige agent-uitvoeringen te voorspellen.
Kosten van Fouten: Voorspellingsfouten zijn disproportioneel kostbaar. Een cache-miss in een multi-agent setting kan de her-prefill van tienduizenden tokens dwingen die zijn opgebouwd over de gehele workflow-context.

Het artikel vraagt: Hoe kunnen we een KV-Cache-beheerkader ontwerpen voor dynamische multi-agent systemen dat robuust is tegen voorspellingsfouten, maar toch continu profiteert van imperfecte voorspellers?

2. Methodologie: PBKV Systeem

De auteurs stellen PBKV (Prediction-Based KV-Cache Management) voor, een systeem dat toekomstige agent-uitvoeringen voorspelt om de herbruikbaarheidswaarde van bestaande KV-cache-items te evalueren. PBKV werkt op een twee-laags opslaghiërarchie (GPU-geheugen en host-geheugen via HiCache) en bestaat uit drie hoofdcomponenten:

A. Workflow Predictor

In plaats van uit te gaan van een statisch diagram, hanteert PBKV een predictor die complementaire signalen fuseert om de volgende $K$ agent-uitvoeringen voor elke actieve workflow te voorspellen.

Architectuur: Gebaseerd op GraphSAGE, is de predictor inductief, waardoor deze kan generaliseren naar ongezichte workflow-prefixen tijdens runtime.
Signaalfusie:
1. Topologie-bewuste Agent Embedding ( $h_{cur}$ ): Codeert de identiteit van de huidige agent en zijn buurt in het globale call-diagram $G$ (afgeleid van offline traces).
2. Op Attention Gebaseerde Historie Aggregatie ( $h_{path}$ ): Vat de workflow-prefix samen met geschaalde dot-product attention, en onderscheidt workflows die via verschillende paden bij dezelfde agent aankomen.
3. Semantisch Signaal ( $h_{txt}$ ): Hergebruikt de post-norm verborgen toestand van het laatste prefill-token om requestspecifieke intentie vast te leggen, en onderscheidt requests met identieke prefixen maar afwijkende doelen.
Output: De predictor geeft $K$ kansverdelingen uit over aankomende agenten in één enkele forward pass, waardoor autoregressieve foutaccumulatie wordt vermeden.

B. Vooruitkijkende KV-Cache Verwijdering

PBKV vervangt eenvoudige temporele heuristieken door een hiërarchisch verwijderbeleid gedreven door een "vooruitkijkende herbruikbaarheidsscore".

Levenscyclus-bewuste Inname: Cache-knooppunten geassocieerd met beëindigde workflows ("geretireerde cache") worden deterministisch geïdentificeerd en eerst verwijderd, aangezien ze geen herbruikbaarheidspotentieel hebben. Dit biedt een basisverbetering die onafhankelijk is van de voorspellingskwaliteit.
Score-gedreven Actieve Verwijdering: Voor actieve cache wordt een continue score berekend op basis van de voorspelde herbruikbaarheidswaarde:
$\text{Score}(c) = \sum_{k=1}^{K} \gamma^{k-1} \sum_{w \in \mathcal{W}_{act}(c)} s_w^{(k)} \cdot A_w(c) \cdot P_w^{(k)}$
Waarbij:
- $A_w(c)$ de toegangsindicator is (welke agenten in workflow $w$ knooppunt $c$ hebben benaderd).
- $P_w^{(k)}$ de voorspelde kans is op het uitvoeren van een agent die $c$ benadert in stap $k$ .
- $s_w^{(k)}$ de cumulatieve overlevingskans is (workflow niet beëindigd).
- $\gamma < 1$ een vertrouwensvervalfactor is om onbetrouwbare voorspellingen op lange termijn te verdisconteren.
Hiërarchische Strategie: Het systeem prioriteert het verwijderen van geretireerde cache (score = 0) voordat het actieve cache aanraakt. Dit zorgt voor een soepele degradatie: als de predictor slecht is, profiteert het systeem nog steeds van levenscyclus-bewustzijn; als deze accuraat is, maakt het gebruik van meervoudige stappen vooruitkijken.

C. Conservatief Prefetchen

Om transferlatentie te verbergen, laadt PBKV proactief waarschijnlijk te hergebruiken cache vanuit host-geheugen naar de GPU.

Conservatief Principe: Prefetchen is beperkt tot anderszins inactieve GPU-ruimte (vrije ruimte + geretireerde cache) en inactieve PCIe-bandbreedte (tijdens pure-decode batches).
Risico-ontduiking: PBKV verwijdert nooit actieve cache om ruimte te maken voor geprefetchte data. Dit voorkomt dat het systeem waardevolle cache verdringt voor speculatieve winst, en zorgt ervoor dat voorspellingsfouten de prestaties niet onder het basisniveau laten zakken.
Rangschikking: Kandidaten worden gerangschikt op basis van één-staps herbruikbaarheidswaarde (Vergelijking 1) met behulp van een heuristiek onder een strikt budget.

3. Belangrijkste Bijdragen

Formalisatie: Het artikel formaliseert KV-Cache-beheer in multi-agent serveren als een probleem van het voorspellen van toekomstige toegangspatronen, en biedt ontwerprichtlijnen voor voorspellers in deze setting (multi-signaalfusie, meervoudige stappen horizon).
PBKV Kader: De auteurs stellen een systeem voor dat hiërarchische verwijdering (deterministische levenscyclus-inname + probabilistische vooruitkijkende scoring) combineert met conservatief prefetchen.
Theoretische Garantie: Het artikel bewijst dat de prestaties van PBKV Lipschitz-continu degraderen met voorspellingsfouten. Specifiek wordt de verwijderingskosten-regret lineair begrensd door de voorspellingsfout, wat soepele degradatie garandeert zelfs bij imperfecte voorspellers.
Implementatie & Evaluatie: PBKV is geïmplementeerd op SGLang met HiCache en geëvalueerd over diverse werklasten en LLM's.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op drie benchmarks: HoVer (feitverificatie, dynamische lussen), SWE-bench (codegeneratie, retry-lussen) en FinanceBench (statische workflow). Gebruikte modellen waren Qwen3-14B en Qwen3-32B.

Dynamische Workflows:
- PBKV bereikte tot 1,85× snelheidswinst in end-to-end latentie en 2,55× verbetering in KV-Cache hit-rate vergeleken met LRU.
- De "Levenscyclus-bewuste Verwijdering" (PBKV-LAE) alleen verbeterde hit-rates met 1,66× ten opzichte van LRU, wat de waarde van eenvoudige levenscyclussignalen aantoont.
- Het volledige systeem (PBKV-HE + Prefetching) handhaafde hoge hit-rates (~50-60%) zelfs onder zware geheugendruk, waarbij LRU daalde tot ~10%.
Statische Workflows:
- Op de statische FinanceBench werklast presteerde PBKV 1,26× beter in latentie en 1,39× beter in hit-rate dan de SOTA-baseline KVFlow. De auteurs schrijven dit toe aan PBKV's levenscyclus-bewuste verwijdering (voorkomen van voortijdige verwijdering van actieve cache) en cross-workflow aggregatie van herbruikbaarheidsscores.
Robuustheid:
- Sensitiviteitsanalyse toonde aan dat zelfs met zwakkere predictor-ruggengraten (bijv. R-GCN, Markov-modellen), PBKV consequent beter presteerde dan LRU en de variant zonder voorspelling (PBKV-LAE).
- Conservatief prefetchen bood stabiele winsten, terwijl agressief prefetchen (verwijderen van actieve cache) contraproductief werd onder matige voorspellingsruis.

5. Betekenis en Claims

Het artikel stelt dat PBKV een kritieke kloof aanpakt in het serveren van dynamische agent-workflows, waar bestaande statische aannames (KVFlow) of temporele heuristieken (LRU) falen.

Robuustheid boven Optimaliteit: De auteurs benadrukken dat PBKV is ontworpen om robuust te zijn tegen de inherente onzekerheid van agent-systemen. Door deterministische veiligheidsmarges (levenscyclus-inname) te combineren met conservatieve speculatie (prefetchen alleen op inactieve resources), zorgt het systeem ervoor dat imperfecte voorspellingen de prestaties niet schaden.
Soepele Degradatie: Het theoretische bewijs van Lipschitz-continuïteit stelt vast dat de prestaties van PBKV stabiel zijn; naarmate de voorspellingsnauwkeurigheid verbetert, verbeteren de prestaties lineair, maar slechte nauwkeurigheid veroorzaakt geen catastrofale uitval.
Generaliseerbaarheid: De predictor is ontworpen als een plugbare module. De ontwerpprincipes van het systeem (hiërarchische verwijdering, conservatief prefetchen) zijn onafhankelijk van de specifieke gebruikte voorspeller, waardoor het kader kan profiteren van toekomstige vooruitgang in workflow-voorspelling.

De auteurs concluderen dat PBKV aanzienlijk beter presteert dan zowel LRU als de state-of-the-art statische-aware baseline over dynamische en statische werklasten, wat de effectiviteit van op voorspelling gebaseerd, conservatief cache-beheer in multi-agent serveren valideert.