Technische Samenvatting: CacheTTL

Probleemstelling

Inferentie-engines voor Large Language Models (LLM) vertrouwen momenteel op "einde-draai"-verwijderingsbeleid voor het beheer van de Key-Value (KV) cache. In deze systemen wordt de KV cache van een verzoek verwijderd uit het GPU-geheugen zodra het decoderen is voltooid, om de benutting voor nieuwe binnenkomende verzoeken te maximaliseren. Hoewel dit beleid effectief is voor standaard multi-turn chatbots, faalt het voor agentische werklasten (bijvoorbeeld software-engineering-agenten, tool-gebruikende agenten) die het ReAct-paradigma volgen.

In agentische workflows worden inferentiestappen afgewisseld met externe tooloproepen. Deze tooloproepen introduceren pauzes die vaak korter zijn dan menselijke typsnelheden, maar lang genoeg om KV-cacheverwijdering in standaard-engines te triggeren. Wanneer de agent terugkeert van een tooloproep om de volgende inferentiestap te starten, moet het systeem het volgende doen:

1. De prefix herberekenen (prefill), wat aanzienlijke latentie met zich meebrengt.
2. De KV cache herladen vanuit CPU-geheugen (als uitbelasting is ingeschakeld), wat wachttijden per draai introduceert. Zelfs als het herladen snel is, moet het verzoek in de wachtrij wachten totdat GPU-geheugen vrijkomt door andere actieve verzoeken.

Bestaande oplossingen adresseren dit niet holistisch:

• InferCept overweegt herlaadkosten, maar negeert de ophopende wachttijd per draai en mist robuustheid tegen variabele toolduur.
• Autellix en Pie richten zich op statische workflows of missen specifieke retentiebeleid voor dynamische tooloproepen.
• Statische retentie-strategieën riskeren het vastlopen van GPU-geheugen als tooloproepen langer duren dan verwacht.

De kernuitdaging is KV-caches lang genoeg te behouden om herberekening en wachttijden te voorkomen, zonder GPU-geheugen te monopoliseren tijdens onvoorspelbare tool-uitvoeringstijden.

Methodologie: CacheTTL

De auteurs stellen CacheTTL voor, een serversysteem dat een Time-to-Live (TTL)-mechanisme introduceert voor KV-cache-retentie. In plaats van onmiddellijke verwijdering, pinnt CacheTTL selectief KV-caches in het GPU-geheugen voor een berekende duur.

1. Kosten-baten Nuttigheidsmodel

CacheTTL bepaalt de optimale TTL ($\tau$) door de afweging te modelleren tussen de kosten van het behouden van de cache en het voordeel van het vermijden van verwijdering.

• Kosten ($Cost(\tau, r)$): De opportuniteitskosten van het bezetten van GPU-geheugen, berekend als de verhouding van het geheugengebruik van het verzoek tot het gemiddelde geheugenfootprint van actieve verzoeken, vermenigvuldigd met de TTL-duur ($\tau$). Dit vertegenwoordigt de latentie die wordt toegevoegd aan andere verzoeken die worden geblokkeerd door de gepinde cache.
• Baten ($Benefit(r)$): De som van twee vermeden kosten:
  1. CacheMissCost: De tijd die nodig is om de KV cache te reconstrueren (prefill) of te herladen vanuit CPU.
  2. OutofOrderCost: De wachttijd per draai die zou optreden als het verzoek zou worden verwijderd en in de wachtrij zou moeten wachten totdat GPU-geheugen beschikbaar komt. Deze term is cruciaal en onderscheidt CacheTTL van eerdere werken zoals InferCept. Deze wordt geschaald met een geheugenfactor ($\eta$), die meet hoe het aantal resterende stappen correleert met de huidige voortgang (bijvoorbeeld hebben vast-lengte programma's een hoge geheugenfactor).

2. TTL-berekening

Het systeem berekent de optimale TTL ($\tau^*$) door de verwachte nettobaten te maximaliseren:
$$\tau^* = \arg\max_{\tau} \left( P(\tau, f) \times Benefit(r) - Cost(\tau, r) \right)$$
Waarbij $P(\tau, f)$ de waarschijnlijkheid is dat tooloproep $f$ binnen tijd $\tau$ voltooid is, geschat met behulp van een empirische Cumulatieve Distributiefunctie (CDF) uit historische tooloproep-records.

• Cold Start-handling: Wanneer historische data schaars is, gebruikt CacheTTL standaard een vaste TTL afgeleid van een exponentiële verdelingsaanneming of globale gemiddelden.
• Robuustheid: Als een tooloproep de TTL overschrijdt, wordt de KV cache automatisch verwijderd, waardoor onbeperkte geheugenbezetting en potentiële deadlocks worden voorkomen.

3. Planning en Systeemontwerp

• Programma-niveau FCFS: CacheTTL combineert TTL met een First-Come-First-Serve (FCFS)-beleid op programmaniveau (niet alleen op verzoekniveau). Dit zorgt ervoor dat verzoeken die tot hetzelfde agentprogramma behoren, prioriteit krijgen om continuïteit te behouden.
• TTL-bewuste Prioriteit: De planner wijst een multi-sleutel prioriteitstuple toe:
  1. Status van gepreempt.
  2. TTL-status: Verzoeken met actieve TTL's (gepind) krijgen prioriteit boven ongepinde verzoeken.
  3. Aankomsttijd op programmaniveau.
• Implementatie: Gebouwd bovenop vLLM met een modulaire Tool-Call Handler. Deze handler analyseert LLM-outputs om tooloproepen te identificeren, registreert intervallen tussen verzoeken en communiceert TTL-waarden naar de planner. Het ontwerp voegt minimale overhead toe (~1k regels Python) en is compatibel met CPU/SSD-uitbelasting.

Belangrijkste Bijdragen

1. Probleemidentificatie: Het paper identificeert dat bestaande KV-cacheverwijderingsbeleid de prestaties van agenten verslechtert door wachttijden per draai en de variabiliteit van tooloproepduur te negeren.
2. CacheTTL Systeem: Een nieuw serversysteem dat een TTL-mechanisme gebruikt om KV-caches dynamisch te behouden. Het weegt prefill/herlaadkosten af tegen kosten van geheugenconcurrentie.
3. Nieuw Kostenmodel: De introductie van de OutofOrderCost-term, die de wachttijdstraf van verwijdering kwantificeert, en de geheugenfactor om zich aan te passen aan verschillende werklaststructuren.
4. Robuustheid: Het systeem behandelt onvoorspelbare toolduur door een maximale retentietijd af te dwingen, waardoor deadlocks en geheugendruk worden voorkomen.

Experimentele Resultaten

De auteurs evalueerden CacheTTL met Llama-3.1 (8B/70B), Gemma-3 (12B) en GLM-4.5 (355B) over SWE-Bench, BFCL en OpenHands-werklasten op verschillende hardware (A100, H100, B200).

• Latentie-reductie: CacheTTL vermindert de gemiddelde voltooiingstijd van taken met 1,12x tot 3,66x ten opzichte van baselines (vLLM, Autellix, InferCept). In real-world SWE-agent-tests op het interne testbed van Bedrijf A werd een verbetering in vertraging van tot 8,18x bereikt.
• Throughput: De throughput verbeterde met 1,10x tot 3,22x.
• Robuustheid: Het systeem behoudt stabiele prestaties naarmate het aantal draaien toeneemt, terwijl baselines significant verslechteren door ophopende wachttijden.
• Compatibiliteit: CacheTBL presteert beter dan baselines, zelfs in combinatie met CPU- en SSD-uitbelasting, wat aantoont dat de planningsvoordelen orthogonaal zijn aan geheugen-uitbelastingstechnieken.
• Overhead: De plannings-overhead is verwaarloosbaar (enkele milliseconden), wat ruimschoots wordt opgevangen door de end-to-end-latentiewinst.

Betekenis en Claims

Het paper beweert dat CacheTTL de eerste robuuste, tool-bewuste KV-cachebeheerstrategie biedt die specifiek is ontworpen voor multi-turn agentische werklasten. Door te verschuiven van "einde-draai"-verwijdering naar een TTL-gebaseerd retentiebeleid, overbrugt het systeem effectief de kloof tussen LLM-inferentie en externe tool-uitvoering.

De auteurs benadrukken dat hun aanpak modulair is en met minimale wijzigingen kan worden geïntegreerd in bestaande inferentie-engines. Zij betogen dat principieel, tool-bewust KV-beheer essentieel is voor de toekomst van efficiënt agent-servers, vooral naarmate agentische workflows complexer en multi-turn worden. Het paper sluit af met het open-source maken van hun traces, code en testbed om verder onderzoek in agent-servers te stimuleren.