Learning Agent Execution for KV-Cache Management in Agentic Serving
Dit artikel introduceert CacheScout, een agent-bewuste KV-cache runtime die online agent-executietransities leert om proactief cache-evictie en prefetching te beheren, wat de hitrates aanzienlijk verbetert en de latentie vermindert voor multi-agent LLM-serving zonder dat vooraf gedefinieerde workflowgrafieken vereist zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van kunstmatige intelligentie heeft een nieuwe manier van het bouwen van slimme assistenten de overhand gekregen. In plaats van één enkele, alwetende computerbrein te vragen om een complex probleem in één keer op te lossen, verdelen ontwikkelaars taken nu onder een team van gespecialiseerde digitale werkers. Stel je een reisplanner voor die eerst één agent vraagt om vluchten te zoeken, dan de taak overdraagt aan een andere agent om hotels te boeken, en vervolgens de taak doorgeeft aan een derde om restaurants te lokaliseren. Elke van deze agents is een groot taalmodel, een type software dat het volgende woord in een zin voorspelt op basis van patronen die het heeft geleerd. Om dit te doen, moet de software een enorme hoeveelheid informatie vasthouden in zijn kortetermijngeheugen, bekend als een key-value cache. Dit geheugen fungeert als een werkruimte waar het model de regels van het spel, de definities van de tools die het kan gebruiken, en de voorbeelden van hoe het zich moet gedragen, bijhoudt. Elke keer dat een nieuwe agent deelneemt aan het gesprek, brengt deze een eigen set instructies en voorbeelden mee, wat een grote brok data creëert die het systeem moet verwerken voordat het de specifieke vraag van de gebruiker kan beantwoorden.
De uitdaging ontstaat omdat deze digitale teams dynamisch zijn. De eerste agent kan zijn taak voltooien, waarna het systeem onmiddellijk kan overschakelen naar een totaal andere agent, of het kan later terugkeren naar de eerste agent. Huidige computersystemen die deze AI-teams draaien, beheren hun geheugen reactief. Ze houden de meest recent gebruikte informatie vast en gooien de oudere zaken weg om ruimte te maken voor nieuwe verzoeken. Dit werkt goed voor eenvoudige gesprekken, maar in een multi-agent team creëert dit een frustrerende inefficiëntie. Het systeem gooit vaak de vaste instructies en voorbeelden van een agent weg, simpelweg omdat die agent al een paar seconden niet meer heeft gesproken, ook al is diezelfde agent zeer waarschijnlijk in de volgende stap weer aan de beurt. Wanneer de agent terugkeert, moet het systeem al die instructies opnieuw lezen en verwerken, wat tijd en rekenkracht verspilt. Deze cyclus van weggooien en opnieuw leren vertraagt de hele operatie, waardoor de AI traag en duur in gebruik aanvoelt.
Onderzoekers aan de Universiteit van Californië, Santa Cruz, en andere instellingen hebben een nieuwe aanpak ontwikkeld om dit probleem op te lossen, genaamd CacheScout. In plaats van simpelweg te kijken naar wat er in het verleden is gebeurd, leert dit systeem te anticiperen op wat er hierna zal gebeuren. Het behandelt de stroom van het gesprek niet als een willekeurige reeks gebeurtenissen, maar als een patroon van overgangen tussen verschillende werkers. Door te observeren hoe vaak een reisagent wordt gevolgd door een hotelagent, of hoe een programmeeragent mogelijk overschakelt naar een review-agent, bouwt het systeem een mentale kaart van de workflow terwijl het draait. Het heeft geen vooraf geschreven script of een kaart nodig die door de ontwikkelaars is verstrekt; het leert deze verbindingen on the fly, waarbij het zijn begrip bij elke verwerking van een verzoek bijwerkt.
De kern van dit nieuwe systeem is een lichtgewicht laag die tussen de AI-agents en de computerhardware zit. Wanneer een agent zijn taak voltooit, kijkt deze laag naar de geschiedenis van het gesprek en voorspelt welke agent het meest waarschijnlijk als volgende zal spreken. Als het systeem zeker is over de volgende stap, onderneemt het twee specifieke acties om zaken te versnellen. Ten eerste, wanneer het systeem oude data moet wissen om ruimte te maken, weigert het de instructies voor de agent te verwijderen die voorspeld wordt binnenkort terug te keren, zelfs als die agent al een tijdje niet heeft gesproken. Het beschermt deze waardevolle brokken geheugen op basis van hun toekomstige belang in plaats van hun verleden gebruik. Ten tweede, terwijl het systeem wacht op het volgende verzoek, bereidt het de geheugenstructuur voor de voorspelde agent stilzwijgend en onzichtbaar voor. Het laadt de noodzakelijke instructies in het snelle geheugen voordat de gebruiker er zelfs maar om vraagt, zodat wanneer de agent eindelijk begint te werken, deze direct zonder vertraging kan starten.
De onderzoekers testten dit systeem op real-world taken, waaronder het plannen van reizen, het oplossen van wiskundige problemen en het schrijven van softwarecode. Ze ontdekten dat door de patronen van agentgedrag te onthouden, het systeem de juiste informatie veel vaker in het geheugen kan houden dan voorheen. In hun tests steeg de snelheid waarmee het systeem bestaand geheugen succesvol hergebruikte met tien tot achttien procentpunten. Deze verbetering vertaalde zich direct in snelheid. De tijd die het kostte voordat het eerste woord van een antwoord verscheen, daalde met maar liefst veertig vijf procent, en de totale tijd om een enkele beurt van het gesprek te voltooien, daalde met bijna veertig procent. Het systeem kon ook meer verzoeken tegelijkertijd afhandelen, waardoor het totale aantal taken dat het per seconde kon voltooien met tot wel zevenenvijftig procent toenam.
Cruciaal is dat de onderzoekers lieten zien dat deze aanpak werkt, zelfs wanneer de workflow niet vaststaat. In veel moderne toepassingen wordt de volgende stap in realtime door de AI zelf bepaald, wat betekent dat het pad onvoorspelbaar kan veranderen. Het nieuwe systeem past zich aan deze vloeibaarheid aan, leert de meest voorkomende paden terwijl ze plaatsvinden en past zijn voorspellingen dienovereenkomstig aan. Het bleek ook effectief bij veel grotere en complexere AI-modellen, waarbij de snelheidvoordelen behouden bleven, zelfs wanneer de geheugeneisen aanzienlijk hoger waren. Het systeem bereikt dit alles zonder de computer te vertragen of complexe nieuwe hardware te vereisen; het voegt simpelweg een kleine hoeveelheid intelligentie toe aan het geheugenbeheer, waardoor een passief opslagsysteem verandert in een actieve deelnemer die weet wat er komt.
De bevindingen suggereren dat de toekomst van efficiënt AI-serveren ligt in het begrijpen van de context van het werk, niet alleen de data zelf. Door te herkennen dat een reisagent waarschijnlijk wordt gevolgd door een hotelagent, stopt het systeem met het behandelen van elk moment als een nieuw begin en begint het het gesprek te zien als een continue reis. Deze verschuiving van het reageren op het verleden naar het voorbereiden op de toekomst stelt deze digitale teams in staat om veel sneller en efficiënter te werken, waardoor de knelpunten die de implementatie van complexe AI-toepassingen hebben vertraagd, worden weggenomen. Het resultaat is een systeem dat responsiever en krachtiger aanvoelt, in staat om de ingewikkelde, meerstaps-taken aan te kunnen die de volgende generatie van kunstmatige intelligentie-diensten definiëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.