Learning Agent Execution for KV-Cache Management in Agentic Serving
Dieses Paper stellt CacheScout vor, eine agentenbewusste KV-Cache-Runtime, die Online-Agenten-Ausführungstransitionen erlernt, um die Cache-Eviction und das Prefetching proaktiv zu steuern, wodurch die Trefferraten signifikant verbessert und die Latenz für das Multi-Agenten-LLM-Serving ohne die Notwendigkeit vordefinierter Workflow-Graphen erheblich reduziert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt der künstlichen Intelligenz hat eine neue Art der Entwicklung intelligenter Assistenten Einzug gehalten. Anstatt ein einzelnes, allwissendes Computergehirn zu fragen, um ein komplexes Problem in einem Durchgang zu lösen, zerlegen Entwickler Aufgaben nun in ein Team spezialisierter digitaler Arbeiter. Stellen Sie sich einen Reiseplaner vor, der zuerst einen Agenten fragt, um Flüge zu finden, dann die Aufgabe an einen anderen Agenten übergibt, um Hotels zu buchen, und schließlich die Aufgabe an einen dritten weiterreicht, um Restaurants zu lokalisieren. Jeder dieser Agenten ist ein Large Language Model, eine Art von Software, die das nächste Wort in einem Satz basierend auf Mustern vorhersagt, die sie gelernt hat. Um dies zu tun, muss die Software eine große Menge an Informationen in ihrem Kurzzeitgedächtnis, dem sogenannten Key-Value-Cache, halten. Dieses Gedächtnis fungiert wie ein Arbeitsbereich, in dem das Modell die Regeln des Spiels, die Definitionen der Werkzeuge, die es nutzen kann, und die Beispiele für das Verhalten aufbewahrt. Jedes Mal, wenn ein neuer Agent zum Gespräch stößt, bringt er seine eigenen Anweisungen und Beispiele mit, was einen großen Datenblock erzeugt, den das System verarbeiten muss, bevor es mit der Beantwortung der spezifischen Frage des Nutzers beginnen kann.
Die Herausforderung besteht darin, dass diese digitalen Teams dynamisch sind. Der erste Agent könnte seine Aufgabe beendet haben, und das System könnte sofort zu einem völlig anderen Agenten wechseln, oder es könnte später zum ersten zurückkehren. Aktuelle Computersysteme, die diese KI-Teams ausführen, verwalten ihr Gedächtnis reaktiv. Sie behalten die zuletzt verwendeten Informationen und verwerfen die älteren, um Platz für neue Anfragen zu schaffen. Dies funktioniert gut für einfache Gespräche, erzeugt aber in einem Multi-Agenten-Team eine frustrierende Ineffizienz. Das System wirft oft die festen Anweisungen und Beispiele eines Agenten weg, nur weil dieser Agent in den letzten paar Sekunden nicht gesprochen hat, obwohl derselbe Agent wahrscheinlich im nächsten Schritt wieder aufgerufen wird. Wenn der Agent zurückkehrt, muss das System all diese Anweisungen von Grund auf neu lesen und verarbeiten, was Zeit und Rechenleistung verschwendet. Dieser Zyklus des Verwerfens und Neu-Lernens verlangsamt den gesamten Betrieb und lässt die KI träge und teuer im Betrieb erscheinen.
Forscher der University of California, Santa Cruz, und anderer Institutionen haben einen neuen Ansatz entwickelt, um dieses Problem zu lösen, den sie CacheScout nennen. Anstatt lediglich zu beobachten, was in der Vergangenheit passiert ist, lernt dieses System vorherzusagen, was als Nächstes passieren wird. Es betrachtet den Fluss des Gesprächs nicht als eine zufällige Abfolge von Ereignissen, sondern als ein Muster von Übergängen zwischen verschiedenen Arbeitern. Indem es beobachtet, wie oft ein Reiseagent von einem Hotelagenten gefolgt wird, oder wie ein Programmier-Agent zu einem Review-Agent wechseln könnte, erstellt das System während des Betriebs eine mentale Karte des Workflows. Es benötigt kein vorgefertigtes Skript oder eine vom Entwickler bereitgestellte Karte; es lernt diese Verbindungen während des laufenden Betriebs und aktualisiert sein Verständnis mit jeder einzelnen Anfrage, die es verarbeitet.
Der Kern dieses neuen Systems ist eine leichtgewichtige Schicht, die zwischen den KI-Agenten und der Computerhardware sitzt. Wenn ein Agent seine Aufgabe beendet hat, betrachtet diese Schicht die Historie des Gesprächs und sagt voraus, welcher Agent als Nächstes am wahrscheinlichsten sprechen wird. Wenn das System hinsichtlich des nächsten Schritts sicher ist, unternimmt es zwei spezifische Maßnahmen, um die Geschwindigkeit zu erhöhen. Erstens: Wenn es alte Daten löschen muss, um Platz zu schaffen, weigert es sich, die Anweisungen für den Agenten zu löschen, der voraussichtlich bald zurückkehren wird, selbst wenn dieser Agent schon länger nicht mehr gesprochen hat. Es schützt diese wertvollen Datenblöcke basierend auf ihrer zukünftigen Bedeutung statt auf ihrer vergangenen Nutzung. Zweitens: Während das System auf die nächste Anfrage wartet, bereitet es das Gedächtnis für den vorhergesagten Agenten leise und unsichtbar vor. Es lädt die notwendigen Anweisungen in den schnellen Speicher, noch bevor der Nutzer sie überhaupt anfordert, sodass der Agent, wenn er schließlich mit der Arbeit beginnt, ohne Verzögerung sofort loslegen kann.
Die Forscher testeten dieses System bei realen Aufgaben, einschließlich der Reiseplanung, dem Lösen von Mathematikproblemen und dem Schreiben von Programmcode. Sie fanden heraus, dass das System durch das Erinnern an die Verhaltensmuster der Agenten das vorhandene Gedächtnis viel häufiger als zuvor nutzen konnte. In ihren Tests stieg die Rate, mit der das System das bestehende Gedächtnis erfolgreich wiederverwendete, um zehn bis achtzehn Prozentpunkte. Diese Verbesserung schlug sich direkt in der Geschwindigkeit nieder. Die Zeit, bis das erste Wort einer Antwort erschien, sank um bis zu 45 Prozent, und die Gesamtzeit zur Durchführung eines einzelnen Gesprächsschritts fiel um fast 40 Prozent. Das System konnte auch mehr Anfragen gleichzeitig bearbeiten, wodurch die Gesamtzahl der pro Sekunde abgeschlossenen Aufgaben um bis zu 57 Prozent stieg.
Entscheidend ist, dass die Forscher zeigten, dass dieser Ansatz auch dann funktioniert, wenn der Workflow nicht fest vorgegeben ist. In vielen modernen Anwendungen wird der nächste Schritt in Echtzeit von der KI selbst entschieden, was bedeutet, dass der Pfad unvorhersehbar variieren kann. Das neue System passt sich dieser Fluidität an, indem es die häufigsten Pfade während des Prozesses lernt und seine Vorhersagen entsprechend anpasst. Es erwies sich auch bei wesentlich größeren und komplexeren KI-Modellen als effektiv und behielt seine Geschwindigkeitsvorteile bei, selbst wenn die Speicheranforderungen deutlich höher waren. Das System erreicht all dies, ohne den Computer zu verlangsamen oder komplexe neue Hardware zu benötigen; es fügt dem Speicherverwaltungsprozess lediglich eine kleine Menge an Intelligenz hinzu und verwandelt so ein passives Speichersystem in einen aktiven Teilnehmer, der weiß, was als Nächstes kommt.
Die Ergebnisse legen nahe, dass die Zukunft des effizienten KI-Servings im Verständnis des Kontexts der Arbeit liegt, nicht nur in den Daten selbst. Indem das System erkennt, dass ein Reiseagent wahrscheinlich von einem Hotelagenten gefolgt wird, hört es auf, jeden Moment als Neuanfang zu betrachten, und beginnt, das Gespräch als eine kontinuierliche Reise zu sehen. Dieser Wechsel von der Reaktion auf die Vergangenheit hin zur Vorbereitung auf die Zukunft ermöglicht es diesen digitalen Teams, viel schneller und effizienter zu arbeiten, was die Engpässe beseitigt, die den Einsatz komplexer KI-Anwendungen gebremst haben. Das Ergebnis ist ein System, das reaktionsschneller und leistungsfähiger wirkt und in der Lage ist, die komplizierten, mehrstufigen Aufgaben zu bewältigen, die die nächste Generation der intelligenten KI-Dienste definieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.