Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf
Dieses Papier stellt XPerf vor, ein Benchmarking-Framework, das reproduzierbare Lasttests und detailliertes Performance-Profiling von LLM-Serving-Systemen unter diversen agentischen KI-Workloads ermöglicht, indem es einen feingranularen Trace-Replay-Ansatz nutzt, um die Herausforderungen nichtdeterministischer Kontrollflüsse zu bewältigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Landschaft der künstlichen Intelligenz ist eine neue Generation von Software entstanden, die mehr tut, als bloß Fragen zu beantworten; sie handelt. Diese Programme, bekannt als Agenten, können komplexe Aufgaben in kleinere Schritte zerlegen, digitale Werkzeuge nutzen, um Informationen zu sammeln, und Entscheidungen treffen, basierend auf dem, was sie finden. Im Gegensatz zu einem Standard-Chatbot, der nach jeder Antwort auf einen neuen Prompt wartet, könnte ein Agent ein Forschungsprojekt planen, das Internet nach Daten durchsuchen, Code schreiben, um diese Daten zu analysieren, und dann seinen Ansatz basierend auf den Ergebnissen verfeinern. Dieser Prozess beinhaltet eine kontinuierliche Schleife aus Denken und Handeln, bei der die Software in einer einzigen Sitzung viele Male ein großes Sprachmodell aufruft, um ihren Weg zu leiten.
Damit diese Agenten in der realen Welt nützlich sind, müssen die Computersysteme, die sie antreiben, unglaublich schnell und effizient sein. Diese Systeme, sogenannte Serving-Engines, sind dafür verantwortlich, die Berechnungen des Sprachmodells zu verarbeiten. Das Testen der Leistungsfähigkeit dieser Engines ist jedoch schwierig, da der Pfad, den ein Agent einschlägt, unvorhersehbar ist. Genau wie ein Mensch ein Problem eines Tages in fünf Schritten und am nächsten Tag in zehn Schritten lösen kann, verändert sich die Reise eines Agenten jedes Mal, wenn er ausgeführt wird, selbst wenn ihm exakt dieselben Startanweisungen gegeben werden. Diese Unvorhersehbarkeit macht es für Ingenieure schwierig zu wissen, ob ein System wirklich schnell ist oder ob es nur Glück hatte, dass ein bestimmter Test zufällig einfach verlief.
Um dieses Problem zu lösen, haben Forscher der University of Illinois und von IBM Research ein neues Werkzeug namens XPerf entwickelt. Dieses System ermöglicht es Ingenieuren, den exakten Pfad aufzuzeichnen, den ein Agent während einer realen Aufgabe nimmt, und diesen identischen Pfad dann wiederholt abzuspielen, um verschiedene Computersysteme zu testen. Durch das Erfassen der spezifischen Sequenz von Entscheidungen und Aktionen eliminiert XPerf das Element des Zufalls. Es stellt sicher, dass ein Ingenieur, wenn er ein neues Software-Update testet, dieses gegen exakt dieselbe Arbeitslast vergleicht, anstatt zu raten, wie das System mit einem anderen, zufälligen Satz von Schritten umgehen würde. Diese Präzision ist entscheidend, um Engpässe zu identifizieren und zu verstehen, warum ein System unter Druck langsamer wird.
Die Forscher nutzten XPerf, um acht verschiedene Arten von Agenten-Anwendungen zu untersuchen, die von Werkzeugen zum Schreiben von Code und Debuggen von Software bis hin zu Systemen reichen, die tiefgehende Recherchen durchführen und komplexe Fragen beantworten. Sie fanden heraus, dass sich diese Anwendungen sehr anders als Standard-Chatbots verhalten. Während eine typische Konversation aus wenigen Hin-und-Her-Nachrichten bestehen kann, kann ein Agent dutzendweise interne Aufrufe an das Sprachmodell auslösen, um eine einzige Benutzeranfrage zu erfüllen. In einigen Fällen führte eine einzelne Anfrage an einen Coding-Agenten zu durchschnittlich siebzehn separaten Aufrufen des Sprachmodells, wobei einige Anfragen fast vierzig Aufrufe auslösten. Diese Komplexität bedeutet, dass das System ein Geflecht aus abhängigen Aufgaben verwalten muss, bei dem ein Schritt nicht beginnen kann, bevor der vorherige abgeschlossen ist.
Eine wichtige Entdeckung ihrer Tests war, dass die Leistung dieser Systeme sehr sensibel darauf reagiert, wie die Anfragen gehandhabt werden. Die Forscher beobachteten, dass das System oft Schwierigkeiten hat, sich an den Kontext vorangegangener Schritte zu erinnern, wenn viele Agenten gleichzeitig laufen. Sprachmodelle verlassen sich auf eine Form des Kurzzeitgedächtnisses, einen sogenannten Cache, um Informationen nicht jedes Mal neu lesen zu müssen, die sie bereits verarbeitet haben. Wenn das System jedoch unter hoher Last steht, wirft es manchmal alte Informationen heraus, um Platz für neue Anfragen zu schaffen, selbst wenn diese Informationen nur einen Moment später wieder benötigt werden. Dies zwingt den Computer dazu, alles von Grund auf neu zu berechnen, was Zeit und Energie verschwendet. Die Studie zeigte, dass dieser „Thrashing“-Effekt (das ständige Hin- und Herschieben von Daten) dazu führen kann, dass das System signifikant langsamer wird, wobei einige Anwendungen eine Verlangsamung der Geschwindigkeit um fast vierzig Prozent erfuhren, wenn die Anzahl der Anfragen anstieg.
Das Team testete auch, wie gut verschiedene Strategien für die Verwaltung mehrerer Computerprozessoren funktionieren. Sie fanden heraus, dass es nicht immer zu den besten Ergebnissen führt, die Arbeit einfach gleichmäßig auf alle verfügbaren Prozessoren zu verteilen. Tatsächlich war eine Strategie, welche die Schritte einer einzelnen Agenten-Reise auf demselben Prozessor hielt, weita viel effizienter. Dieser Ansatz ermöglichte es dem System, den notwendigen Kontext im Speicher zu behalten und so die Notwendigkeit der Neuberechnung von Informationen zu vermeiden. Durch die Verwendung von XPerf, um exakt dieselbe Arbeitslast unter verschiedenen Bedingungen abzuspielen, konnten die Forscher klar sehen, dass dieser gezielte Ansatz die Verarbeitungsgeschwindigkeit im Vergleich zur Standardmethode der zufälligen Arbeitsverteilung um mehr als das Dreifache verbesserte.
Über die reine Messung der Geschwindigkeit hinaus bot XPerf einen detaillierten Einblick in die inneren Abläufe der Computerhardware selbst. Die Forscher konnten genau sehen, wie viel des Computerspeichers genutzt wurde und wie hart die Prozessorchips arbeiteten. Sie entdeckten, dass die Prozessoren des Computers hart arbeiteten, aber keine nützlichen Ergebnisse produzierten, wenn das System aufgrund schlechten Speichermanagements gezwungen war, Informationen neu zu berechnen. Es war ein Fall von hoher Anstrengung bei gleichzeitig niedriger Effizienz. Diese Detailtiefe hilft Ingenieuren zu verstehen, nicht nur dass ein System langsam ist, sondern exakt warum es langsam ist, was es ihnen ermöglicht, den spezifischen Teil der Software zu beheben, der das Problem verursacht.
Die Studie hob auch hervor, dass die Art und Weise, wie ein Agent entworfen ist, ebenso wichtig ist wie der Computer, auf dem er läuft. Es wurde festgestellt, dass einige Anwendungen wesentlich effizienter als andere sind – nicht weil sie intelligenter sind, sondern weil sie besser mit dem Speicher des Computers arbeiten. Zum Beispiel zerstörte ein Forschungstool, das bei jeder gesendeten Nachricht einen wechselnden Zeitstempel hinzufügte, versehentlich die Fähigkeit zur Speicherwiederverwendung, was das System zwang, jedes Mal von vorne zu beginnen. Durch das Entfernen dieser unnötigen Änderung konnten die Forscher die Effizienz des Systems signifikant verbessern. Dies deutet darauf hin, dass kleine Änderungen in der Art und Weise, wie Software geschrieben wird, eine massive Auswirkung auf die Leistung haben können.
Letztendlich dient XPerf als zuverlässiger Spiegel für die Welt der KI-Agenten. Es ermöglicht Entwicklern, ihre Systeme klar zu sehen, ohne die Verzerrung durch zufällige Variationen. Durch die Bereitstellung einer Möglichkeit, diese komplexen Anwendungen zu testen, zu messen und zu verstehen, hilft das Werkzeug dabei, sicherzustellen, dass die nächste Generation der KI-Software robust, schnell und bereit für die Anforderungen des realen Einsatzes ist. Die Forscher haben dieses Werkzeug der Öffentlichkeit zugänglich gemacht, in der Hoffnung, die Entwicklung besserer Systeme für alle zu beschleunigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.