Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf
Cet article présente XPerf, un cadre de benchmarking qui permet des tests de charge reproductibles et un profilage de performance détaillé des systèmes de service de LLM sous diverses charges de travail d'IA agentique en utilisant une approche de rejeu de traces à granularité fine pour surmonter les défis des flux de contrôle non déterministes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le paysage en évolution rapide de l'intelligence artificielle, une nouvelle génération de logiciels est apparue, qui fait plus que simplement répondre à des questions ; elle agit. Ces programmes, appelés agents, peuvent décomposer des tâches complexes en étapes plus petites, utiliser des outils numériques pour recueillir des informations et prendre des décisions basées sur ce qu'ils trouvent. Contra à un chatbot standard qui attend une nouvelle instruction après chaque réponse, un agent peut planifier un projet de recherche, chercher des données sur le Web, écrire du code pour analyser ces données, puis affiner son approche en fonction des résultats. Ce processus implique une boucle continue de réflexion et d'action, où le logiciel fait appel à un modèle de langage de grande taille de nombreuses fois au cours d'une seule session pour guider son parcours.
Pour que ces agents soient utiles dans le monde réel, les systèmes informatiques qui les alimentent doivent être incroyablement rapides et efficaces. Ces systèmes, appelés moteurs de service (serving engines), sont responsables du traitement des calculs du modèle de langage. Cependant, tester la performance de ces moteurs est difficile car le chemin emprunté par un agent est imprévisible. Tout comme un humain peut résoudre un problème en cinq étapes un jour et en dix étapes le lendemain, le parcours d'un agent change à chaque exécution, même lorsqu'on lui donne exactement les mêmes instructions de départ. Cette imprévisibilité rend difficile pour les ingénieurs de savoir si un système est réellement rapide ou s'il a simplement eu de la chance parce qu'un test particulier s'est avéré simple.
Pour résoudre ce problème, des chercheurs de l'Université de l'Illinois et d'IBM Research ont développé un nouvel outil appelé XPerf. Ce système permet aux ingénieurs d'enregistrer le chemin exact emprunté par un agent lors d'une tâche réelle, puis de rejouer ce même chemin de manière répétée pour tester différents systèmes informatiques. En capturant la séquence spécifique de décisions et d'actions, XPerf élimine l'élément de hasard. Il garantit que lorsqu'un ingénieur teste une nouvelle mise à jour logicielle, il la compare contre la charge de travail exacte, plutôt que de deviner comment le système gérerait un autre ensemble d'étapes aléatoires. Cette précision est cruciale pour identifier les goulots d'étranglement et comprendre pourquoi un système ralentit sous la pression.
Les chercheurs ont utilisé XPerf pour étudier huit types différents d'applications d'agents, allant d'outils qui écrivent du code et déboguent des logiciels à des systèmes qui mènent des recherches approfondies et répondent à des questions complexes. Ils ont constaté que ces applications se comportent très différemment des chatbots standards. Alors qu'une conversation typique peut impliquer quelques échanges de messages, un agent peut déclencher des dizaines d'appels internes au modèle de langage pour compléter une seule requête utilisateur. Dans certains cas, une seule requête adressée à un agent de codage a entraîné une moyenne de dix-sept appels distincts au modèle de langage, certaines requêtes en déclenchant près de quarante. Cette complexité signifie que le système doit gérer un réseau de tâches dépendantes, où une étape ne peut commencer tant que la précédente n'est pas terminée.
Une découverte majeure de leurs tests est que la performance de ces systèmes est très sensible à la manière dont les requêtes sont gérées. Les chercheurs ont observé que lorsque de nombreux agents fonctionnent simultanément, le système a souvent du mal à se souvenir du contexte des étapes précédentes. Les modèles de langage s'appuient sur une forme de mémoire à court terme appelée cache pour éviter de relire des informations déjà traitées. Cependant, lorsqu'un système est fortement sollicité, il évince parfois les anciennes informations pour faire de la place aux nouvelles requêtes, même si ces informations seront nécessaires à nouveau l'instant d'après. Cela force l'ordinateur à tout recalculer depuis le début, gaspillant ainsi du temps et de l'énergie. L'étude a montré que cet effet de « way de mémoire » (thrashing) peut ralentir considérablement le système, certaines applications voyant leur vitesse chuter de près de quarante pour cent lorsque le nombre de requêtes augmente.
L'équipe a également testé l'efficacité de différentes stratégies de gestion de plusieurs processeurs informatiques. Ils ont découvert que le simple fait de répartir le travail uniformément sur tous les processeurs disponibles ne menait pas toujours aux meilleurs résultats. En fait, une stratégie qui maintenait toutes les étapes du parcours d'un seul agent sur le même processeur était bien plus efficace. Cette approche permettait au système de conserver le contexte nécessaire en mémoire, évitant ainsi de devoir recalculer les informations. En utilisant XPerf pour rejouer la charge de travail exacte sous différentes conditions, les chercheurs ont pu voir clairement que cette approche ciblée améliorait la vitesse de traitement de plus de trois fois par rapport à la méthode standard de répartition aléatoire du travail.
Au-delà de la simple mesure de la vitesse, XPerf a offert un regard détaillé sur le fonctionnement interne du matériel informatique lui-même. Les chercheurs pouvaient voir exactement quelle quantité de la mémoire de l'ordinateur était utilisée et à quel point les puces de processeur travaillaient. Ils ont découvert que lorsque le système était forcé de recalculer des informations en raison d'une mauvaise gestion de la mémoire, les processeurs de l'ordinateur travaillaient dur mais ne produisaient pas de résultats utiles. C'était un cas de haut effort avec une faible efficacité. Ce niveau de détail aide les ingénieurs à comprendre non seulement qu'un système est lent, mais précisément pourquoi il est lent, leur permettant de corriger la partie spécifique du logiciel qui cause le problème.
L'étude a également souligné que la manière dont un agent est conçu compte tout autant que l'ordinateur sur lequel il fonctionne. Certaines applications se sont révélées beaucoup plus efficaces que d'autres, non pas parce qu'elles étaient plus intelligentes, mais parce qu'elles étaient conçues pour mieux fonctionner avec la mémoire de l'ordinateur. Par exemple, un outil de recherche qui ajoutait un horodatage changeant à chaque message envoyé détruisait accidentellement sa capacité à réutiliser la mémoire, forçant le système à repartir de zéro à chaque fois. En supprimant ce changement inutile, les chercheurs ont pu améliorer considérablement l'efficacité du système. Cela suggère que de petits changements dans la rédaction du logiciel peuvent avoir un impact massif sur la performance.
Enfin, XPerf sert de miroir fiable pour le monde des agents d'intelligence artificielle. Il permet aux développeurs de voir leurs systèmes clairement, sans la distorsion des variations aléatoires. En fournissant un moyen de tester, de mesurer et de comprendre ces applications complexes, cet outil aide à garantir que la prochaine génération de logiciels d'IA sera robuste, rapide et prête pour les exigences de l'utilisation dans le monde réel. Les chercheurs ont mis cet outil à la disposition du public, dans l'espoir qu'il accélérera le développement de meilleurs systèmes pour tout le monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.