Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving

Dans le monde de l'intelligence artificielle moderne, les grands modèles de langage agissent comme des moteurs puissants qui génèrent du texte, du code et des idées. Cependant, faire fonctionner ces moteurs n'est pas une simple tâche consistant à actionner un interrupteur. Lorsqu'un utilisateur envoie une requête, le système doit d'abord traiter l'entrée, puis générer une réponse mot après mot. Ce processus est imprévisible ; une question courte peut ne prendre qu'une fraction de seconde, tandis qu'une analyse complexe pourrait s'étirer sur plusieurs minutes, consommant de vastes quantités de mémoire informatique en chemin. Parce que ces requêtes arrivent par rafales soudaines et varient considérablement en longueur, l'infrastructure qui les soutient peine souvent à suivre. Si le système traite chaque requête exactement de la même manière, une tâche massive et lente peut boucher la file, faisant attendre trop longtemps des questions simples et urgentes. C'est le défi central de la gestion de l'intelligence artificielle : comment gérer un flux chaotique de travail afin que les tâches critiques reçoivent une attention immédiate sans gaspiller la puissance de calcul coûteuse nécessaire à leur exécution.

Des chercheurs de l'UC Berkeley ont abordé ce problème en réimaginant la façon dont ces systèmes d'IA hiérarchisent leur travail. Ils se sont appuyés sur un système précédent appelé Llumnix, qui avait été conçu pour déplacer les tâches entre différents serveurs informatiques afin d'équilibrer la charge et d'éviter les goulots d'étranglement. La version originale de ce système était efficace mais limitée, n'offrant que deux niveaux d'importance : une priorité haute pour les questions urgentes et une priorité normale pour tout le reste. Ce choix binaire était trop rudimentaire pour les entreprises du monde réel, qui doivent souvent distinguer cinq niveaux de service ou plus, tels que les utilisateurs platine, or, argent et gratuits, chacun ayant des garanties de vitesse différentes. Les chercheurs se sont posé une question fondamentale : quel est le bon nombre de niveaux de priorité pour créer un système qui soit à la fois équitable pour tous les utilisateurs et efficace pour la machine ?

Pour trouver la réponse, l'équipe a créé une simulation sophistiquée d'un centre de données d'IA à grande échelle. Ils ne l'ont pas exécutée sur du matériel physique, ce qui aurait été prohibitif en termes de coût et de temps pour les tests, mais ont utilisé un modèle numérique de haute fidélité qui imite le comportement de véritables puces informatiques. Dans cet environnement virtuel, ils ont étendu le système de priorité pour supporter de un à dix niveaux distincts d'importance. Ils ont également introduit une nouvelle façon de gérer la mémoire, où chaque niveau de priorité se voit accorder une certaine « marge de respiration » spécifique pour garantir qu'il puisse terminer son travail sans être évincé. Cette marge de respiration n'est pas partagée de manière égale ; elle diminue de façon exponentielle à mesure que la priorité baisse, garantissant ainsi que les tâches les plus critiques disposent toujours de l'espace nécessaire, tandis que les tâches moins urgentes comblent les interstices.

L'équipe a testé ce nouveau système par rapport à plusieurs méthodes existantes, exécutant des milliers de requêtes simulées sous différentes conditions. Ils ont varié le mélange d'utilisateurs, créant des scénarios où les requêtes à haute priorité étaient rares, communes ou réparties uniformément, et ils ont ajusté le volume total de travail pour voir comment le système se comportait lorsqu'il était faiblement chargé par rapport à lorsqu'il était presque saturé. Les résultats ont révélé un point d'équilibre idéal. Bien que le système puisse techniquement gérer jusqu'à dix niveaux de priorité sans s'effondrer, ajouter plus de quatre niveaux n'améliorait pas les performances. En fait, au-delà de quatre niveaux, le système commençait à perdre en efficacité. La complexité supplémentaire de la gestion de tant de catégories distinctes commençait à consommer plus de ressources qu'elle n'en économisait, et les bénéfices de la séparation des tâches commençaient à s'estomper.

La configuration optimale s'est avérée être de quatre niveaux de priorité. Dans leurs simulations, cette configuration a permis au système d'atteindre des améliorations de vitesse significatives pour la performance globale du système. La latence de bout en bout P99 du système s'est améliorée jusqu'à 3,13 fois par rapport aux méthodes standards, et le coût par latence global a chuté de 68 % au maximum. Le système a réussi à satisfaire les utilisateurs les plus importants en leur accordant une voie dédiée, tout en permettant au travail de fond moins urgent de procéder efficacement dans l'espace restant. Cet équilibre a empêché l'« effet convoi », où une seule tâche lente retient l'ensemble d'une file de tâches plus rapides, en déplaçant dynamiquement les tâches entre les serveurs pour que tout le monde avance.

Les chercheurs ont également découvert que les avantages de cette hiérarchisation fine dépendent fortement de l'occupation du système. Lorsque le centre de données est modérément chargé, la capacité à séparer les tâches en différentes voies fonctionne magnifiquement, permettant aux requêtes à haute priorité de passer rapidement tandis que les autres attendent. Cependant, lorsque le système est complètement saturé, avec chaque serveur fonctionnant à sa capacité maximale, l'avantage d'avoir de nombreux niveaux de priorité diminue. Dans ces conditions extrêmes, le système est si plein qu'il n'y a plus d'espace supplémentaire pour déplacer les tâches, et la distinction entre les niveaux devient moins efficace. Cela suggère que, bien qu'un modèle à quatre niveaux soit la conception idéale pour la plupart des situations, il fonctionne mieux lorsqu'il est couplé à un système capable d'ajouter automatiquement plus de serveurs avant que la charge ne devienne trop lourde à gérer.

En fin de compte, ce travail fournit un schéma directeur pratique pour l'avenir de l'infrastructure d'IA. Il démontre qu'une hiérarchie simple à quatre niveaux est suffisante pour capturer toute la gamme des besoins des utilisateurs, des interactions critiques en temps réel au traitement par lots en arrière-plan. En s'éloignant d'un système rigide à deux niveaux et en évitant le piège de la sur-complexification de la conception avec trop de niveaux, les ingénieurs peuvent construire des services d'IA qui sont à la fois plus rapides et plus rentables. L'étude confirme que la clé pour gérer la nature imprévisible de l'intelligence artificielle ne réside pas dans la complexification du système, mais dans la recherche du niveau précis d'organisation qui lui permet de respirer.