How Portable Are LLM-Serving Scheduler Rankings Across Workloads, Operating Regions, and Metrics?

Dans le paysage numérique moderne, les grands modèles de langage sont devenus les moteurs d'une vaste gamme d'applications intelligentes, des assistants d'écriture aux outils de codage complexes. Pour que ces systèmes fonctionnent de manière fluide pour des millions d'utilisateurs, ils s'appuient sur des fermes de serveurs sophistiquées où de puissants processeurs graphiques font office de cerveau. Cependant, ces processeurs sont des ressources coûteuses et limitées. Lorsque des milliers de personnes envoient des requêtes simultanément, le serveur doit décider quelle requête traiter en premier, comment les regrouper et comment gérer la mémoire afin qu'un seul utilisateur ne bloque pas le système pendant que les autres attendent. Ce processus de prise de décision est géré par un « ordonnanceur » (scheduler), un logiciel qui agit comme un contrôleur de trafic, réorganisant constamment le flux de données pour que tout circule efficacement.

Pendant des années, des chercheurs ont proposé de nouvelles façons d'améliorer ces ordonnanceurs, affirmant que leurs méthodes étaient plus rapides ou plus équitables que les méthodes existantes. Mais ces affirmations ont presque toujours été testées dans des conditions très spécifiques : en utilisant un seul type de trafic utilisateur, à un niveau de charge de serveur spécifique, et en mesurant le succès avec un seul indicateur. Cela crée un angle mort. Un ordonnanceur qui semble parfait lorsqu'il est testé sur un flux de requêtes calme et prévisible peut échouer lamentablement face à une explosion soudaine et chaotique d'activité. La question fondamentale est restée sans réponse : si un ordonnanceur est déclaré le meilleur sur un ensemble de données donné, ce classement reste-t-il valable lorsque le trafic change, que la charge se déplace ou que la définition du succès change ?

Pour répondre à cela, un chercheur du New Jersey Institute of Technology a conçu un test rigoureux appelé le « LLM-Serving Scheduler Portability Benchmark ». Au lieu de demander quel ordonnanceur unique est le meilleur absolu, l'étude a posé une question plus subtile : à quel point les classements de ces ordonnanceurs sont-ils portables ? En d'autres termes, si vous changez la source du trafic utilisateur, l'intensité de la charge ou la façon de mesurer la performance, l'ordre des meilleurs et des moins bons ordonnanceurs reste-t-il le même, ou s'inverse-t-il ? Le cherchenaire a construit une simulation pour tester treize différentes stratégies d'ordonnancement contre une vaste collection figée de 120 fenêtres de charge distinctes. Ces fenêtres provenaient de trois sources indépendantes de données réelles : le trafic cloud de Microsoft Azure, la plateforme Bailian/Qwen d'Alibaba, et un grand ensemble de traces Microsoft Azure connu sous le nom de BurstGPT. Le système a été testé à travers six différentes régions opérationnelles, allant d'un trafic léger à une surcharge sévère, et évalué à l'aide de multiples indicateurs de performance.

Les résultats ont révélé que la réponse n'est pas un simple oui ou non. Les classements ne sont pas universellement stables, ni complètement chaotiques ; ils dépendent fortement de la combinaison spécifique de facteurs que vous observez. En comparant les classements entre les différentes sources de données, l'étude a constaté que le trafic de Microsoft Azure et celui de la plateforme Bailian/Qwen d'Alibaba concordaient presque parfaitement l'un avec l'autre. Si un ordonnanceur était le meilleur sur Azure, il était presque certainement le meilleur sur Bailian/Qwen. Cependant, la troisième source, BurstGPT, racontait une histoire différente. Lorsque BurstGPT était inclus dans la comparaison, l'accord chutait considérablement, les coefficients de corrélation tombant jusqu'à 0,55. Cela suggère qu'un ordonnanceur validé uniquement sur un trafic de type Azure pourrait ne pas se comporter comme prévu sur un trafic de type BurstGPT, et vice versa.

L'étude a également examiné la fréquence à laquelle les classements s'inversaient réellement, c'est-à-dire qu'un ordonnanceur meilleur dans un scénario devenait moins bon dans un autre. Sur près de mille comparaisons, seulement environ 3,6 % présentaient une inversion qui était à la fois statistiquement significative et suffisamment importante pour avoir un impact pratique. Ces inversions n'étaient pas réparties uniformément dans toutes les conditions ; elles étaient concentrées dans des zones spécifiques, particulièrement lorsque le système était sous une charge lourde. De plus, chacune de ces inversions significatives impliquait la même paire de stratégies d'ordonnancement et incluait toujours les données BurstGPT d'un côté. Cela indique que l'instabilité n'est pas un défaut général du système, mais une interaction spécifique entre certains mécanismes d'ordonnancement et les caractéristiques uniques de cette source de trafic particulière.

La découverte la plus surprenante concernait les indicateurs utilisés pour juger la performance. Les chercheurs ont testé si un ordonnanceur classé au premier rang sur un indicateur, tel que le nombre de requêtes complétées, serait également le mieux classé sur d'autres indicateurs, comme la vitesse ou l'équité. Ils ont découvert que les classements étaient étonnamment fragiles lorsque l'indicateur changeait. En moyenne, l'accord entre les différents indicateurs n'était que modéré, et dans 68,1 % des conditions de test, le meilleur ordonnanceur changeait en fonction de l'indicateur utilisé. Cela signifie qu'une affirmation de « meilleur ordonnanceur » est souvent muette sur l'objectif spécifique poursuivi ; un ordonnanceur optimisé pour la vitesse peut être le pire choix pour l'équité, et le classement dépend entièrement de ce que l'opérateur valorise le plus.

Pour s'assurer que ces résultats de simulation n'étaient pas de simples artefacts d'un modèle informatique, le chercheur a sélectionné l'inversion la plus spectaculaire trouvée dans la simulation et l'a testée sur du matériel physique réel à l'aide d'un processeur graphique standard. La simulation avait prédit qu'un ordonnanceur gagnerait sur un type de trafic et perdrait sur un autre, un basculement dans le classement. Sur le matériel réel, ce basculement spécifique ne s'est pas produit ; un ordonnanceur a gagné dans les deux cas. Cependant, un test séparé d'un classement stable, où la simulation prédisait aucun changement, s'est avéré exact sur le matériel réel. Cela suggère que, bien que la simulation soit efficace pour identifier les tendances stables, elle ne peut pas prédire parfaitement chaque inversion spécifique dans le monde réel, mettant en évidence une limite de la fidélité du modèle.

En fin de compte, l'étude conclut qu'il n'existe pas de « meilleur » ordonnanceur unique et universel qui fonctionne pour toutes les situations. La performance d'une stratégie d'ordonnancement est conditionnelle. Elle dépend de la source spécifique du trafic utilisateur, de la charge actuelle du système, de l'indicateur utilisé pour mesurer le succès et de la définition spécifique d'un objectif de service. Un classement qui semble solide sur un ensemble de données ne peut être supposé vrai sur un autre sans vérification. Pour les ingénieurs et les chercheurs, cela signifie que la comparaison des ordonnanceurs nécessite une approche beaucoup plus large et plus prudente que le simple test sur un seul jeu de données. Les conclusions ne déclarent pas de vainqueur, mais fournissent plutôt une carte des zones où les classements sont fiables et de celles où ils sont susceptibles de changer, garantissant que les évaluations futures soient lues avec le contexte et la prudence nécessaires.