Serving Compound Inference Systems on Datacenter GPUs

Le papier présente JigsawServe, un cadre de service innovant pour les systèmes d'inférence composés sur les GPU de centre de données qui optimise conjointement la latence, la précision et les coûts en sélectionnant dynamiquement des variantes de modèles et en allouant des ressources GPU de manière spatiale et fine, permettant ainsi d'augmenter la demande de service maximale de 11,3 fois par rapport aux travaux antérieurs.

L'essentiel

Imaginez que vous dirigez un grand restaurant très populaire dans un centre de données (un immense bâtiment rempli de super-ordinateurs appelés "GPU").

Dans le passé, ce restaurant ne servait qu'un seul plat à la fois : une grosse pizza (un seul modèle d'intelligence artificielle). Mais aujourd'hui, la tendance est aux "plats composés" (les systèmes d'inférence composés). Un client ne veut plus juste une pizza ; il veut un menu complet : une entrée (détecter un objet), un plat principal (décrire l'objet) et un dessert (transformer la description en voix). Chaque étape de ce menu est gérée par un chef différent (un modèle d'IA différent) qui travaille en chaîne.

Le problème ? Les chefs ont des besoins différents. L'un est rapide mais cuisine mal, l'autre est lent mais exquis. Et surtout, votre cuisine (les GPU) est souvent vide ou mal utilisée car on ne sait pas bien répartir les tâches.

Voici comment JIGSAWSERVE (le sujet de l'article) résout ce chaos, expliqué simplement :

1. Le Problème : La Cuisine en Désordre

Avant, si un client commandait un menu complexe, le restaurant attribuait une cuisine entière (un GPU entier) à chaque chef, même si le chef de l'entrée n'avait besoin que d'un quart de cuisine. C'était du gaspillage ! De plus, si le restaurant était bondé, on ne savait pas quel chef ralentir ou accélérer pour que le client reçoive son repas à l'heure sans que la qualité ne soit mauvaise.

2. La Solution : JIGSAWSERVE, le Chef d'Orchestre Magique

JIGSAWSERVE est comme un chef d'orchestre ultra-intelligent qui gère trois choses en même temps :

• Le choix des chefs (Variants de modèles) : Il sait qu'il existe plusieurs versions d'un même chef. Parfois, il choisit un chef "rapide et correct" pour une tâche simple, et un chef "lent mais parfait" pour une tâche cruciale. Il ajuste la qualité de chaque étape pour que le résultat final soit bon, sans gaspiller de temps.
• La découpe de la cuisine (Partitionnement spatial) : C'est la grande innovation. Au lieu de donner une cuisine entière à un chef, JIGSAWSERVE utilise une technique de découpe fine (comme un puzzle, d'où le nom "Jigsaw"). Il divise un seul GPU en plusieurs petits espaces isolés. Ainsi, un seul GPU peut accueillir 4 ou 5 chefs différents qui travaillent en même temps sans se gêner, comme si on avait divisé une grande table en plusieurs petites tables individuelles.
• La gestion du flux (Budget de tâches) : Il regarde le menu complet (le graphe de tâches). Il sait que si l'entrée génère 3 plats principaux, il doit préparer plus de ressources pour l'étape suivante. Il répartit intelligemment le temps et la puissance de calcul pour que tout le monde finisse en même temps.

3. L'Analogie du Puzzle

Imaginez que vous avez un grand tapis de puzzle (votre GPU).

• Les anciennes méthodes mettaient un seul gros morceau de puzzle sur tout le tapis, laissant le reste vide.
• JIGSAWSERVE prend des centaines de petits morceaux de puzzle de différentes tailles et les assemble parfaitement pour remplir tout le tapis, sans laisser de vide. Il choisit le bon morceau pour chaque tâche, exactement là où il faut.

4. Les Résultats : Une Cuisine Gagnante-Gagnante

Grâce à cette méthode, les chercheurs ont prouvé que :

• Capacité : Leur système peut servir 11 fois plus de clients (requêtes par seconde) que les meilleurs systèmes précédents avec le même nombre de cuisines (GPU).
• Économie : Ils n'utilisent que 43 % de l'espace disponible pour faire le même travail que les autres, qui en utilisent 100 %. C'est comme si vous pouviez nourrir tout le quartier avec la moitié des ingrédients !
• Qualité : Presque aucun client ne se plaint de la qualité (précision) ou du temps d'attente (latence).

En Résumé

JIGSAWSERVE est une nouvelle façon de gérer les super-ordinateurs pour les tâches complexes. Au lieu de gaspiller des ressources en donnant trop de puissance à chaque étape, il ajuste finement la qualité de chaque tâche et découpe les machines en petits morceaux pour les partager intelligemment.

C'est comme passer d'une cuisine où chaque chef a sa propre île isolée (et souvent vide) à une cuisine collaborative où chaque centimètre carré est utilisé à 100 %, permettant de servir beaucoup plus de monde, plus vite, et pour moins cher.

Résumé technique

Voici un résumé technique détaillé de l'article « Serving Compound Inference Systems on Datacenter GPUs », présentant le système JIGSAWSERVE.

1. Problématique

Les applications émergentes (réalité étendue, systèmes multi-agents) reposent de plus en plus sur des systèmes d'inférence composés (compound inference systems). Contrairement à l'inférence d'un modèle unique, ces systèmes exécutent un graphe de tâches (DAG) où plusieurs modèles ML interagissent pour traiter une requête.

Le défi majeur réside dans le service efficace de ces systèmes sur des GPU de centres de données, en répondant à deux questions clés :

1. Répartition des budgets : Comment allouer les budgets de latence et de précision (SLO) entre les différentes tâches du graphe, sachant que les exigences globales s'appliquent à l'ensemble du système et non à chaque tâche individuellement ?
2. Allocation des ressources : Comment gérer l'hétérogénéité des besoins en ressources des différents modèles ? Les GPU modernes (NVIDIA) offrent des mécanismes de partitionnement spatial (MIG, MPS), mais les systèmes existants n'exploitent pas pleinement ces capacités pour des graphes de tâches complexes.

Les travaux antérieurs se concentrent souvent sur l'inférence d'un seul modèle, sur le partitionnement temporel (MPS) sans isolation stricte, ou sur l'allocation de ressources sans considérer simultanément l'ajustement de la précision (accuracy scaling) et la structure du graphe de tâches.

2. Méthodologie : JIGSAWSERVE

JIGSAWSERVE est le premier framework conçu pour optimiser conjointement la latence, la précision et le coût (ressources GPU) en adaptant dynamiquement les variantes de modèles et en allouant des partitions spatiales fines de GPU.

L'architecture repose sur quatre composants principaux :

• Registration Handler : Enregistre le graphe de tâches, les variantes de modèles disponibles, leurs précisions et les SLO globaux.
• Profiler : Effectue un profilage hors ligne pour mesurer la latence (95e percentile) et le débit de toutes les combinaisons possibles : variantes de modèles, tailles de lots (batch sizes) et types de segments GPU (combinaisons MIG/MPS).
• Controller (Cœur du système) : Formule le problème d'optimisation comme un Programme Linéaire en Nombres Entiers Mixtes (MILP).
  • Variables de décision : Nombre d'instances de chaque variante de modèle, type de segment GPU et taille de lot pour chaque tâche.
  • Contraintes : Respect des SLO de latence (en tenant compte des facteurs multiplicatifs entre tâches), respect du seuil de précision global (calculé via Pipeline Accuracy Score), et limite des ressources GPU disponibles (tranches de GPU).
  • Fonction objectif : Maximiser la précision globale tout en minimisant l'utilisation des ressources GPU.
• Frontend : Gère les requêtes clients, le routage vers la première tâche et le suivi de la demande pour déclencher une reconfiguration si nécessaire.

Mécanismes clés :

• Partitionnement Spatial : Utilisation de MIG (Multi-Instance GPU) pour isoler les workloads, combiné à MPS (Multi-Process Service) au sein des instances MIG pour maximiser l'utilisation.
• Scaling de Précision (Accuracy Scaling) : Sélection dynamique de variantes de modèles (ex: ResNet-18 vs ResNet-152) pour chaque tâche afin de trouver le meilleur compromis précision/coût.
• Budgétisation Informée par le Graphe : Allocation des ressources basée sur la structure du DAG et les facteurs multiplicatifs (ex: un détecteur d'objets peut générer plusieurs détections, augmentant la charge des tâches suivantes).

3. Contributions Clés

1. Framework Unifié : Première approche combinant le scaling de précision, le partitionnement spatial des GPU et la budgétisation des ressources informée par le graphe de tâches.
2. Analyse Comparative : Démonstration analytique que le partitionnement spatial (S) apporte le gain le plus significatif (5,25x par rapport à un système non optimisé), suivi du scaling de précision (A) et de la budgétisation (T). La combinaison complète (A+S+T) atteint un gain de 21,6x par rapport à un système non optimisé.
3. Supériorité sur l'État de l'Art : Comparé à l'approche la plus proche (Loki, qui fait du scaling de précision et de la budgétisation mais sans partitionnement GPU fin), JIGSAWSERVE permet de servir 11,3 fois plus de demandes (requests per second) avec les mêmes ressources.
4. Évaluation Empirique : Validation sur des applications réelles (analyse de trafic, réseaux sociaux, assistant AR) montrant que JIGSAWSERVE utilise en moyenne 43,3 % des ressources GPU disponibles tout en respectant les SLO de précision et en maintenant un taux de violation de latence inférieur à 0,6 %.

4. Résultats

Les expériences menées sur un serveur Dell PowerEdge avec 4 GPU NVIDIA H100 montrent :

• Efficacité des Ressources : JIGSAWSERVE consomme significativement moins de ressources que les approches partielles. Par exemple, l'approche A+S (sans budgétisation informée par le graphe) nécessite 33 % de ressources en plus et subit 6,7 % de violations de SLO.
• Robustesse : Le système maintient des performances stables même sous des charges de travail variables (simulées via des traces Twitter), contrairement aux baselines qui subissent des pics de violations de SLO lors de fluctuations de la demande.
• Choix de Configuration : Le système sélectionne intelligemment des variantes de modèles moins précises pour certaines tâches (ex: GIT dans l'assistant AR) pour économiser des ressources, tout en utilisant des modèles plus précis pour les tâches critiques, tout en respectant le seuil de précision global.

5. Signification et Impact

Ce travail établit un nouveau standard pour le service d'inférence ML dans les centres de données :

• Preuve de concept : Il démontre que l'optimisation conjointe de la précision, de la latence et des ressources matérielles fines est indispensable pour l'efficacité des systèmes composés.
• Implications pour l'industrie :
  • Pour la communauté ML : Nécessité de continuer à publier plusieurs variantes de modèles par architecture pour offrir de la flexibilité.
  • Pour les fabricants de GPU : Importance cruciale de développer et prioriser les mécanismes de partitionnement spatial (comme MIG) pour permettre une isolation efficace et une haute densité de travail.
• Futur : Le framework ouvre la voie à l'optimisation d'autres métriques (intensité carbone) et à l'adaptation de systèmes plus complexes (modèles nécessitant plusieurs GPU).

En résumé, JIGSAWSERVE résout le problème de la sous-utilisation des GPU de centres de données pour les applications ML complexes en transformant le service d'inférence en un problème d'optimisation globale, exploitant pleinement les capacités matérielles modernes.