Strait: Perceiving Priority and Interference in ML Inference Serving

1. Énoncé du problème

Les systèmes de mise en service de l'inférence d'apprentissage automatique (ML) font face à des défis majeurs lorsqu'ils sont déployés dans des scénarios sur site (on-premises) sous une forte utilisation des GPU, spécifiquement en ce qui concerne la priorisation des tâches et le respect des délais.

• Priorisation insuffisante : Les systèmes existants (par exemple, TensorFlow Serving, NVIDIA Triton) manquent souvent d'un support robuste pour prioriser les tâches critiques (par exemple, surveillance de la sécurité, contrôle de qualité) par rapport aux tâches moins critiques. Bien qu'ils puissent prendre en charge les priorités de flux CUDA, ces indications matérielles sont souvent inefficaces car les noyaux concurrents continuent de se disputer les ressources partagées, ce qui peut entraîner des interférences sévères ou des dépassements de délais pour les tâches à haute priorité (HP).
• Interférences imprévisibles : La planification actuelle repose souvent sur le partage temporel (exécution séquentielle) ou le partage spatial statique (exécution concurrente).
  • Le partage temporel souffre du blocage en tête de file (Head-of-Line, HOL) et d'une sous-utilisation.
  • Le partage spatial améliore l'utilisation mais introduit des interférences lors de l'exécution concurrente des noyaux et des transferts de données. Ces interférences sont non linéaires et difficiles à estimer, entraînant une latence imprévisible et des violations de délais.
• Absence de préemption : Les GPU commerciaux ne prennent généralement pas en charge la préemption au niveau de la tâche. Une fois un lot (batch) envoyé, il ne peut pas être interrompu. Par conséquent, les décisions de planification doivent être prises proactivement pour éviter de violer les délais, ce qui nécessite une estimation précise de la latence sous interférence.

2. Méthodologie : Le système Strait

Strait est un système de mise en service d'inférence conçu pour améliorer le respect des délais pour un trafic à double priorité (Haute Priorité et Basse Priorité) en modélisant et en gérant explicitement les interférences.

A. Architecture du système

Strait fonctionne localement sur un nœud doté de plusieurs GPU. Il se compose de :

1. Planificateur conscient de la priorité : Gère les files d'attente des tâches pour différents modèles, en leur attribuant un statut HP ou LP.
2. Moteur de prédiction des interférences : Un modèle global qui estime les retards de latence causés par les interférences lors des transferts de données et de l'exécution des noyaux.
3. Boucle d'apprentissage adaptative : Met à jour continuellement le modèle de prédiction en fonction des retours d'expérience en temps réel pour gérer les dérives de charge de travail et les variations matérielles.

B. Modélisation des interférences

Strait décompose la latence d'inférence ($T_{inf}$) en quatre composantes :
$$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$$

1. Interférence de transfert de données ($T_{data}$) :

   • Modélisée sur la base de l'observation que les transferts de données PCIe avec mémoire épinglée suivent un processus FIFO.
   • Les retards sont calculés en fonction du temps d'achèvement du lot précédent sur le lien PCIe.
   • L'interférence de transfert en aval est souvent négligeable en raison de la petite taille des sorties.

2. Interférence d'exécution de noyau ($T_{kernel}$) :

   • Modèle de prédiction : Utilise un modèle de croissance exponentielle adaptative pour estimer le ralentissement. L'intuition est que l'interférence augmente lentement sous une faible pression des ressources, mais s'accélère de manière super-linéaire à mesure que la pression s'accumule (dépassant la capacité du GPU à masquer la latence).
   • Entrées : Le modèle utilise des moyennes pondérées dans le temps des métriques de débit de ressources (par exemple, cache L1/L2, DRAM, Tensor Cores, CUDA Cores) provenant des lots co-localisés.
   • Coefficient de priorité : Inclut un paramètre apprenable ($coeff_p$) pour refléter le fait que les tâches HP peuvent subir moins d'interférences que les tâches LP sous une pression identique en raison de la priorisation des flux CUDA.
   • Adaptation : Le modèle utilise l'optimisation Adam et la perte de Huber pour mettre à jour les paramètres en ligne. Il se recalibre en fonction de l'écart entre la latence d'exécution du noyau prédite et réelle, assurant une robustesse face aux dérives de concept (par exemple, changement d'architectures de modèles ou de types de GPU).

C. Algorithme de planification conscient de la priorité

Le planificateur utilise une recherche binaire pour déterminer la taille de lot optimale et l'affectation au GPU. Il impose deux contraintes principales :

1. Aucune violation de priorité supérieure ou égale : Un nouveau lot n'est planifié que s'il ne provoque pas le dépassement de délais des tâches HP ou de priorité égale en cours d'exécution.
2. Faisabilité du délai propre : Le nouveau lot doit pouvoir respecter son propre délai, estimé de manière conservatrice (en supposant qu'il s'exécute à la moitié du débit d'exécution du GPU).
3. Étranglement des LP : Pour protéger les tâches HP, le système limite dynamiquement le débit agrégé des tâches LP ($C_{low}$) en utilisant une politique Additive-Increase Multiplicative-Decrease (AIMD). Si une tâche HP manque son délai, $C_{low}$ est réinitialisé à une ligne de base conservatrice.

3. Contributions clés

1. Planification consciente des interférences : Strait est le premier système à intégrer une prédiction explicite des interférences (transfert de données et exécution de noyaux) directement dans la décision de planification pour un trafic ML à double priorité.
2. Modèle de prédiction adaptatif : Propose un nouveau modèle de régression auto-adaptatif qui apprend dynamiquement les motifs de contention des ressources, surmontant les limites des modèles statiques qui échouent lorsque les charges de travail ou le matériel changent.
3. Gestion de la priorité sans préemption : Démontre comment réaliser une priorisation efficace des tâches sur des GPU non préemptifs en bloquant ou en étranglant proactivement les tâches de basse priorité pour protéger les délais des tâches de haute priorité.
4. Évaluation complète : Fournit une évaluation rigoureuse par rapport à des références de l'état de l'art, incluant le partage temporel, le partage spatial statique/réactif et la préemption logicielle (XSched).

4. Résultats de l'évaluation

Les expériences ont été menées sur des GPU NVIDIA L4 en utilisant divers modèles DNN (ResNet, ViT, YOLO, RoBERTa) sous des traces stochastiques, uniformes et de production.

• Respect des délais :
  • Strait réduit les violations de délais pour les tâches à Haute Priorité de 1,02 à 11,18 points de pourcentage par rapport aux approches existantes de partage spatial et de préemption.
  • Il entraîne un compromis de performance acceptable pour les tâches à Basse Priorité (dégradation maximale de seulement 0,61 point de pourcentage).
• Comparaison avec la préemption (XSched) :
  • Comparé à XSched (un système de préemption au niveau du noyau), Strait atteint une satisfaction de délai HP comparable mais offre des performances plus équitables pour les tâches LP.
  • XSched souffre de blocage en tête de file (HOL) pour les tâches LP lorsque les demandes HP dominent, alors que la planification proactive de Strait évite cela en gérant la concurrence et les tailles de lots.
• Adaptabilité :
  • Le modèle de prédiction adaptatif surpasse nettement les modèles statiques lors de la transition entre différents ensembles de modèles (CNN vs Transformer) ou architectures GPU (Ada Lovelace vs Ampere vs Hopper), réduisant les erreurs de prédiction p99 de 7,2 à 8 points de pourcentage.
• Surcharge :
  • La surcharge de planification est minimale (dizaines de microsecondes), ce qui la rend adaptée à une mise en service en temps réel.

5. Importance

Strait comble un vide critique dans l'infrastructure ML sur site où la latence déterministe et la priorisation des tâches sont primordiales (par exemple, automatisation industrielle, systèmes de sécurité). En passant d'une gestion réactive des ressources à une perception proactive des interférences, Strait permet :

• Une fiabilité accrue : Garantir que les tâches critiques respectent des délais stricts même sous forte charge.
• Une meilleure utilisation des ressources : Permettre un partage spatial sécurisé sans l'imprévisibilité qui force généralement les systèmes à recourir à un partage temporel inefficace.
• Évolutivité : L'approche est orthogonale à la mise à l'échelle automatique au niveau du cluster et peut être intégrée dans des piles de mise en service existantes (comme Triton) pour améliorer leurs capacités de gestion des priorités sans nécessiter de support matériel de préemption spécialisé.

En résumé, Strait fournit un cadre robuste pour gérer les compromis complexes entre concurrence, interférences et priorité dans la mise en service moderne de l'inférence accélérée par GPU.