🤖 machine learning

ML Inference Scheduling with Predictable Latency

Cet article identifie des limitations critiques dans les approches existantes d'ordonnancement de l'inférence de l'apprentissage automatique, spécifiquement leur prédiction d'interférence à grain grossier et leur dépendance à des modèles statiques, ce qui conduit à des prévisions de latence inexactes et à des SLO compromis sous des charges de travail dynamiques.

Auteurs originaux : Haidong Zhao, Nikolaos Georgantas

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haidong Zhao, Nikolaos Georgantas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : La cuisine d'un restaurant haut de gamme

Imaginez la cuisine d'un restaurant haut de gamme (le GPU) qui est incroyablement rapide mais très coûteuse à faire fonctionner. Pour économiser de l'argent, le propriétaire veut cuisiner autant de repas que possible à la fois (améliorer l'utilisation).

Dans cette cuisine, les commandes arrivent pour différents plats (comme des modèles de Machine Learning). Pour être efficace, le chef regroupe les commandes similaires dans un seul « lot » (batch) pour les cuire tous en même temps. Par exemple, au lieu de cuire un burger, puis deux frites, puis un burger, ils cuisinent un plateau de cinq burgers simultanément.

Cependant, la cuisine a un problème : l'Interférence.
Si le chef essaie de cuire un énorme plateau de burgers et un plateau de soufflés délicats exactement en même temps sur la même cuisinière, ils risquent de se gêner mutuellement. La chaleur pourrait devenir inégale, ou le chef pourrait devoir changer d'outils trop souvent. Cela ralentit tout, ce qui fait que la nourriture arrive en retard.

Dans le monde de l'IA, une « nourriture en retard » signifie la latence. Si une voiture autonome ou un appel vidéo reçoit une réponse retardée parce que la cuisine était trop encombrée, c'est un échec. L'objectif de ce papier est de déterminer comment planifier ces lots de cuisson afin que la cuisine reste occupée sans que la nourriture n'arrive en retard.

Le Problème : Deviner est dangereux

Le papier soutient que les méthodes actuelles pour prédire l'ampleur de l'encombrement (l'interférence) sont défaillantes pour deux raisons principales :

1. Le problème du « Instantané Statique » (Granularité grossière)

L'analogie : Imaginez que vous êtes un contrôleur de trafic. Vous regardez une carte et voyez un camion rouge et une voiture bleue actuellement sur l'autoroute. Vous prédisez qu'ils rouleront côte à côte pendant tout le trajet.
La Réalité : Dans la cuisine, le camion rouge (Lot 1) peut quitter l'autoroute après 10 secondes, et un géant semi-remorque (Lot 3) peut surgir et rester pendant 5 minutes.
L'affirmation du papier : Les planificateurs d'IA actuels sont comme ce contrôleur de trafic. Ils regardent qui est dans la cuisine en ce moment même et supposent qu'ils y resteront de la sorte. Ils ignorent le fait que les lots arrivent et partent à des moments différents.

Résultat : La prédiction est fausse. Le système pense que la cuisine sera calme, mais soudain, un nouveau lot très lourd arrive, provoquant un embouteillage et des livraisons tardives.

2. Le problème de la « Vieille Carte » (Modèles non adaptatifs/statiques)

L'analogie : Imaginez que vous avez formé un robot chef pour prédire les temps de cuisson en utilisant un menu de l'année dernière. L'année dernière, tout le monde commandait des burgers. Cette année, tout le monde commande des fruits de mer complexes.
La Réalité : Le robot chef pense toujours : « Oh, ce ne sont que des burgers », et prédit que le temps de cuisson sera rapide. Mais comme le menu a changé, le robot se trompe.
L'affirmation du papier : Les modèles d'IA actuels sont « statiques ». Ils sont entraînés une seule fois sur des données anciennes, puis ne sont jamais mis à jour. Si les types de requêtes changent (par exemple, de nouveaux modèles d'IA sont ajoutés, ou le nombre de commandes change), l'ancien modèle devient inexact.

Résultat : Le système continue de faire de mauvaises suppositions car il utilise une carte obsolète pour un monde changeant.

Ce que les auteurs ont fait (L'expérience)

Les auteurs ont mis en place une cuisine de test (en utilisant un GPU NVIDIA) pour voir à quel point ces deux problèmes sont réels.

Tester le problème de l'« Instantané » : Ils ont lancé des simulations où les lots arrivaient et partaient à des moments différents. Ils ont constaté que si l'on ignore ces changements, la prédiction de la durée d'une tâche peut être erronée par une marge énorme (parfois plus de 60 % d'erreur). C'est comme deviner qu'un trajet de 10 minutes prendra 16 minutes parce que vous ne saviez pas qu'un feu rouge allait passer au rouge.
Tester le problème de la « Vieille Carte » : Ils ont entraîné un modèle sur un ensemble de plats, puis ont tenté de prédire les temps pour un ensemble de plats complètement différent. L'ancien modèle a échoué lamentablement. Cependant, lorsqu'ils ont laissé le modèle « apprendre à la volée » (Apprentissage en ligne / Online Learning) — en mettant à jour ses prédictions à mesure qu'il voyait de nouvelles données — il est devenu bien meilleur pour gérer les changements.

La Conclusion

Le papier conclut que pour faire fonctionner une cuisine d'IA efficace sans livraisons tardives, nous devons arrêter d'utiliser des planificateurs « stupides » qui :

Ignorent le fait que la foule dans la cuisine change chaque seconde.
Refusent d'apprendre de nouveaux types de commandes.

Au lieu de cela, nous avons besoin d'un planificateur intelligent qui :

Surveille la cuisine de manière dynamique (en suivant qui arrive et qui part).
Apprend et met à jour ses prédictions en temps réel à mesure que la charge de travail change.

En faisant cela, nous pouvons maintenir le GPU (la cuisine) occupé et efficace tout en garantissant que chaque commande (chaque requête d'IA) reçoit sa réponse à temps.

Résumé Technique : Ordonnancement de l'Inférence ML avec une Latence Prévisible

Énoncé du Problème
Les systèmes de service d'inférence de machine learning (ML) visent à maximiser l'utilisation du GPU tout en respectant des objectifs de niveau de service (SLO) ou des échéances strictes. Pour améliorer l'utilisation, les systèmes emploient souvent le batching dynamique (consolidation des requêtes) et l'exécution de batches concomitants (exécution simultanée de plusieurs batches sur un seul GPU). Cependant, l'exécution concurrente introduit de l'interférence car les batches se disputent des ressources GPU limitées (ex: cache L2, DRAM, cœurs Tensor). Cette interférence crée des déviations de latence imprévisibles, ce qui rend difficile la garantie des SLO.

Les approches existantes de prédiction d'interférence souffrent de deux limitations principales :

Prédiction à Grain Grossier : Elles ignorent souvent la dynamique de co-localisation au moment de l'exécution. Un batch peut être co-localisé avec différents batches concomitants pendant des durées variables durant son exécution. Les modèles statiques qui supposent une source d'interférence unique et constante échouent à capturer ces changements temporels, ce qui conduit à des prédictions inexactes.
Modèles Non-Adaptatifs : Les approches existantes reposent généralement sur des modèles statiques entraînés hors ligne. Ces modèles se dégradent en précision lorsque les caractéristiques de la charge de travail changent (ex: déploiement de nouveaux modèles, ou changement des taux d'arrivée des requêtes), nécessant un réentraînement et un redéploiement coûteux.

Méthodologie
Les auteurs évaluent ces limitations à travers une série de simulations et d'expérimentations menées sur un GPU NVIDIA L4 utilisant le moteur d'inférence TensorRT.

Configuration Expérimentale : L'étude utilise un ensemble diversifié de modèles DNN (CNN comme ResNet-50, VGG-19, ConvNeXt-B ; et Transformers comme RoBERTa-B, ViT-B-16, YOLO-v8n). Les charges de travail suivent un processus d'arrivée de Poisson, allant de charges légères aux tests de stress.
Approche de Référence (Baseline) : L'évaluation adopte la méthode de prédiction d'interférence de gpulets [7], qui utilise un modèle de régression linéaire ( $\hat{y} = w^T x + b$ ). Les caractéristiques d'entrée ( $x$ ) consistent en des métriques de débit de ressources moyennes (débit du cache L2, de la DRAM et des SM) du batch interféré et de son batch co-localisé, profilées hors ligne via NVIDIA Nsight Compute.
Évaluation des Limitations de Grain Grossier : Les auteurs simulent des scénarios où les dynamiques de co-localisation changent (ex: le Batch 2 est co-localisé brièvement avec le Batch 1, puis pour une longue durée avec le Batch 3). Ils comparent :
- Statique : Ignorer totalement les dynamiques (utiliser l'état initial de l'exécution).
- Dynamique Partielle : Suivre les arrivées/départs et lisser le débit en utilisant une moyenne mobile exponentielle pondérée (EWMA) avec des facteurs de lissage ( $\alpha$ ) variables.
Évaluation des Limitations de Non-Adaptativité : Les auteurs comparent trois stratégies d'apprentissage à travers différents ensembles de tests (charges variables, nouveaux modèles, et charges de travail hétérogènes) :
- Apprentissage Hors Ligne (Offline Learning) : Un modèle statique entraîné une seule fois sur un jeu de données spécifique.
- Apprentissage En Ligne (SGD) : Met à jour les poids du modèle au moment de l'exécution en utilisant la descente de gradient stochastique.
- Apprentissage En Ligne (RLS) : Met à jour les poids du modèle en utilisant les moindres carrés récursifs.

Résultats Clés

Impact des Dynamiques de Co-localisation : Ignorer les dynamiques de co-localisation au moment de l'exécution conduit à des erreurs de prédiction significatives. Même en tenant compte partiellement des dynamiques via l'EWMA, le modèle de prédiction présente toujours des déviations notables. Dans l'évaluation, bien que plus de 50 % des prédictions soient tombées dans une erreur relative de 20 %, une partie significative a dépassé 60 % d'erreur. Les auteurs attribuent cela à l'utilisation de valeurs de débit de ressources co-localisées statiques et inexactes comme caractéristiques d'entrée, qui ne reflètent pas la pression réelle sur les ressources subie par un batch au fil du temps.
Impact des Changements de Charge de Travail : Les modèles statiques souffrent d'une dégradation de performance sous des charges de travail changeantes.
- Lors de tests sur de nouveaux modèles déployés (Jeu de Test 2) non vus durant l'entraînement, la méthode d'apprentissage hors ligne a montré une augmentation massive de l'erreur quadratique moyenne (MSE) de 0,0355 à 0,5480.
- Les méthodes d'apprentissage en ligne (tant SGD que RLS) ont considérablement atténué cette dégradation, maintenant des MSE beaucoup plus bas (0,4311 pour SGD et 0,3467 pour RLS).
- RLS a systématiquement surpassé le simple SGD, probablement en raison de sa capacité à exploiter l'information de courbure pour une convergence plus rapide, bien qu'au prix d'un coût de calcul plus élevé.

Principales Contributions

Évaluation des Limitations de Prédiction : Le papier fournit des preuves empiriques que les méthodes de prédiction d'interférence à grain grossier, qui ignorent les dynamiques de co-localisation temporelles, entraînent des déviations d'exactitude substantielles.
Évaluation de l'Adaptabilité des Modèles : L'étude démontre que les modèles de prédiction statiques se dégradent considérablement sous des changements de caractéristiques de charge de travail (dérive de concept), tandis que les approches d'apprentissage en ligne peuvent maintenir l'exactitude prédictive.
Base de Référence pour Travaux Futurs : En testant rigoureusement l'approche gpulets, les auteurs établissent une référence montrant les modes de défaillance spécifiques des méthodes actuelles de prédiction d'interférence dans les environnements de service ML dynamiques.

Signification et Revendications
Les auteurs revendiquent modestement que leur travail met en lumière des lacunes critiques dans les stratégies actuelles de prédiction d'interférence. Ils soutiennent que pour que l'ordonnancement de l'inférence ML puisse atteindre une haute utilisation du GPU tout en respectant les SLO, les mécanismes de prédiction doivent être redessinés pour :

Prendre en compte les dynamiques de co-localisation au moment de l'exécution plutôt que de se fier à des instantanés statiques.
Incorporer des capacités d'apprentissage en ligne pour s'adapter à l'évolution des caractéristiques des charges de travail sans nécessiter un réentraînement complet.

Le papier se positionne comme une évaluation fondamentale ("Travaux en cours") qui identifie la nécessité de modèles de prédiction plus sophistiqués et adaptatifs, ainsi que de meilleures métriques de ressources, afin de permettre une latence réellement prévisible dans les systèmes d'inférence ML.