Résumé Technique : Vers des Ordonnanceurs de LLM Multi-Modèles : Insights Empiriques sur le Déléguage et la Préemption

Énoncé du Problème

Les déploiements modernes de modèles de langage à grande échelle (LLM) nécessitent de plus en plus de servir plusieurs modèles hétérogènes (variant en architecture, taille et spécialisation) sur du matériel partagé et contraint en ressources. Bien que des systèmes existants comme vLLM optimisent le débit pour des charges de travail mono-modèle grâce au regroupement continu et à une gestion efficace du cache clé-valeur (KV), ils manquent de mécanismes pour gérer l'ordonnancement multi-modèle sous des contraintes strictes de mémoire GPU.

Dans de tels environnements contraints, deux mécanismes critiques deviennent nécessaires mais sont mal compris dans un contexte multi-modèle :

1. Déléguage partiel CPU-GPU : Déplacer des sous-ensembles de couches de modèles vers la mémoire CPU pour faire tenir les modèles dans la VRAM GPU limitée.
2. Préemption : Mettre en pause un travail d'inférence en cours pour évacuer son modèle et son état, permettre l'exécution d'un travail de priorité supérieure, puis reprendre le travail d'origine.

La littérature actuelle suppose souvent une dégradation linéaire des performances avec le déléguage ou traite les coûts de préemption comme une surcharge monolithique et non quantifiée. Il manque de données empiriques caractérisant la manière dont ces facteurs interagissent à travers différentes échelles de modèles, architectures et plateformes matérielles.

Méthodologie

Les auteurs ont mené une étude empirique systématique sur deux plateformes matérielles distinctes partageant un sous-système CPU commun (AMD Threadripper PRO 5995WX) mais différant par leur architecture GPU :

• Plateforme A : NVIDIA RTX 5000 Ada Generation (32 Go de VRAM).
• Plateforme B : NVIDIA RTX A6000 (48 Go de VRAM).

L'étude a utilisé un ensemble diversifié de modèles (Llama 3 8B, Qwen3 32B, Llama 2 70B pour le déléguage ; Qwen2.5-3B, Qwen3-8B, Qwen2.5-14B pour la préemption) et a exécuté deux balayages expérimentaux principaux :

1. Balayage du déléguage couche par couche :

   • Exécuté sur Ollama (quantifié Q4) et HuggingFace Transformers (FP16).
   • Variation de la fraction de couches de transformateurs placées sur le GPU de 0 % (tout CPU) à 100 % (tout GPU) par incréments de 10 %, avec une granularité plus fine près de 100 %.
   • Mesure du débit de décodage (jetons/seconde) à travers diverses longueurs de sortie (de 50 à 5 000 jetons).

2. Benchmark de préemption et de migration :

   • Simulation d'un scénario de préemption « pire cas » où un travail A de longue durée (génération de 7 000 jetons) est interrompu à neuf points de contrôle (de 100 à 5 000 jetons).
   • Le travail A est entièrement déchargé (poids et cache KV déplacés vers la mémoire hôte), un travail B est exécuté, puis le travail A est rechargé et repris.
   • Décomposition de la surcharge totale de préemption en étapes constitutives : transfert du cache KV (GPU→CPU), déchargement du modèle, rechargement du modèle et restauration du cache KV (CPU→GPU).
   • Test de diverses paires de modèles pour isoler l'impact de la taille du modèle préempté par rapport à la taille du modèle préempteur.

Contributions Clés

L'article fournit trois contributions principales :

1. Évaluation Empirique Systématique : Une caractérisation complète des LLM de l'état de l'art sur du matériel hétérogène, démontrant que les tendances de performance concernant le déléguage et la mise à l'échelle sont cohérentes entre les modèles et les systèmes.
2. Quantification des Surcharges : Analyse détaillée des implications de performance du déléguage partiel et de la préemption, identifiant les sources dominantes de latence et de coûts de mouvement de données.
3. Distillation des Fonctionnalités de l'Ordonnanceur : Un ensemble de caractéristiques clés dérivées de données empiriques que les futurs ordonnanceurs multi-modèles doivent intégrer pour prendre en charge efficacement l'exécution hybride CPU-GPU et la préemption.

Résultats Clés

1. Dégradation Non-Linéaire du Déléguage

• Sensibilité du Modèle : Le débit de décodage ne s'échelonne pas linéairement avec le pourcentage de couches sur le GPU. Les petits modèles (par exemple, Llama 3 8B) présentent une sensibilité nette et non linéaire à la réduction de la résidence GPU, subissant des pénalités de débit significatives même avec un déléguage modéré. Les grands modèles (par exemple, Llama 2 70B) montrent une dégradation plus progressive, approximativement linéaire.
• Interaction Matérielle : L'écart de performance relatif entre le CPU et le GPU impacte significativement l'efficacité du déléguage. Sur la RTX 5000 (débit de pointe inférieur), la pénalité relative du déléguage est plus faible par rapport à la RTX A6000 (capacité de calcul supérieure), où le déléguage entraîne une dégradation relative plus importante.
• Longueur de Séquence : Les prompts plus longs amplifient l'impact négatif du déléguage en raison de l'augmentation de la pression mémoire et des coûts d'accès du cache KV.

2. Composition de la Surcharge de Préemption

• Domination du Rechargement du Modèle : Le coût de la préemption est écrasamment dominé par le rechargement des poids du modèle depuis le disque vers la mémoire GPU. Ce composant représente >98,5 % de la surcharge totale de préemption sur les deux plateformes matérielles.
• Négligeabilité du Cache KV : Le transfert du cache KV (aussi bien GPU→CPU que CPU→GPU) contribue à moins de 1,5 % de la surcharge totale, même pour de grands caches (jusqu'à ~950 Mo).
• Coût Constant : La surcharge de préemption est effectivement constante indépendamment de l'avancement du travail (nombre de jetons générés). Le coût dépend presque entièrement de l'empreinte des poids du modèle préempté, et non de la taille du cache KV ou de l'identité du modèle préempteur.
  • Exemple : Sur la RTX 5000, la surcharge de préemption varie de ~3 s (modèle 3B) à ~7,3 s (modèle 14B).
• Variance Matérielle : La RTX A6000 a démontré des coûts de préemption absolus plus faibles (transfert disque→GPU plus rapide) par rapport à la RTX 5000, malgré une VRAM plus importante.

3. Efficacité du Mouvement des Données

• Les temps de transfert du cache KV s'échelonnent linéairement avec la longueur de la séquence mais restent dans la gamme de quelques dizaines de millisecondes (par exemple, <90 ms pour un transfert de ~950 Mo sur la RTX 5000).
• La bande passante PCIe effective est limitée par les surcharges de copie de tenseurs par couche dans l'exécution PyTorch, atteignant seulement 9–16 Go/s contre un pic théorique de 31,5 Go/s.

Importance et Revendications

L'article soutient que ces résultats empiriques modifient fondamentalement les exigences de conception pour les ordonnanceurs de LLM de nouvelle génération :

• Rejet des Hypothèses Linéaires : Les ordonnanceurs ne peuvent pas s'appuyer sur des stratégies de placement proportionnelles ou uniformes. Ils doivent tenir compte d'une sensibilité non linéaire spécifique au modèle au déléguage, en particulier pour les petits modèles où le déléguage partiel est hautement préjudiciable.
• Pénalité de Préemption Fixe : Contrairement à l'hypothèse selon laquelle les coûts de préemption varient avec l'avancement du travail, l'étude établit que la préemption peut être modélisée comme une pénalité fixe dépendant uniquement de l'empreinte des poids du modèle et de la paire matérielle. Cela simplifie la logique d'ordonnancement, permettant une modélisation prévisible des coûts.
• Conscience Matérielle : Les décisions d'ordonnancement doivent être explicitement conscientes du matériel, considérant non seulement la capacité GPU mais aussi l'écart de calcul spécifique entre le CPU et le GPU, ainsi que les vitesses de transfert disque→GPU.
• Cache KV vs Poids : L'étude clarifie que l'optimisation de la migration du cache KV est secondaire par rapport à l'optimisation du chargement/déchargement des poids du modèle pour l'efficacité de la préemption, car le premier est actuellement négligeable dans la structure de coûts totale.

Les auteurs concluent que les futurs ordonnanceurs doivent intégrer ces caractéristiques — courbes de déléguage non linéaires, profils d'architecture de modèles, dynamiques de longueur de séquence et coûts de préemption fixes — pour gérer efficacement des charges de travail hétérogènes et multi-modèles dans des environnements dynamiques et contraints en ressources.