Résumé Technique : La Taxe de Stationnement des Modèles

Énoncé du Problème

Le modèle opérationnel dominant pour l'inférence des modèles d'IA consiste à déployer des modèles sur des GPU et à les maintenir chargés en VRAM indéfiniment afin d'éviter la latence associée aux « démarrages à froid ». Bien que les avantages en termes de latence de cette stratégie de « maintien à chaud » soient bien documentés, le coût énergétique continu de la disponibilité a été traité comme une constante non quantifiée. Les rapports de l'industrie estiment la puissance à l'arrêt des GPU à environ 20 % de la Puissance Thermique de Conception (TDP), mais le coût énergétique marginal de l'allocation de quantités spécifiques de VRAM n'a jamais été empiriquement décomposé.

La question centrale abordée est de savoir si le stockage des poids des modèles dans la VRAM d'un GPU engendre un coût énergétique marginal à l'arrêt mesurable, et si ce coût varie selon différentes architectures de GPU et technologies de mémoire. La littérature actuelle suggère que les contextes CUDA forcent les GPU à adopter des fréquences d'horloge plus élevées même à l'arrêt, mais il reste incertain si la taille du modèle (occupation de la VRAM) augmente davantage la consommation énergétique au-delà du coût de simple maintien du contexte.

Méthodologie

Les auteurs emploient une approche en deux phases combinant une télémétrie de production à grande échelle avec des expériences contrôlées de réponse dose-réponse sur trois architectures de GPU distinctes : NVIDIA H100 (HBM3), A100 (HBM2e) et L40S (GDDR6).

Phase 1 : Télémétrie de Production

• Portée : 18 jours de données provenant de 14 GPU NVIDIA H100 répartis sur deux nœuds Kubernetes.
• Volume de données : 335 267 échantillons d'état à l'arrêt (0 % d'utilisation) avec des allocations de VRAM allant de 3 Mo à 79 Go.
• Instrumentation : Les métriques ont été collectées via l'exportateur NVIDIA Data Center GPU Manager (DCGM) à des intervalles de 30 secondes.

Phase 2 : Expériences Contrôlées

• Conception : Études de réponse dose-réponse intra-sujet sur un GPU de chaque architecture (H100, A100, L40S).
• Protocole :
  1. Enregistrer la puissance « à l'arrêt nu » (sans contexte CUDA).
  2. Créer un contexte CUDA persistant.
  3. Allouer séquentiellement de la VRAM croissante (0 à 40–72 Go) en utilisant des tenseurs torch.empty.
  4. Enregistrer la puissance via nvidia-smi pendant 20 minutes par niveau d'allocation.
• Validation : Les expériences ont été validées à l'aide d'un modèle réel HuggingFace (Qwen2.5-7B) pour s'assurer que les poids réels des modèles et les noyaux CUDA n'altéraient pas le profil de puissance à l'arrêt par rapport aux tenseurs vides.
• Rigueur Statistique : L'étude utilise des Tests Unilatéraux Doubles (TOST) pour établir l'équivalence, testant si le coefficient de puissance marginal ($\beta$) est pratiquement nul (borné par $\pm 0,1$ W/Go).

Résultats Clés

1. La « Taxe de Stationnement » est une Fonction Échelonnée, Non un Gradient

L'étude identifie une « Taxe de Stationnement des Modèles » composée de deux composantes distinctes :

• La Surcharge du Contexte CUDA ($\Delta P_{DVFS}$) : La création d'un contexte CUDA déclenche une transition discrète de l'Échelle Dynamique de Tension et de Fréquence (DVFS). Les horloges des Multiprocesseurs de Flux (SM) passent d'états à faible puissance (210–345 MHz) à des fréquences de boost maximales (1410–2520 MHz), indépendamment de l'utilisation.

  • H100 : +49,9 W de surcharge.
  • A100 : +26,3 W de surcharge.
  • L40S : +66,4 W de surcharge.
    Cette étape représente >98 % du coût total de puissance à l'arrêt sur toutes les architectures testées.

• L'Effet Marginal de la VRAM ($\beta$) : Une fois un contexte CUDA actif, la variation de la VRAM allouée de 0 Go à la capacité maximale testée (jusqu'à 72 Go) entraîne un changement de puissance inférieur à 1 W.

  • La pente de régression $\beta$ s'est avérée statistiquement indiscernable de zéro sur les H100 et L40S.
  • Sur l'A100, une pente négative statistiquement significative a été observée, mais les auteurs l'attribuent à une dérive thermique (baisse de température au fil du temps) plutôt qu'à un effet de physique de la mémoire, notant que l'amplitude est négligeable (<0,1 W au total).
  • Conclusion : $\frac{\partial P}{\partial C} \gg \frac{\partial P}{\partial V}$. Le coût est déterminé par la présence d'un contexte, et non par l'occupation de la mémoire.

2. Cohérence Inter-Architectures

La découverte selon laquelle la puissance à l'arrêt est constante par morceaux s'applique à travers trois technologies de mémoire fondamentalement différentes (HBM3, HBM2e, GDDR6) et microarchitectures (Hopper, Ampere, Ada Lovelace). Cette cohérence soutient la prédiction théorique qu'à l'arrêt, la puissance de la mémoire est dominée par les circuits de fond et de rafraîchissement (qui balayent toutes les lignes indépendamment du contenu des données), rendant la puissance indépendante de l'occupation.

3. Modèle de Point d'Équilibre pour le Démarrage à Froid

Les auteurs dérivent un modèle de point d'équilibre ($T^*$) pour déterminer le moment optimal pour évacuer un modèle par rapport à le maintenir à chaud :
$$T^* = \frac{P_{charg} \cdot t_{charg}}{P_{stat}}$$
Où $P_{stat}$ est la taxe de stationnement (surcharge du contexte), $P_{charg}$ est la puissance pendant le chargement, et $t_{charg}$ est la durée de chargement.

• Résultat : Les intervalles de point d'équilibre sont courts, généralement 1 à 5 minutes, selon l'architecture et la méthode de chargement.
• Implication : Pour les petits modèles qui se chargent en quelques secondes, le coût énergétique de les maintenir à chaud dépasse souvent le coût d'un démarrage à froid, même avec des taux de requêtes modérés. Le point d'équilibre dépend de la latence et de la puissance de chargement, et non de la taille du modèle.

Importance et Revendications

L'article revendique fournir la première mesure inter-architectures de la puissance à l'arrêt d'un GPU en fonction de l'allocation de VRAM. Ses contributions principales sont :

1. Décomposition du Coût à l'Arrêt : Il sépare empiriquement la puissance à l'arrêt en un coût DVFS fixe massif (déclenché par le contexte CUDA) et un coût marginal de VRAM négligeable, pratiquement nul.
2. Défi aux Pratiques Actuelles : Il remet en question l'hypothèse de l'industrie selon laquelle les modèles plus grands entraînent des coûts énergétiques à l'arrêt proportionnellement plus élevés. L'article affirme qu'un modèle de 1 Go et un modèle de 64 Go paient la « même taxe de stationnement » car le coût est piloté par le contexte, et non par l'empreinte mémoire.
3. Orientation Opérationnelle : Les auteurs proposent que la « planification sensible à la taille » (démarrage à froid des petits modèles) et l'éviction « sensible au point d'équilibre » sont plus économes en énergie que le déploiement toujours actif.
4. Estimation de l'Impact Industriel : Basé sur les données d'expédition de 2023 et un taux d'utilisation de 65 %, les auteurs estiment que la surcharge du contexte CUDA seule représente 92 à 1 745 GWh/an au niveau mondial, avec une estimation de base de 462 GWh/an (environ 180 kT de CO2).

L'article conclut que les fournisseurs de GPU devraient investiguer des états à l'arrêt qui découplent la fréquence d'horloge de la présence du contexte, et que les plateformes sans serveur devraient prioriser l'élimination des contextes CUDA plutôt que la réduction des empreintes des modèles pour réaliser des économies d'énergie. Un planificateur conceptuel utilisant le modèle de point d'équilibre dérivé a démontré des économies d'énergie de 8 à 23 % sur des simulations de 24 heures par rapport aux bases de référence toujours actives.