Résumé Technique : L'Illusion de la Limitation de Puissance dans le Décode des LLM

Énoncé du Problème

Les centres de données reposent de plus en plus sur la limitation de puissance des GPU comme mécanisme principal pour gérer l'empreinte énergétique de l'inférence des modèles de langage de grande taille (LLM). Le modèle opérationnel dominant suppose que la définition d'un plafond de puissance au niveau de la carte force le pilote du GPU à réduire les fréquences d'horloge, échangeant ainsi le débit contre des économies d'énergie garanties. Bien que ce modèle soit valable pour les charges de travail limitées par le calcul (par exemple, l'entraînement ou les noyaux HPC denses) qui poussent les GPU près de leur Puissance Thermique de Conception (TDP), cet article soutient que ce modèle est structurellement défectueux pour la phase dominant la mise en production des LLM : le décode autorégressif.

Le problème central est que la limitation de puissance est inerte pendant le décode car la charge de travail est limitée par la mémoire, et non par le calcul. Par conséquent, le GPU ne consomme jamais assez d'énergie pour déclencher la limite, rendant ce levier énergétique inefficace. De plus, des comportements au niveau du micrologiciel, tels que la réduction silencieuse des fréquences d'horloge lors de l'utilisation de nvidia-smi --lock-gpu-clocks, créent un « double déguisement » qui obscurcit la véritable relation entre fréquence, puissance et débit.

Méthodologie

Les auteurs ont réalisé une caractérisation systématique de l'énergie sur quatre paradigmes d'attention distincts, utilisant un seul GPU NVIDIA H200 SXM (700 W TDP, bande passante HBM3e de 4,8 To/s) :

1. GQA (Attention à requêtes groupées, par exemple Qwen3-4B)
2. MLA (Attention latente multi-têtes, par exemple Minitron-4B via TransMLA)
3. Gated DeltaNet (Récurrence linéaire, par exemple Qwen3.5-4B)
4. Mamba2 (Modèles d'espaces d'état, par exemple Nemotron-Nano)

Configuration Expérimentale :

• Matériel/Logiciel : Les modèles ont été servis via vLLM en précision BF16 sans noyaux personnalisés, afin de refléter les déploiements standards des praticiens.
• Contrôles : Une ablation contrôlée a été réalisée en utilisant TransMLA pour convertir GQA-ctrl (Minitron-4B) en MLA, garantissant que les différences d'énergie étaient attribuables uniquement au mécanisme d'attention et non aux poids du modèle ou au vocabulaire.
• Métriques : L'énergie par token (mJ/tok) a été mesurée pour les phases de préremplissage (prefill) et de décode.
• Variables : L'étude a balayé cinq niveaux d'horloge des SM (390–1980 MHz), cinq niveaux de limite de puissance (280–700 W), des tailles de lot (1–32) et des longueurs de séquence (1K–64K tokens).
• Analyse : La modélisation Roofline a été utilisée pour déterminer l'intensité arithmétique, et des fronts de Pareto ont été construits pour comparer le débit et l'efficacité énergétique sous différents mécanismes de contrôle.

Résultats Clés

1. L'Illusion de la Limitation de Puissance

Contrairement à l'hypothèse selon laquelle les limites de puissance réduisent activement les fréquences des GPU pendant le service des LLM, l'étude a révélé que, pendant le décode, le GPU ne consomme que 137–300 W sur une carte de 700 W TDP.

• Limites Inertes : Parce que la charge de travail est limitée par la mémoire (saturant la bande passante HBM plutôt que le calcul), le GPU n'atteint jamais même la limite la plus basse configurée (280 W). Le pilote ignore la limite et maintient une fréquence d'horloge par défaut d'environ 1830 MHz.
• Artéfacts du Micrologiciel : La commande nvidia-smi --lock-gpu-clocks verrouille silencieusement toute demande de verrouillage ≥1830 MHz à 1830 MHz, distincte du boost libre de 1980 MHz. Cela crée un écart de 240 MHz où des fréquences plus élevées n'apportent aucun gain de débit mais augmentent la puissance de 7 à 13 %, brouillant davantage les mesures énergétiques.

2. Le Verrouillage de l'Horloge des SM comme Levier Correct

Puisque le décode est limité par la mémoire, le chemin critique est le sous-système mémoire, et non la fréquence de calcul.

• Domination de Pareto : Le verrouillage statique de l'horloge des SM surpasse la limitation de puissance à chaque point de fonctionnement correspondant. En abaissant l'horloge des SM (par exemple, à 780 MHz), le système récupère jusqu'à 32 % de l'énergie de décode avec moins de 1 % de perte de débit.
• Classes d'Architecture : Les auteurs ont identifié trois classes de comportement concernant l'ajustement dynamique de la tension et de la fréquence (DVFS) :
  • Invariants au Lot (GQA, GQA-ctrl) : Restent limités par la mémoire même à de grandes tailles de lot (BS=32) ; une seule fréquence basse est optimale.
  • Sensibles au Lot (MLA, Mamba2) : Contiennent suffisamment de calcul par étape (décompression KV ou scans SSM) pour que de grands lots les poussent vers des régimes limités par le calcul, nécessitant des fréquences plus élevées à mesure que la taille du lot augmente.
  • Légers en Calcul (GDN) : Dominés par des opérations élémentaires ; tolèrent le sous-horlogage le plus agressif sans condition.

3. Paysage Énergétique Trans-Architectures

Les architectures nouvelles (MLA, GDN, Mamba2) partagent un motif énergétique commun : un coût de préremplissage élevé qui est finalement récupéré par un décode efficace.

• Pénalité de Préremplissage : GDN et Mamba2 présentent une énergie de préremplissage par token d'un ordre de grandeur supérieur en raison de la récurrence d'état séquentielle et de l'exécution non fusionnée dans vLLM. MLA subit une pénalité plus faible mais persistante due à la surcharge de décompression KV et à une utilisation des cœurs tensoriels non puissance de 2.
• Rendement du Décode : Dans la phase de décode, ces architectures deviennent hautement efficaces.
  • Mamba2 : Atteint une latence constante par étape ($O(1)$), franchissant en dessous de GQA en énergie totale de requête après environ 1 000 tokens de sortie à des tailles de lot de production.
  • MLA : Franchit en dessous de GQA à un seuil de contexte dépendant de la taille du lot (par exemple, 4K tokens à BS=32). À BS=32 et un contexte de 65K, MLA utilise moins de la moitié de l'énergie de décode de GQA.
• Énergie Totale de Requête : À des tailles de lot de production (BS=32), l'efficacité de la phase de décode permet aux architectures nouvelles de diviser par deux l'énergie totale de requête par rapport au GQA standard, malgré leurs pénalités de préremplissage.

Importance et Revendications

L'article revendique que la dépendance de l'industrie à la limitation de puissance pour l'inférence des LLM est structurellement inefficace pour la phase de décode dominante. Les auteurs affirment que :

1. La limitation de puissance est un « double déguisement » : Elle échoue à se déclencher car le GPU est sous-utilisé en termes de puissance (en raison de goulots d'étranglement mémoire), et le verrouillage des fréquences d'horloge par le micrologiciel introduit des déviations sans rapport qui corrompent les mesures de débit.
2. Le verrouillage de l'horloge des SM est la solution universelle : Il cible directement la ressource du chemin critique (la fréquence) pour les charges de travail limitées par la mémoire, offrant un compromis dominant de Pareto entre énergie et débit que la limitation de puissance ne peut atteindre.
3. Implications architecturales : Les avantages énergétiques des nouveaux mécanismes d'attention (MLA, Mamba2) sont strictement spécifiques au décode. Cela soutient l'adoption d'architectures de service disassemblé, où le préremplissage et le décode sont acheminés vers des pools de GPU différents, optimisés pour leurs phases respectives.

Les auteurs concluent que pour les centres de données gérant l'inférence des LLM, remplacer la limitation de puissance par un verrouillage statique de l'horloge des SM pour les pools de décode constitue une intervention simple et à fort impact, capable de générer des mégawatts d'économies de puissance continues à grande échelle, un résultat inaccessible par les stratégies actuelles de limitation de puissance.