🤖 machine learning

WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

WattGPU introduit un nouveau cadre qui prédit avec précision la consommation d'énergie et la latence d'inférence des grands modèles de langage sur des GPU et des LLM inédits en utilisant uniquement des métadonnées publiques, surpassant de manière significative les références physiques traditionnelles sans nécessiter de profilage matériel.

Auteurs originaux : Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de louer une voiture pour un voyage sur la route, mais que vous ne savez pas quelle voiture est la plus économe en carburant pour vos bagages et votre itinéraire spécifiques. Habituellement, pour le savoir, vous devriez conduire physiquement chaque voiture du marché avec vos bagages exacts, mesurer la consommation d'essence et chronométrer le trajet. Cela prendrait une éternité et coûterait une fortune.

Ce document présente WattGPU, une « boule de cristal » pour les puces informatiques (GPU) et les modèles d'IA (LLM). Au lieu de tester chaque voiture, WattGPU prédit exactement quelle quantité d'énergie un modèle d'IA spécifique consommera et à quelle vitesse il s'exécutera sur une puce informatique spécifique, simplement en consultant leurs fiches techniques.

Voici le détail de son fonctionnement, en utilisant des analogies simples :

Le Problème : Le « Jeu de Devinettes »

Les grandes entreprises comme les petites entreprises utilisent de plus en plus de chatbots d'IA. Ces chatbots ont besoin de puces informatiques puissantes (GPU) pour fonctionner.

Le problème : Toutes les puces ne se valent pas. Faire tourner un petit modèle d'IA sur une puce massive et puissante, c'est comme mettre un pneu de bicyclette sur un semi-remorque : cela gaspille une énorme quantité de carburant (électricité).
L'ancienne méthode : Pour trouver la meilleure correspondance, les opérateurs devaient tester physiquement chaque combinaison de modèle d'IA et de puce informatique. C'est coûteux, lent, et cela nécessite de posséder tout le matériel.
La lacune : Les outils existants pouvaient deviner, mais ils échouaient lorsqu'ils rencontraient une nouvelle puce ou un nouveau modèle d'IA qu'ils n'avaient jamais vus auparavant.

La Solution : WattGPU (L'Oracle des Fiches Techniques)

Les auteurs ont construit deux modèles de prédiction intelligents (comme une calculatrice très avancée) qui n'ont besoin que d'informations publiques :

Le « CV » de l'IA : Quelle est sa taille ? Combien de couches possède-t-elle ? (Métadonnées de Hugion Face).
La « Fiche Technique » de la Puce : Quelle est sa vitesse ? Quelle est sa mémoire ? Quelle est sa limite de puissance maximale ? (Spécifications du fabricant).

Le tour de magie :
Le système apprend la « personnalité » des différentes puces et des différents modèles d'IA. Une fois entraîné, il peut regarder une puce totalement nouvelle qu'il n'a jamais vue et un modèle d'IA qu'il n'a jamais rencontré, et deviner avec précision :

Consommation électrique : Combien de watts d'électricité va-t-il absorber ?
Latence (ITL) : Combien de temps faudra-t-il pour générer un mot (token) de texte ?

L'Analogie : La Cuisine d'un Restaurant

Considérez le modèle d'IA comme une recette et le GPU comme une cuisine.

Certaines recettes sont simples (faire une tartine) ; d'autres sont complexes (un banquet de 10 plats).
Certaines cuisines ont de petits réchauds ; d'autres ont des fours industriels.

Ancienne méthode : Vous devez cuisiner la recette dans chaque cuisine pour voir combien de gaz elle consomme et combien de temps elle prend.
Méthode WattGPU : Vous regardez la liste des ingrédients de la recette et la taille du réchaud de la cuisine. Le système prédit : « Si vous cuisinez cette recette spécifique dans cette cuisine spécifique, vous utiliserez 13 % de gaz de moins que prévu, et cela prendra 5 secondes par plat. »

Qu'ont-ils prouvé ?

Les chercheurs ont testé WattGPU sur un ensemble massif de données comprenant 42 modèles d'IA différents et 8 puces informatiques de type serveur différentes. Ils ont utilisé une méthode de test stricte appelée « Leave-One-Out » (exclusion d'un élément), qui est comme passer un examen où il vous est interdit d'étudier la question spécifique que vous allez devoir répondre.

Les résultats :
- Prédiction de la puissance : Elle était incroyablement précise. Pour les tâches hors ligne (traitement par lots/batch), l'erreur était de moins de 3,4 %. Pour les tâches de serveur (chat en temps réel), l'erreur était de moins de 13,5 %.
- Prédiction de la vitesse : Pour le chat en temps réel, l'erreur était de moins de 8,5 %.
- Classement : Le système était excellent pour vous dire quel processeur est meilleur qu'un autre, même si les chiffres exacts n'étaient pas parfaits.

Pourquoi cela importe (Le moment « Eurêka »)

Le document met en évidence une découverte surprenante en utilisant un exemple spécifique : Llama 3.1 8B.

Si vous regardez simplement l'indice d'efficacité énergétique (TDP) d'une puce, vous pourriez penser qu'une petite puce à faible consommation (L4) est le meilleur choix.
Cependant, WattGPU a prédit que cette petite puce serait trop lente pour répondre aux exigences de vitesse.
La puce « évidente » à haute puissance (H100) était rapide, mais consommait 43 % d'énergie de plus qu'une puce de taille moyenne (A30) qui était tout aussi rapide.
La leçon : WattGPU a trouvé la puce « Goldilocks » (le juste milieu) — celle qui est assez rapide mais qui ne gaspille pas d'énergie. Sans cet outil, les gens auraient choisi la mauvaise puce et gaspillé énorm amounts d'électricité et d'argent.

Ce qu'il ne fait pas (Les limites)

Le document est honnête sur ce que WattGPU ne peut pas encore faire :

Il fonctionne mieux sur les modèles d'IA « denses » standards. Il ne gère pas encore les modèles complexes de type « Mixture of Experts » (qui sont comme une équipe de spécialistes travaillant ensemble) ou les modèles qui ont été fortement compressés (quantifiés).
Il éprouve un peu plus de difficultés avec les vitesses de traitement par lots (« offline batch processing ») par rapport aux vitesses de chat en temps réel, car le logiciel se comporte différemment lors du traitement de gros lots simultanément.

L'essentiel

WattGPU est un outil qui vous permet de sauter l'étape des tests physiques. En utilisant uniquement les spécifications publiques, il aide les opérateurs à choisir la puce informatique appropriée pour leur IA, économisant ainsi de l'argent et de l'électricité sans avoir besoin de construire un laboratoire rempli de matériel pour tester chaque possibilité. Il transforme le « jeu de devinettes » du déploiement de l'IA en une prédiction calculée.

Résumé Technique : WattGPU

Énoncé du Problème
La prolifération rapide des charges de travail d'inférence de Grands Modèles de Langage (LLM), particulièrement dans les déploiements des petites et moyennes entreprises, a créé une empreinte énergétique significative et croissante. L'optimisation de ces déploiements nécessite de faire correspondre des LLM spécifiques aux GPU les plus économes en énergie. Cependant, les opérateurs manquent actuellement d'outils pour effectuer cette correspondance sans profiler de manière exhaustive chaque combinaison LLM-GPU sur du matériel physique. Ce processus de profilage est prohibitif, car il nécessite un accès physique à des matériels divers, une expertise spécialisée et des ressources importantes. Les modèles prédictifs existants reposent soit sur des données de profilage, soit échouent à se généraliser à un matériel non vu lors de l'entraînement, laissant un fossé dans la capacité à estimer la consommation électrique et la latence pour des configurations inédites en utilisant uniquement des métadonnées publiques.

Méthodologie
Pour répondre à cela, les auteurs introduisent WattGPU, un cadre comprenant deux modèles prédictifs pour la Consommation Électrique Moyenne du GPU ( $\bar{P}$ ) et la Latence Inter-Token (ITL). L'innovation centrale est que ces modèles ne nécessitent aucun accès au matériel ni aucun profilage une fois entraînés ; ils reposent exclusivement sur les métadonnées publiques des LLM (ex: nombre de paramètres, couches, têtes d'attention provenant de Hugging Face) et les spécifications des fabricants de GPU (ex: TDP, bande passante mémoire, vitesses d'horloge).

Ingénierie des Caractéristiques (Feature Engineering) : Les auteurs ont dérivé des caractéristiques pour capturer la dynamique du matériel, incluant un Ratio de Boosting (mise à l'échelle de la fréquence), une Latence de Bande Passante (temps de lecture des poids) et une Latence de Calcul (borne inférieure théorique pour le calcul des tokens).
Architecture du Modèle : Les auteurs ont évalué divers algorithmes et ont sélectionné XGBoost (Gradient-Boosted Regression Trees) comme le modèle optimal.
- Pour la prédiction de la puissance, la variable cible est normalisée par le TDP (Thermal Design Power) du GPU afin d'apprendre un comportement invariant à l'échelle, facilitant la généralisation à des GPU non vus.
- Les hyperparamètres ont été optimisés via une recherche par grille (grid search), avec des configurations spécifiques pour la puissance (max_depth=6, n_estimators=100) et la latence (max_depth=5, n_estimators=200).
Stratégie d'Évaluation : Les modèles ont été évalués sur un ensemble de données comprenant 42 LLM open-source (0,1B–27B paramètres) et 8 GPU de classe serveur NVIDIA (allant du V100 au H200). L'évaluation a utilisé des stratégies de validation croisée rigoureuses :
1. Validation Croisée à 5 plis (5-fold CV) : Généralisation à des combinaisons (GPU, LLM) inédites de matériel/modèles connus.
2. Leave-One-GPU-Out (LOGO) : Généralisation à des GPU complètement nouveaux.
3. Leave-One-LLM-Out (LOLO) : Généralisation à des LLM complètement nouveaux.
  Les scénarios incluaient le mode Hors-ligne (débit maximal) et le mode Serveur (requêtes suivant une distribution de Poisson avec des contraintes de latence).

Résultats Clés
Les modèles WattGPU démontrent des améliorations significatives par rapport aux bases analytiques (TDP mis à l'échelle de la charge pour la puissance et Roofline pour la latence), particulièrement dans les scénarios de généralisation.

Consommation Électrique Moyenne ( $\bar{P}$ ) :
- GPUs Inédits (LOGO) : A atteint une erreur absolue médiane (MdAPE) $\le$ 3,4 % pour les scénarios hors-ligne et $\le$ 13,5 % pour les scénarios serveur.
- Classement : Maintient de fortes corrélations de classement de GPU pour les scénarios serveur (Kendall $\tau \ge 0,76$ ).
- Comparaison avec les Références : A réduit la MdAPE d'environ 2× pour les GPU complètement inédits et de 4× pour les combinaisons LLM-GPU inédites dans les scénarios serveur par rapport aux références les plus fortes.
Latence Inter-Token (ITL) :
- Scénarios Serveur : A atteint une MdAPE de $\le$ 8,5 % sur les GPU inédits (LOGO).
- Scénarios Hors-ligne : La performance est plus complexe, avec une MdAPE de 24,9 % sur les GPU inédits, bien que le modèle surpasse toujours la référence Roofline en erreur absolue (24,9 % contre 80,2 % pour LOGO).
- Classement : Les modèles ont atteint une haute qualité de classement, avec un Kendall $\tau \ge 0,76$ pour les scénarios serveur.

Signification et Revendications
L'article affirme présenter les premiers modèles prédictifs pour la puissance et la latence d'inférence de LLM évalués spécifiquement sur des GPU inédits. Sa principale importance réside dans la possibilité de prendre des décisions de déploiement respectueuses de l'énergie sans nécessiter de benchmarking physique.

Impact Pratique : Les auteurs illustrent que les heuristiques standards (comme le TDP ou le TFLOPS/Watt) peuvent être trompeuses. Par exemple, choisir un H100 plutôt qu'un A30 pour un déploiement Llama 3.1 8B à faible charge pourrait sembler efficace selon le TFLOPS/Watt, mais WattGPU prédit qu'il consommera 43 % de plus tout en respectant le même SLA de latence.
Durabilité : En permettant aux opérateurs de sélectionner le GPU le plus efficace pour un LLM et un scénario de charge spécifique, l'outil contribue directement à la réduction des coûts opérationnels et des émissions de carbone, s'alignant sur les objectifs de durabilité et les réglementations émergentes comme l'IA Act de l'UE.
Limites et Travaux Futurs : Les auteurs reconnaissent que la prédiction de l'ITL dans les scénarios hors-ligne reste difficile (MdAPE 24,9 %) car les caractéristiques statiques ne peuvent pas pleinement capturer les comportements de batching dynamique (ex: le continuous batching de vLLM). Les travaux futurs visent à incorporer des caractéristiques sensibles à la charge de travail et à étendre l'approche aux modèles Mixture-of-Experts (MoE) et aux modèles quantifiés. L'évaluation actuelle est limitée aux modèles denses sur des configurations à GPU unique.