🤖 machine learning

From Tokens to Watt-hours: Analytical Energy Estimation for LLM Inference on Modern GPUs

Cet article introduit une méthodologie analytique, calibrée de manière empirique, pour estimer la consommation d'énergie de l'inférence des LLM sur les GPU NVIDIA H100 en décomposant les charges de travail en composantes de calcul et de trafic mémoire, permettant ainsi des évaluations énergétiques transparentes et reproductibles sans nécessiter de mesure matérielle directe.

Auteurs originaux : Tina Vartziotis, Rodopi Kosteli, Elli Vartziotis, George Dasoulas, Michael Keckeisen, Konstantinos Skianis, Sotirios Kotsopoulos, Francesca Dominici

Publié 2026-07-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tina Vartziotis, Rodopi Kosteli, Elli Vartziotis, George Dasoulas, Michael Keckeisen, Konstantinos Skianis, Sotirios Kotsopoulos, Francesca Dominici

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense bibliothèque animée où des millions de personnes demandent constamment à un bibliothécaire magique (une Intelligence Artificielle) d'écrire des histoires, de résoudre des problèmes mathématiques ou de résumer des actualités. Pendant longtemps, nous ne nous sommes inquiétés que de la « puissance cérébrale » dont ce bibliothécaire avait besoin pour apprendre ses tours (l'entraînement). Mais maintenant, le bibliothécaire travaille sans relâche, répondant à des millions de questions chaque jour. Ce travail constant consomme une quantité massive d'électricité, ce qui est mauvais pour la planète. La grande question pour les scientifiques et les ingénieurs est : « Combien d'énergie faut-il réellement pour répondre à une seule question ? » Le problème, c'est que mesurer cette énergie directement revient à essayer de peser un seul grain de sable pendant qu'il est emporté par un ouragan ; il faut des capteurs spéciaux et coûteux ainsi que des conditions parfaites que la plupart des gens n'ont pas. Sans moyen de deviner le coût énergétique, il est difficile de savoir si une IA est plus « verte » qu'une autre ou si une façon spécifique de poser une question gaspille de l'énergie.

Cet article, intitulé « From Tokens to Watt-hours », propose une manière ingénieuse de résoudre ce casse-tête sans avoir besoin de brancher un compteur de puissance. Les auteurs, une équipe de chercheurs issus d'universités et d'entreprises technologiques, ont construit un « calculateur » mathématique qui estime l'énergie utilisée par une IA simplement en regardant la taille de l'IA et la longueur de la conversation. Voyez cela comme une étiquette nutritionnelle pour l'IA : au lieu de compter les calories, on compte les « Watt-heures » (une unité d'énergie). Ils ont testé leur calculateur sur des puces informatiques puissantes appelées NVIDIA H100, qui sont les moteurs de nombreuses IA les plus intelligentes d'aujourd'hui.

Voici comment fonctionne leur calculateur, en utilisant une analogie simple. Imaginez que l'IA est un chef dans une cuisine. Pour cuisiner un plat (générer une réponse), le chef fait deux choses : il lit la recette et rassemble les ingrédients (c'est la partie « calcul » ou « compute »), et il fait des allers-retours au garde-manger pour chercher des épices et des ustensiles (c'est la partie « mémoire »). Les chercheurs ont découvert que pour des commandes courtes, le chef se contente principalement de cuisiner, donc le coût énergétique concerne surtout la cuisine. Mais pour des commandes longues et complexes, le chef doit faire tellement d'allers-retours au garde-manger que l'énergie dépensée pour courir commence à dominer la facture.

L'article décompose le coût énergétique en deux phases principales :

La phase de « Prefill » (Pré-remplissage) : C'est le moment où le chef lit la commande du client (l'invite d'entrée ou « prompt »). Le coût énergétique ici dépend de la longueur de la commande.
La phase de « Decode » (Décodage) : C'est le moment où le chef écrit la réponse, mot après mot. Le coût énergétique ici dépend de la longueur de la réponse.

Les chercheurs ont découvert que le coût énergétique ne dépend pas seulement de la taille de l'IA (combien d'« ingrédients » ou de paramètres elle possède). Il dépend aussi fortement de la longueur de la conversation. Ils ont constaté qu'à mesure que la réponse s'allonge, l'énergie ne grimpe pas seulement de façon linéaire ; elle courbe vers le haut de manière abrupte. Pourquoi ? Parce que chaque nouveau mot que l'IA écrit nécessite qu'elle relise tous les mots précédents pour donner du sens à l'histoire. C'est comme si le chef devait relire toute la recette à chaque fois qu'il ajoute une pincée de sel. Plus la recette est longue, plus les allers-retours sont nombreux, et plus l'énergie est gaspillée.

En utilisant leur formule, l'équipe a calculé qu'une petite IA (avec environ 0,3 milliard de paramètres) utilise très peu d'énergie, environ 0,001 Watt-heure par requête. Mais une IA géante (avec 120 milliards de paramètres) utilise beaucoup plus — environ 0,15 Watt-heure pour la même tâche. Ils ont également montré que pour un modèle de 70 milliards de paramètres, leur estimation était très proche (à moins de 5 %) des mesures réelles prises par d'autres scientifiques, prouvant que leur « calculateur » est suffisamment fiable pour être utilisé quand on ne peut pas mesurer la puissance directement.

L'article précise explicitement que cet outil n'est pas un remplacement parfait pour mesurer l'électricité avec un compteur. Il ne compte pas l'énergie utilisée par la climatisation, les câbles internet ou les autres ordinateurs du centre de données. Il ne compte que l'énergie utilisée par la puce spécifique qui réfléchit. Cependant, les auteurs soutiennent que l'énergie de cette puce constitue la plus grande partie de la facture que les ingénieurs peuvent contrôler.

Alors, qu'est-ce que cela signifie pour l'avenir ? L'article suggère que si nous voulons économiser de l'énergie, nous ne devrions pas seulement essayer de créer des IA plus grandes. Au lieu de cela, nous devrions essayer de rendre les « recettes » plus courtes (compresser l'entrée), demander des réponses plus courtes, ou utiliser des chefs plus petits et spécialisés pour des tâches simples. Les auteurs espèrent que ce calculateur aidera les développeurs à comparer différents modèles d'IA et à choisir ceux qui sont les plus économes en énergie, aidant ainsi à construire un monde numérique plus « vert » sans avoir besoin d'installer un compteur de puissance sur chaque ordinateur.

Résumé technique : Des jetons aux wattheures : Estimation analytique de l'énergie pour l'inférence de LLM sur les GPU modernes

1. Énoncé du problème

La consommation d'énergie opérationnelle de l'inférence des grands modèles de langage (LLM) est une composante critique de l'empreinte environnementale des systèmes d'IA déployés. Alors que la recherche en IA verte a largement couvert les coûts d'entraînement, l'énergie d'inférence — pilotée par la génération autoregressive de jetons (tokens) continue et à échelle de la demande — demeure une préoccupation majeure en matière de durabilité.

Les approches actuelles d'estimation de la consommation d'énergie de l'IA font face à une dichotomie :

Les études basées sur la mesure s'appuient sur la télémétrie matérielle, l'instrumentation de puissance ou la surveillance spécifique à l'infrastructure. Bien que précieuses, ces résultats sont liés à un matériel, des systèmes de service et des configurations d'exécution spécifiques, ce qui limite leur applicabilité dans les études comparatives, la conception de systèmes au stade initial et le reporting de durabilité où une telle instrumentation est indisponible.
Les modèles analytiques basés sur les lois d'échelle des transformeurs et les benchmarks microarchitecturaux fournissent des comptes de FLOPs, mais échouent souvent à offrir des estimations d'énergie par requête ou par jeton qui tiennent compte du trafic mémoire et des coefficients matériels spécifiques.

Cela crée un vide pour un estimateur transparent et reproductible qui combine la modélisation de calcul des transformeurs, l'attribution du trafic mémoire et des coefficients matériels spécifiques pour estimer l'énergie d'inférence des GPU sans nécessiter d'instrumentation au moment de l'exécution.

2. Méthodologie

Les auteurs proposent une méthodologie semi-analytique, calibrée empiriquement, pour estimer la consommation d'énergie côté accélérateur des GPU pour l'inférence de LLM sur des accélérateurs de classe NVIDIA H100. Le cadre sépare explicitement la phase de pré-remplissage du prompt (prefill) de la phase de décodage autoregressif, car celles-ci présentent des modèles de calcul et d'accès à la mémoire distincts.

2.1. Décomposition de l'énergie

L'énergie GPU totale ( $E_{GPU}$ ) pour une requête est modélisée comme la somme de l'énergie de calcul des cœurs tensoriels ( $E_{compute}$ ) et de l'énergie de mouvement de la mémoire à haute bande passante (HBM) ( $E_{memory}$ ) :
$E_{GPU} = E_{compute} + E_{memory}$

Terme de calcul : Proportionnel au nombre d'opérations de calcul en virgule flottante des cœurs tensoriels (FLOPs).
$E_{compute} = \alpha_{TC} C_{TC}$
Où $\alpha_{TC}$ est l'énergie par FLOP spécifique au matériel et $C_{TC}$ est le nombre total de FLOPs.
Terme de mémoire : Proportionnel au nombre de bits transférés via la HBM.
$E_{memory} = e_{HBM} Q_{HBM} \eta(N)$
Où $e_{HBM}$ est l'énergie par bit, $Q_{HBM}$ est le trafic total en bits et $\eta(N)$ est un facteur d'inefficacité de la mémoire calibré.

2.2. Modélisation du trafic

Le trafic mémoire ( $Q_{HBM}$ ) est décomposé en trois composantes principales :

Accès aux paramètres : Trafic requis pour charger les poids du modèle.
Écriture du cache KV : Trafic pour stocker les nouveaux couples clé-valeur pendant la génération.
Lecture liée à l'attention : Trafic pour lire le contexte accumulé depuis le cache KV.

Le modèle distingue les opérations de transformeurs denses (variant linéairement avec les paramètres et les jetons) et les corrections d'attention (variant de manière super-linéaire avec la longueur de la séquence en raison des exigences quadratiques de lecture du cache KV).

2.3. Calibration et coefficients

La méthodologie utilise des coefficients matériels fixes dérivés de mesures microarchitecturales du calcul des cœurs tensoriels GPU et de l'accès à la HBM (spécifiquement pour FP16/BF16 sur des GPU de classe H100) :

$\alpha_{TC} = 0,52$ pJ/FLOP
$e_{HBM} = 11,68$ pJ/bit

Pour tenir compte du comportement non idéal du matériel (ex: réutilisation des paramètres, résidence en cache et inefficacité de la mémoire), les auteurs emploient des facteurs d'échelle calibrés ( $\gamma(N)$ , $s_{attn}(N)$ , $\eta(N)$ ) ajustés aux mesures d'énergie rapportées par la littérature existante.

2.4. Estimateur simplifié

Pour les scénarios où les métadonnées détaillées de l'architecture (ex: nombre de couches, dimension cachée) ne sont pas disponibles, un estimateur simplifié basé uniquement sur les paramètres est défini. Il approxime l'énergie par jeton de sortie comme étant proportionnelle linéairement au nombre de paramètres ( $N$ ) et utilise un multiplicateur dépendant de la longueur du prompt pour les jetons d'entrée.

3. Contributions clés

Cadre analytique : Une méthodologie structurée pour estimer l'énergie d'inférence par requête et par jeton normalisé sans mesure directe au moment de l'exécution.
Séparation des phases : Décomposition explicite de l'énergie en phases de pré-remplissage du prompt et de décodage autoregressif, permettant une analyse granulaire des coûts des jetons d'entrée versus de sortie.
Décomposition par composante : Décomposition de l'énergie totale en calcul, accès aux paramètres, écriture du cache KV et lecture de l'attention, révélant le comportement d'échelle de chacune.
Calibration empirique : Intégration de coefficients d'énergie spécifiques au matériel avec des facteurs de trafic mémoire calibrés empiriquement pour combler l'écart entre les comptes de FLOPs théoriques et la consommation d'énergie réelle.
Perspectives exploitables : Identification de mécanismes spécifiques pour réduire l'énergie, notamment la réduction de la taille des modèles, les générations plus courtes, la quantification du cache KV, la compression de prompt et l'amélioration du batching.

4. Résultats et évaluation

L'estimateur a été évalué par rapport à un ensemble de LLM basés sur des transformeurs (allant de <3B à >120B de paramètres) et comparé à des études basées sur la mesure.

Échelle avec la longueur de séquence : L'énergie de calcul et le trafic d'écriture du cache KV évoluent linéairement avec le nombre de jetons générés ( $T_{out}$ ). Cependant, le trafic mémoire lié à l'attention présente une croissance super-linéaire (quadratique), devenant un contributeur d'énergie dominant à mesure que les longueurs de séquence augmentent.
Échelle avec la taille du modèle : L'énergie totale par requête évolue approximativement de manière linéaire avec la taille du modèle ( $N$ ) sur une échelle log-log. Cependant, l'énergie mémoire montre un comportement non monotone à travers différents modèles en raison de variations architecturales (ex: dimension cachée et nombre de couches) qui ne passent pas à l'échelle uniformément avec le nombre de paramètres.
Décomposition de l'énergie : Pour des séquences courtes à modérées, l'énergie de calcul domine. À mesure que la longueur de la séquence augmente, la composante de mémoire liée à l'attention croît rapidement, provoquant une courbure ascendante dans la tendance de l'énergie totale.
Précision : Comparé à des résultats basés sur la mesure pour une charge de travail de 500 jetons d'entrée / 500 jetons de sortie, les estimations analytiques correspondaient aux valeurs mesurées avec une marge de 4,73 % à 27,23 %. L'erreur la plus faible (4,73 %) a été observée pour le modèle de 70B de paramètres.
Estimations par jeton : L'étude fournit des estimations simplifiées de l'énergie par jeton (ex: ~218 mJ/jeton de sortie pour un modèle de 70B), démontrant la dépendance linéaire de l'énergie vis-à-vis du nombre de paramètres.

5. Signification et affirmations

L'article positionne cette méthodologie non pas comme un remplacement des mesures de puissance physique, mais comme une approximation transparente, reproductible et explicite dans ses hypothèses.

Portée : Les estimations sont strictement limitées à l'énergie opérationnelle côté accélérateur (calcul GPU et mouvement HBM). Elles excluent explicitement les surcharges du système telles que l'exécution CPU, la mémoire hôte, le réseau, le stockage, le refroidissement et l'efficacité énergétique des datacenters (PUE).
Utilité : Le cadre est conçu pour :
- La comparaison de modèles : Comparer l'efficacité énergétique entre des inventaires de modèles hétérogènes.
- L'analyse de "Green-Coding" : Évaluer l'impact des choix architecturaux et des interventions.
- L'évaluation au moment de la conception : Prendre des décisions de déploiement lorsque l'instrumentation complète du datacenter est indisponible.
Limites : Les auteurs reconnaissent que le modèle abstrait certains effets tels que la communication de parallélisme de tenseur, la fusion de noyaux (kernel fusion), les politiques de batching et les implémentations spécifiques de moteurs d'inférence. Par conséquent, les facteurs doivent être recalibrés pour différentes générations de GPU ou configurations de service.

En conclusion, l'article fournit un outil fondamental pour comprendre l'échelle énergétique de l'inférence des LLM, soulignant que si le calcul est dominant pour les séquences courtes, le trafic mémoire (particulièrement les lectures d'attention) devient un goulot d'étranglement critique pour la génération à contexte long.