🤖 machine learning

Energy Scaling Laws for Diffusion Models: Quantifying Compute in Image Generation

Ce papier propose une loi d'échelle de Kaplan adaptée qui prédit avec précision la consommation énergétique des GPU pour les modèles de diffusion en décomposant l'inférence en composantes d'encodage du texte, de débruitage et de décodage, démontrant que le débruitage domine la consommation énergétique et permettant une estimation fiable entre architectures pour une planification durable de l'IA.

Auteurs originaux : Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot de cuisine très coûteux et ultra-puissant (un GPU) capable de transformer un tas désordonné d'ingrédients en un gâteau parfait et photoréaliste (une image). Ce robot ne cuit pas le gâteau en une seule fois ; il doit mélanger, goûter, ajuster et mélanger à nouveau, des dizaines de fois, pour obtenir la texture parfaite. C'est ainsi que fonctionnent les modèles de diffusion pour créer des images.

Le problème est que ce robot consomme beaucoup d'électricité. Plus le gâteau est complexe (résolution plus élevée) et plus il doit mélanger (plus d'étapes), plus votre facture d'électricité augmente.

Ce papier agit comme une calculatrice d'énergie intelligente pour ces robots créateurs d'images. Les auteurs voulaient répondre à une question simple : "Si je change la taille du gâteau, le type de robot ou le nombre de fois où il mélange, puis-je prédire exactement combien d'électricité il consommera sans réellement faire fonctionner le robot ?"

Voici la décomposition de leurs résultats à l'aide d'analogies du quotidien :

1. La « Recette » de l'énergie (La loi d'échelle)

Les auteurs ont repris une règle célèbre du monde des modèles de langage (appelée lois d'échelle de Kaplan) et l'ont adaptée à la génération d'images. Considérez cette règle comme une recette universelle qui dit : « Plus le robot travaille, plus il consomme d'énergie. »

Ils ont découvert que, pour ces robots d'images, la relation est presque parfaitement linéaire. Si vous doublez la quantité de calculs que le robot doit effectuer (appelés FLOPs), vous doublez approximativement l'énergie qu'il consomme. C'est comme conduire une voiture : si vous roulez deux fois plus loin, vous consommez deux fois plus d'essence.

2. Le « Mélange » est le gros œuvre

Lorsque le robot prépare un gâteau, il y a trois étapes :

Lire la commande (Encodage du texte) : Lire quel type de gâteau vous voulez.
Mélanger la pâte (Dénouage itératif) : Le processus de cuisson réel où il élimine le bruit.
Présenter le gâteau (Décodage) : Assembler l'image finale.

Le papier a révélé que l'étape 2 (Mélange) est le gros œuvre. Elle représente plus de 90 % de l'énergie consommée. Le robot passe presque tout son temps et toute son électricité sur le processus de mélange répétitif, et non sur la lecture de la commande ou la présentation du gâteau. C'est pourquoi la facture énergétique est si élevée : le robot doit mélanger la pâte 10 à 50 fois pour une seule image.

3. Le « Modèle du Robot » n'a pas autant d'importance que vous le pensez

Les chercheurs ont testé cette règle sur quatre types de robots différents (Stable Diffusion 2, Stable Diffusion 3.5, Flux et Qwen) et trois types de cuisines différents (cartes graphiques NVIDIA A100, A4000 et A6000).

Voici la partie surprenante : La règle fonctionne pour tous.

Si vous connaissez la consommation énergétique d'un robot « Flux », vous pouvez utiliser les mêmes mathématiques pour prédire la consommation d'un robot « Qwen », même s'ils sont construits différemment.
Peu importe que vous utilisiez un robot de centre de données professionnel (A100) ou un robot de station de travail haut de gamme (A6000) ; la relation entre « travail effectué » et « énergie utilisée » reste constante.

C'est comme découvrir que, que vous conduisiez une Toyota ou une Ford, si vous parcourez la même distance à la même vitesse, vous consommerez à peu près la même quantité de carburant. Vous n'avez pas besoin de tester chaque voiture sur la route pour connaître le coût du carburant ; il vous suffit de connaître la distance et la vitesse.

4. Les « Boutons » qui modifient la facture

Le papier examine également ce qui se passe lorsque vous actionnez les boutons du robot :

Résolution (Taille) : Rendre l'image plus grande (de 256x256 à 1024x1024) revient à demander au robot de cuire un gâteau de mariage géant au lieu d'un cupcake. Le coût énergétique augmente de manière spectaculaire.
Précision (Exactitude) : Utiliser « float32 » (super précis) par rapport à « float16 » (précision standard) revient à demander au robot de mesurer les ingrédients avec une balance microscopique au lieu d'une balance de cuisine. Le mode super-précis consomme nettement plus d'énergie (environ 7 fois plus dans certains cas).
Étapes (Mélange) : Demander au robot de mélanger 50 fois au lieu de 10 revient à lui demander de remuer la pâte pendant une heure au lieu de 10 minutes. Le coût énergétique augmente de manière linéaire.

5. Pourquoi cela compte (Le « Et alors ? »)

Avant ce papier, si une entreprise voulait savoir combien cela coûterait de faire fonctionner un générateur d'images pour un million d'utilisateurs, elle devait réellement exécuter le système et mesurer le compteur électrique. C'était comme deviner votre facture d'électricité en lançant une pièce de monnaie.

Maintenant, ils disposent d'un outil prédictif.

Pour les planificateurs : Une entreprise peut dire : « Si nous passons à ce nouveau robot et demandons des images 4K, voici exactement la quantité d'électricité dont nous aurons besoin », sans acheter le robot au préalable.
Pour l'environnement : Cela nous aide à comprendre l'« empreinte carbone » de l'IA. Le papier note que la génération d'une image de haute qualité peut consommer autant d'énergie que 10 conversations typiques basées sur du texte avec une IA (comme poser une question à un chatbot).

Résumé

Le papier prouve que la consommation d'énergie dans la génération d'images est prévisible. Elle suit une règle mathématique simple : Plus de calculs = Plus d'énergie. En comprenant cette règle, nous pouvons mieux planifier, choisir le bon équipement et comprendre le coût environnemental de la création d'art numérique, le tout sans avoir besoin d'exécuter un seul test.

Résumé technique : Lois d'échelle énergétique pour les modèles de diffusion

Énoncé du problème

Le déploiement rapide des modèles de diffusion pour la synthèse d'images de haute qualité a introduit des coûts computationnels substantiels, soulevant des préoccupations critiques concernant la consommation énergétique et l'impact environnemental. Contrairement aux modèles à passage unique, les modèles de diffusion nécessitent des étapes itératives de débruitage (généralement 10 à 50), où chaque étape implique une évaluation complète du réseau, ce qui multiplie la consommation énergétique. Alors que les stratégies existantes d'optimisation énergétique se concentrent sur des améliorations architecturales ou l'accélération matérielle, il manque des méthodes prédictives et fondées sur des principes pour estimer la consommation énergétique à travers diverses configurations de modèles et configurations matérielles. Les approches actuelles reposent souvent sur des mesures empiriques a posteriori ou des benchmarks spécialisés, qui fournissent une vérité terrain mais échouent à offrir des cadres prédictifs généralisables reliant directement la complexité architecturale (FLOPs) aux empreintes énergétiques.

Méthodologie

Les auteurs proposent d'adapter les lois d'échelle de Kaplan—développées à l'origine pour l'entraînement de modèles de langage basés sur des transformateurs—pour prédire la consommation énergétique des GPU lors de l'inférence de modèles de diffusion. L'hypothèse centrale est que l'utilisation énergétique suit une relation de loi de puissance avec la complexité computationnelle (FLOPs), modulée par des facteurs matériels et de configuration.

Cadre théorique

La consommation énergétique totale ( $E$ ) est modélisée comme une fonction de la complexité computationnelle, de la précision, de l'architecture matérielle et de la résolution. Les auteurs formulent un modèle de régression log-linéaire :
$\log(E) = \log(A) + \alpha \log(\text{FLOPs} \times 2^{I_{cfg}}) + \beta_{dtype} I_{dtype} + \beta_{gpu} I_{gpu} + \beta_{res} \log\left(\frac{H \times W}{256}\right)$
Où :

FLOPs : Le prédicteur principal, décomposé en encodage textuel, débruitage itératif et décodage d'image. Les auteurs soutiennent que le débruitage itératif domine la consommation énergétique (représentant >90 % des FLOPs), permettant au modèle d'approcher le calcul total comme $N \times T \times \text{FLOPs}_{débruitage}$ .
$I_{cfg}$ : Un indicateur pour le guidage sans classifieur (Classifier-Free Guidance), qui double effectivement le coût computationnel.
$I_{dtype}$ et $I_{gpu}$ : Variables encodées en one-hot pour la précision en virgule flottante (fp16 vs fp32) et l'architecture GPU (A100, A4000, A6000).
$\beta_{res}$ : Un terme de biais tenant compte des variations d'efficacité dépendantes de la résolution non capturées par les FLOPs seuls (par exemple, l'utilisation de la bande passante mémoire).

Conception expérimentale

L'étude valide ce cadre grâce à des expériences complètes couvrant :

Modèles : Quatre modèles de diffusion de pointe couvrant différentes architectures : Stable Diffusion 2 (U-Net), Stable Diffusion 3.5 (MMDiT), Flux (MMDiT avec appariement de flux) et Qwen (MMDiT).
Matériel : Trois architectures de GPU NVIDIA (A100, RTX A4000, RTX A6000).
Configurations : Variations de résolution ( $256^2$ à $1024^2$ ), de précision (fp16/fp32), de nombres d'étapes (10–50) et de paramètres de guidage.
Mesure : La consommation énergétique a été mesurée à l'aide de l'EmissionsTracker de CodeCarbon (via NVML) à une fréquence d'échantillonnage de 1 Hz, en isolant la puissance dynamique du GPU en soustrayant les lignes de base au repos.

Contributions clés

Adaptation des lois d'échelle : Première application de lois d'échelle de style Kaplan pour prédire l'énergie d'inférence des modèles de diffusion, établissant un lien théorique entre les FLOPs et les empreintes énergétiques.
Décomposition des FLOPs : Une décomposition analytique détaillée des coûts d'inférence de diffusion, confirmant que le débruitage itératif est le composant computationnel dominant.
Généralisation inter-architectures : Démonstration que les lois d'échelle énergétique apprises sur des combinaisons spécifiques de modèles et de matériel se généralisent efficacement à des modèles non vus (par exemple, prédire l'énergie de Qwen à partir de données Flux/SD3.5) et à des plateformes matérielles non vues.
Modélisation consciente du matériel : Intégration des effets de la précision et de l'architecture GPU dans un cadre prédictif unifié, permettant une estimation énergétique sans profilage par opérateur.
Cadre de déploiement : Une méthodologie pratique pour estimer l'impact énergétique des déploiements massifs de diffusion, soutenant la planification d'une IA durable.

Résultats

Haute précision prédictive : La loi d'échelle énergétique proposée atteint une haute précision au sein des architectures individuelles, avec $R^2 > 0,9$ (souvent dépassant 0,99) pour des modèles comme Flux, SD3.5 et Qwen sur l'A100.
Nature limitée par le calcul : L'exposant d'échelle ( $\alpha$ ) approche 1,0 (par exemple, 0,989 pour Flux), validant l'hypothèse que l'inférence de diffusion est largement limitée par le calcul plutôt que par la mémoire.
Transfert inter-modèles : Les lois d'échelle entraînées sur des sous-ensembles de modèles (par exemple, Flux + SD3.5) prédisent avec succès la consommation énergétique de modèles retenus (par exemple, Qwen), avec de fortes corrélations de rang ( $R, R_s > 0,9$ ).
Transfert inter-architectures : Le cadre relie avec succès les paradigmes architecturaux, prédisant l'énergie pour les modèles U-Net (SD2) à l'aide de lois dérivées de modèles MMDiT, et vice versa.
Magnitude énergétique : L'étude quantifie qu'une seule image de diffusion haute résolution peut consommer jusqu'à 10 fois l'énergie d'une requête typique de grand modèle de langage (par exemple, jusqu'à 3,58 Wh pour une image Qwen de haute qualité contre ~0,34 Wh pour une requête ChatGPT). La consommation énergétique couvre trois ordres de grandeur selon la configuration.

Signification et affirmations

L'article affirme établir l'estimation de la consommation énergétique comme une fondation nécessaire pour la planification du déploiement durable de l'IA. En validant que les modèles basés sur les FLOPs peuvent fournir des orientations pratiques pour le déploiement, ce travail permet :

Planification pré-déploiement : Les organisations peuvent prédire les coûts énergétiques sur différentes plateformes GPU sans tests empiriques étendus.
Optimisation consciente du carbone : Les systèmes peuvent ajuster dynamiquement les hyperparamètres (précision, résolution, étapes) en fonction de l'intensité carbone du réseau électrique.
Normalisation : La méthodologie offre une approche standardisée pour le rapport de la consommation énergétique, soutenant la conformité réglementaire et la comptabilité énergétique reproductible.

Les auteurs concluent que, bien que des limites existent concernant la portée au niveau du système (excluant CPU/RAM/refroidissement) et les types de matériel spécifiques (axés sur NVIDIA), le cadre capture avec succès les principes fondamentaux et agnostiques de l'architecture des relations complexité-énergie dans les modèles de diffusion. Cela fournit un outil évolutif pour évaluer et atténuer l'impact environnemental de l'IA générative.