🤖 machine learning

Optimising for Energy Efficiency and Performance in Machine Learning

Cet article présente ECOpt, un outil de réglage d'hyperparamètres qui optimise le compromis entre l'efficacité énergétique et la performance du modèle en fournissant un retour exploitable et une frontière de Pareto interprétable, permettant ainsi la découverte de modèles d'apprentissage automatique plus durables et plus précis.

Auteurs originaux : Emile Dos Santos Ferreira, Andrei Paleyes, Neil D. Lawrence

Publié 2026-01-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Emile Dos Santos Ferreira, Andrei Paleyes, Neil D. Lawrence

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une boulangerie. Pendant des années, vous n'avez eu qu'une seule préoccupation : le goût de vos gâteaux (la performance). Vous les avez rendus de plus en plus gros, en utilisant toujours plus de farine et de sucre (les paramètres), supposant qu'un plus grand volume signifie automatiquement une meilleure qualité.

Mais récemment, vous avez réalisé quelque chose d'effrayant : votre boulangerie consomme de l'électricité à un rythme alarmant, et l'empreinte carbone de vos fours nuit à la planète. Vous avez également réalisé que, bien que vous ayez dépensé une fortune pour cuire les gâteaux (l'entraînement), vous dépensez encore plus d'argent chaque jour pour simplement les livrer aux clients (l'inférence).

Ce document présente un nouvel outil appelé ECOpt (Optimiseur de Consommation d'Énergie) pour aider les boulangers (les ingénieurs en apprentissage automatique) à résoudre ce problème. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Problème : Le mythe du « Plus gros est meilleur »

Pendant longtemps, le monde de la technologie a pensé que si l'on comptait simplement le nombre d'ingrédients (paramètres) ou le nombre d'étapes de mélange (opérations mathématiques appelées FLOPs), on pourrait deviner combien l'énergie pour cuire votre gâteau coûterait.

Les auteurs ont testé cela et ont découvert que c'était comme essayer de deviner la consommation de carburant d'une voiture en comptant simplement le nombre de boulons dans le moteur. Cela ne fonctionnait pas.

Ils ont constaté que changer la façon dont vous déplacez les ingrédients (comme changer le « stride » ou le pas dans une recette) pouvait économiser beaucoup d'énergie sans changer le nombre d'ingrédients.
Ils ont également découvert que le fait d'avoir une machine puissante (comme un énorme four industriel) ne signifie pas qu'elle est efficace. Si vous mettez un petit gâteau dans un énorme four, le four gaspille énormément d'énergie juste pour rester chaud, même si le gâteau est petit.

2. La Solution : Le « Menu Intelligent » (ECOpt)

Au lieu de deviner, les auteurs ont construit un outil appelé ECOpt. Voyez cela comme un planificateur de menu intelligent pour votre boulangerie.

L'équilibre délicat : Habituellement, vous devez choisir : « Est-ce que je veux le gâteau le plus savoureux (haute performance) ou le gâteau le moins cher à fabriquer (haute efficacité énergétique) ? »
La Frontière de Pareto : ECOpt trace une carte appelée « Frontière de Pareto ». Imaginez un graphique où l'axe X est le « Goût » et l'axe Y est le « Coût Énergétique ». L'outil trouve la courbe du « point idéal ». Chaque point sur cette courbe représente un gâteau où vous ne pouvez pas obtenir plus de goût sans payer plus d'énergie, et vous ne pouvez pas économiser plus d'énergie sans perdre un peu de goût.
Le Résultat : Il donne au boulanger une liste d'options. « Voici un gâteau qui est 90 % aussi savoureux mais qui utilise 50 % d'énergie en moins. Voici un autre qui est 95 % aussi savoureux mais qui utilise 20 % d'énergie en moins. » Vous choisissez alors le compromis qui vous convient.

3. Découvertes Clés des Expérimentations

Les auteurs ont testé cet outil sur de vrais « gâteaux » (modèles d'IA) et ont fait des découvertes surprenantes :

Cohérence du Matériel : Ils ont testé le même modèle sur différentes machines (un ordinateur portable, un ordinateur de bureau, un supercalculateur). Étonnamment, l'efficacité énergétique (combien de « travail » vous obtenez par goutte d'électricité) était étonnamment similaire sur toutes ces machines. Cela signifie que nous devrions commencer à publier des chiffres énergétiques pour nos modèles, tout comme nous publions les calories sur les aliments, car ces chiffres sont suffisamment fiables pour être comparés.
L'effet « Four Vide » : Ils ont découvert que si vous faites fonctionner un petit modèle sur un ordinateur massif et puissant, l'ordinateur gaspille de l'énergie car il n'est pas pleinement utilisé. C'est comme utiliser un moteur de jet pour propulser un vélo. Ils ont utilisé ECOpt pour ajuster la « taille des lots » (batch size — combien de gâteaux vous cuisez à la fois) afin de remplir correctement le four. Ce seul changement a rendu le processus 38 fois plus efficace.
Le Retour sur Investissement : L'outil lui-même utilise une petite quantité d'énergie pour fonctionner. Cependant, les auteurs ont calculé qu'après avoir généré seulement 4 802 tokens (morceaux de texte), l'énergie économisée par l'utilisation des paramètres optimisés avait déjà remboursé le coût énergétique de l'exécution de l'outil d'optimisation. C'est un gain rapide pour l'environnement.

4. Trouver de Nouvelles Recettes (Recherche d'Architecture Neuronale)

Enfin, ils ont utilisé ECOpt pour inventer de nouvelles recettes de gâteaux à partir de zéro (un processus appelé Recherche d'Architecture Neuronale) pour une tâche spécifique (classer des images d'animaux).

Ils ne cherchaient pas seulement le « meilleur » gâteau ; ils cherchaient le meilleur équilibre.
Ils ont trouvé sept nouvelles recettes qui sont meilleures que les recettes actuelles de l'« État de l'Art » (les meilleures recettes connues) lorsque l'on considère à la fois le goût et le coût énergétique.
Ils ont découvert que la « meilleure » recette pour la vitesse (latence) est différente de la « meilleure » recette pour l'énergie. Un gâteau large et peu profond peut être rapide, mais un gâteau plus profond et étroit peut consommer moins d'énergie. ECOpt vous aide à trouver la forme appropriée pour vos besoins spécifiques.

L'Essentiel

L'article soutient que nous ne pouvons pas continuer à créer des modèles d'IA de plus en plus grands et de plus en plus gourmands. Nous devons être intelligents dans la façon dont nous les cuisons. ECOpt est un outil qui aide les ingénieurs à cesser de deviner et à commencer à faire des choix éclairés, garantissant que leurs modèles sont non seulement intelligents, mais aussi économes en énergie et respectueux de l'environnement. Il transforme l'idée vague d'« être écologique » en un processus de conception concret et mesurable.

Résumé Technique : Optimisation de l'efficacité énergétique et de la performance en apprentissage automatique

Énoncé du problème
La croissance exponentielle de la complexité computationnelle des modèles d'apprentissage automatique (ML) a entraîné une augmentation significative de la consommation d'énergie et de l'impact environnemental. Bien que des réglementations récentes, telles que l'IA Act de l'UE, imposent la publication de l'utilisation d'énergie, la recherche actuelle en ML se concentre principalement sur la performance des modèles, négligeant souvent les métriques énergétiques. La littérature existante s'appuie fréquemment sur le nombre de paramètres et le nombre d'opérations en virgule flottante (FLOP) comme indicateurs de la consommation d'énergie, pourtant ces métriques sont souvent décorrélées de l'utilisation réelle de l'énergie. De plus, les recherches antérieures sur l'impact environnemental du ML ignorent largement les coûts d'inférence, bien que l'inférence représente souvent la majorité des coûts de calcul du ML (par exemple, jusqu'à 90 % pour AWS). Les outils actuels d'estimation de l'empreinte carbone nécessitent souvent un couplage de code élevé et ne fournissent pas de retours exploitables pour améliorer l'efficacité, tandis que les optimiseurs d'hyperparamètres ne tiennent généralement pas compte de l'impact environnemental ou des coûts d'inférence.

Méthodologie
Pour combler ces lacunes, les auteurs ont développé ECOpt (Energy Consumption Optimiser), un framework Python conçu pour optimiser simultanément les hyperparamètres des modèles tant pour l'efficacité énergétique que pour la performance.

Formulation de l'optimisation : Le problème est formulé comme une tâche d'optimisation multi-objectif. Le système recherche dans un espace d'hyperparamètres $S$ pour trouver la frontière de Pareto entre une métrique de performance ( $f_p$ , par exemple l'exactitude) et une métrique d'efficacité énergétique ( $f_e$ ).
Mesure de l'énergie : ECOpt utilise des compteurs d'énergie logiciels, spécifiquement CodeCarbon, qui agrège les données de consommation électrique à partir des pilotes de périphériques (par exemple, NVIDIA nvidia-smi pour les GPU et RAPL pour les CPU). Le framework se concentre sur l'utilisation de l'énergie de calcul, quantifiant l'efficacité en « échantillons par Joule » (ou jetons par Joule pour la génération de texte). Il prend en compte la consommation électrique de tous les composants actifs (CPU, GPU, RAM) plutôt que seulement de l'accélérateur.
Algorithme d'optimisation : Le framework emploie l'Optimisation Bayésienne Multi-Objectif (MOBO) utilisant la fonction d'acquisition de l'amélioration de l'hypervolume attendu (plus précisément, l'hypervolume attendu bruité et parallèle, ou $q$ NEHVI). Cette approche est choisie pour son efficacité d'échantillonnage, permettant la découverte de la courbe de compromis (frontière de Pareto) avec moins d'évaluations qu'une recherche aléatoire ou par grille.
Flux de travail : Le processus implique la division d'un jeu de données en ensembles d'entraînement et d'évaluation. Pour chaque itération, ECOpt construit et entraîne un modèle avec des hyperparamètres échantillonnés, effectue l'inférence sur l'ensemble d'évaluation, mesure les objectifs et met à jour les modèles de substitution (Processus Gaussiens) pour guider l'étape de recherche suivante.

Principales contributions

Formulation du compromis : Les auteurs formalisent la recherche du compromis performance-énergie dans le ML comme un problème d'optimisation multi-objectif.
Procédure automatisée : Ils décrivent une procédure entièrement automatisée basée sur la MOBO pour découvrir une frontière de Pareto empirique caractérisant ce compromis.
Framework Open-Source : ECOpt est publié en tant que package Python réutilisable, incluant des scripts d'expérimentation pour la reproductibilité.
Résultats empiriques : Le travail fournit des évaluations expérimentales approfondies démontrant que :
- Le nombre de paramètres et les FLOPs sont des indicateurs peu fiables de la consommation d'énergie.
- Les modèles Transformer pour la génération de texte présentent une efficacité énergétique relativement constante à travers diverses configurations matérielles.
- Une loi d'échelle énergétique existe pour les Transformers, où l'efficacité énergétique diminue de manière log-linéaire avec le nombre de paramètres.
- L'optimisation de l'efficacité énergétique peut générer un impact environnemental net positif en récupérant rapidement l'énergie dépensée lors de l'optimisation.

Résultats expérimentaux
Les auteurs ont mené des expériences sur divers matériels (VM, ordinateurs portables, ordinateurs de bureau, serveurs et nœuds HPC) et types de modèles (CNN, Transformers).

Validité des métriques : Dans des expériences faisant varier les couches de réseaux neuronaux et ajustant les foulées (strides) des CNN, les auteurs ont observé que si le nombre de paramètres restait constant, la consommation d'énergie et les FLOPs variaient considérablement. Cela confirme que le nombre de paramètres est un indicateur inapproprié de l'efficacité énergétique. De même, les FLOPs présentaient une faible corrélation avec l'utilisation réelle de l'énergie dans les CNN.
Cohérence du matériel : Tester des modèles Transformer (GPT-2, Qwen3, Gemma 3, Llama 3.1) sur cinq machines différentes a révélé que, bien que l'efficacité énergétique absolue varie selon la taille du modèle, l'efficacité d'un modèle spécifique reste relativement constante à travers différents matériels (écart-type de 0,2372 entre les machines contre 0,4608 entre les modèles). Cela suggère que les métriques énergétiques des modèles sont utiles à publier.
Utilisation du GPU : Dans une expérience optimisant la taille du lot (batch size) pour Gemma 3 sur un serveur, ECOpt a identifié une taille de lot optimale de 831 (produisant 2,67 jetons/J), ce qui est inférieur à la taille maximale pouvant tenir dans la VRAM. Cette configuration a permis d'augmenter l'efficacité énergétique de 38 fois par rapport à une taille de lot par défaut de 1. Les auteurs ont calculé que l'énergie dépensée pour cette optimisation serait récupérée après la génération de seulement 4 802 jetons.
Recherche d'Architecture Neuronale (NAS) : En appliquant ECOpt à une tâche de NAS de type CNN sur CIFAR-10, le framework a identifié sept architectures Pareto-optimales. Le meilleur modèle a atteint 76,09 % d'exactitude avec 20,12 échantillons/J. Cela a surpassé une base de comparaison de recherche aléatoire (71,17 % d'exactitude) et une base de réglage manuel (70,07 % d'exactitude) en termes d'exactitude et d'efficacité temporelle (61 minutes contre trois jours). Notamment, les auteurs ont constaté que bien que leurs modèles ne soient pas à l'état de l'art (SOTA) en termes d'exactitude seule, ils offraient des profils exactitude-par-énergie supérieurs aux modèles SOTA existants lorsqu'on considère l'efficacité énergétique.

Signification et revendications
L'article soutient qu'en optimisant les hyperparamètres pour l'efficacité énergétique et la performance, les praticiens peuvent réduire le coût énergétique du ML sans sacrifier la qualité de l'inférence. Les auteurs affirment que la dépendance actuelle au nombre de paramètres et aux FLOPs occulte le véritable coût environnemental des modèles. En fournissant un outil qui quantifie le compromis via une frontière de Pareto interprétable, ECOpt permet une prise de décision éclairée concernant les coûts de déploiement et l'impact environnemental.

Les auteurs notent modestement que leurs résultats sur CIFAR-10 améliorant le SOTA sont largement dus à la rareté des métriques d'énergie publiées dans le domaine, plutôt qu'à une percée fondamentale dans l'architecture des modèles. Ils préconisent l'adoption plus large des métriques énergétiques dans la publication des modèles pour favoriser la compétition et la sensibilisation. Ce travail souligne également que l'optimisation de l'efficacité énergétique diffère de l'optimisation de la latence ; tandis que la latence favorise souvent les réseaux larges pour maximiser l'utilisation du matériel, l'efficacité énergétique peut nécessiter un équilibre entre largeur et profondeur pour minimiser la consommation d'énergie, particulièrement lorsque le matériel n'est pas pleinement saturé.

1. Le Problème : Le mythe du « Plus gros est meilleur »

2. La Solution : Le « Menu Intelligent » (ECOpt)

3. Découvertes Clés des Expérimentations

4. Trouver de Nouvelles Recettes (Recherche d'Architecture Neuronale)

L'Essentiel

Articles similaires