🤖 machine learning

Towards Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks

Cet article propose un cadre d'optimisation multi-objectif des hyperparamètres qui combine des techniques multi-fidélité de pointe avec des réseaux de neurones Deep Shift afin de maximiser simultanément la précision du modèle et de minimiser la consommation de ressources computationnelles pour une IA durable.

Auteurs originaux : Leona Hennig, Tanja Tornede, Marius Lindauer

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leona Hennig, Tanja Tornede, Marius Lindauer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un cerveau de robot très intelligent, mais incroyablement affamé (un modèle de Deep Learning). Ce cerveau est excellent pour résoudre des énigmes, mais il consomme une quantité massive d'électricité pour accomplir son travail. Dans le monde réel, c'est un problème car cela coûte cher et nuit à l'environnement.

Les auteurs de cet article essaient de nourrir ce cerveau de robot avec un « régime plus léger » sans qu'il oublie comment résoudre les énigmes. Ils utilisent un type spécial de cerveau appelé Deep Shift Neural Network (DSNN).

Le Problème : Le Porteur de Charges Lourdes

Les modèles d'IA traditionnels sont comme des haltérophiles massifs. Pour déplacer un nombre du point A au point B, ils effectuent des calculs complexes (multiplication) qui demandent beaucoup d'énergie. C'est comme essayer de déplacer un piano en le poussant à la main.

La Solution : L'astuce du « Décalage » (Shift)

Le DSNN est comme un magicien habile. Au lieu de pousser le piano lourd, il le fait simplement glisser de quelques centimètres (un « décalage de bits » ou bit shift). En termes informatiques, décaler des bits est beaucoup plus rapide et consomme beaucoup moins d'énergie que de faire une multiplication complète. C'est la différence entre porter une boîte lourde dans les escaliers et simplement la faire glisser sur un sol lisse.

Cependant, il y a un piège : comme tout outil, un DSNN doit être réglé correctement. Si vous le faites glisser trop loin, vous risquez de manquer la cible (faible précision). Si vous ne le faites pas glisser assez, vous gaspillez de l'énergie. Trouver l'équilibre parfait est difficile car il existe des milliers de réglages possibles (comme le nombre de couches à faire glisser, la précision des nombres, etc.).

La Méthode : Le « Scout Intelligent » (AutoML)

Les chercheurs ne voulaient pas deviner les meilleurs réglages manuellement. À la place, ils ont utilisé un système de « Scout Intelligent » appelé AutoML (Apprentissage Automatique Automatisé). Considérez ce scout comme un explorateur très efficace envoyé dans une vaste forêt brumeuse (l'espace de tous les réglages possibles) pour trouver le meilleur emplacement de campement.

Le scout utilise deux astuces spéciales pour gagner du temps et de l'énergie :

La stratégie du « Coup d'œil Rapide » (Multi-fidélité) :
Habituellement, pour savoir si un emplacement de campement est bon, il faut construire une cabane complète et y vivre pendant un mois. Cela prend un temps infini. Le « Scout Intelligent » utilise une astuce : il construit d'abord une petite tente (une version de faible fidélité) pour voir si l'endroit semble prometteur. Ce n'est que si la tente semble bonne qu'il construit la cabane complète. Cela permet d'économiser énormément de temps et de ressources. Dans l'article, ils testent des modèles avec moins de « couches de décalage » (shift layers) d'abord, pour voir s'ils méritent l'investissement complet.
La Boussole à « Deux Objectifs » (Multi-objectif) :
Le scout ne cherche pas seulement la meilleure vue (précision) ; il cherche aussi l'emplacement le moins coûteux (plus faible consommation d'énergie). Ces deux objectifs s'opposent souvent. La meilleure vue peut se trouver sur une falaise escarpée et difficile d'accès (haute énergie). Le site le moins cher peut se trouver dans un marécage (faible précision). Le travail du scout est de trouver le « point idéal » où l'on obtient une superbe vue sans avoir à grimper une montagne. C'est ce qu'on appelle trouver une solution Pareto Optimale.

Les Résultats : Un Gagnant-Gagnant

Les chercheurs ont testé cela sur un ensemble de données d'énigmes standard (Cifar10). Voici ce qu'ils ont trouvé :

Meilleure Performance : Le « Scout Intelligent » a trouvé une configuration qui est plus précise (84,67 %) que le réglage par défaut fourni avec le DSNN (83,50 %).
Coût Moindre : Ce modèle, plus performant, n'a pas coûté beaucoup plus d'énergie à entraîner ; en fait, il était très efficace, produisant très peu d'émissions de CO2 (environ 0,16 gramme d'équivalent CO2).
Le Compromis : Ils ont découvert un équilibre fascinant. Parfois, utiliser moins de « couches de décalage » (ce qui signifie généralement moins de travail) mais être plus précis avec les nombres (plus de bits) entraînait le même coût énergétique que l'utilisation de nombreuses couches. C'est comme réaliser que prendre un chemin plus court avec un sac à dos plus lourd peut parfois être aussi épuisant que de prendre un chemin plus long avec un sac léger.

L'Essentiel à Retenir

Cet article montre qu'en utilisant un « scout » automatisé pour régler soigneusement ces modèles d'IA à « décalage » économes en énergie, nous pouvons obtenir des résultats plus intelligents tout en utilisant moins d'énergie. C'est un pas vers une Intelligence Artificielle qui soit non seulement puissante, mais aussi respectueuse de notre planète.

Ce qu'ils n'ont PAS affirmé :

Ils n'ont pas testé cela sur des diagnostics médicaux ou des voitures autonomes.
Ils n'ont pas affirmé que cela résoudra le changement climatique à lui seul.
Ils n'ont pas dit que cela fonctionne pour tous les types de modèles d'IA, seulement pour ce type spécifique de « Deep Shift ».

Leur travail est une preuve de concept : « Si nous réglons correctement ces cerveaux spécifiques à économie d'énergie, ils fonctionnent mieux et de manière plus propre. »

Résumé technique : Vers l'exploitation de l'AutoML pour un apprentissage profond durable

Énoncé du problème

Les modèles d'apprentissage profond (Deep Learning - DL), bien qu'efficaces pour extraire des motifs complexes, imposent des coûts computationnels et environnementaux importants, particulièrement en ce qui concerne la consommation d'énergie et les émissions de carbone. Ce défi est particulièrement aigu dans les environnements à ressources limitées comme l'IoT et les appareils de bord (edge devices). Les réseaux de neurones à décalage profond (Deep Shift Neural Networks - DSNN) offrent une solution potentielle en remplaçant les coûteuses opérations de multiplication à virgule flottante par des opérations de décalage de bits (bit-wise shift) et de basculement de signe, réduisant ainsi la complexité computationnelle et la latence. Cependant, la configuration des DSNN — spécifiquement la précision des opérations de décalage et la profondeur des couches de décalage — impacte considérablement la performance et l'efficacité. Le réglage manuel de ces hyperparamètres est inefficace, et il existe un manque d'approches systématiques pour optimiser les DSNN afin d'atteindre le double objectif d'une grande précision et d'une consommation d'énergie minimale.

Méthodologie

Les auteurs proposent un cadre de Green AutoML qui intègre l'optimisation multi-fidélité (Multi-Fidelity - MF) et multi-objectif (Multi-Objective - MO) pour automatiser la configuration des DSNN. L'approche utilise le cadre SMAC3 pour l'optimisation des hyperparamètres (HPO).

Composants clés :

Optimisation multi-fidélité (MF) :
- Pour répondre au coût computationnel élevé de l'entraînement des configurations complètes de DSNN, les auteurs emploient une stratégie multi-fidélité.
- Définition de la fidélité : Le niveau de fidélité est défini par le nombre de couches de décalage dans le modèle. L'entraînement commence avec des modèles possédant moins de couches de décalage (fidélité plus faible, coût computationnel plus faible, incertitude intrinsèque plus élevée) et augmente progressivement le nombre de couches.
- Algorithme : L'algorithme HyperBand est utilisé pour implémenter la MF. Il exécute un processus de « Successive Halving » à travers plusieurs intervalles (brackets), allouant un petit budget initial ( $b_I$ ) à de nombreuses configurations ( $n_c$ ) et entraînant de manière itérative les plus performantes sur des budgets plus importants. Cela permet de rejeter tôt les mauvaises configurations tout en concentrant les ressources sur les plus prometteuses.
Optimisation multi-objectif (MO) :
- L'optimisation cible deux objectifs concurrents simultanément :
  - Précision : Minimiser la fonction de perte ( $f_{loss}$ ) pour maximiser la performance prédictive.
  - Durabilité : Minimiser la consommation d'énergie et les émissions de carbone ( $f_{emission}$ ) pendant l'entraînement et l'inférence.
- Algorithme : L'algorithme ParEGO est utilisé pour gérer la nature multi-objectif. Il transforme le problème MO en une série de problèmes mono-objectifs en introduisant des paramètres de poids variables pour les objectifs à chaque itération. Cela permet au cadre d'approcher le front de Pareto, identifiant les configurations offrant les meilleurs compromis entre précision et émissions.
Mesure :
- CodeCarbon est intégré au flux de travail pour suivre la consommation d'énergie en temps réel et calculer les émissions de carbone (en gCO2eq) basées sur les mix énergétiques régionaux.

Dispositif expérimental

Jeu de données : CIFAR-10.
Architecture de base : ResNet20 pré-entraîné et adapté en DSNN.
Matériel : GPU NVIDIA A100.
Espace de recherche : Comprend des hyperparamètres tels que la taille des lots (batch size), l'optimiseur, le taux d'apprentissage, le momentum, les époques, les bits de poids, les bits entiers/fractionnaires d'activation, la profondeur de décalage, le type de décalage (Quantification vs. Puissances de deux/Signe), la méthode d'arrondi et la décroissance des poids (weight decay).
Lignes de base (Baselines) : Comparaison avec un DSNN aux configurations par défaut (telles que définies par Elhoushi et al., 2021) et des modèles non optimisés.

Résultats clés

L'étude a évalué 33 configurations via l'approche MFMO. Les principales conclusions sont les suivantes :

Amélioration des performances : L'algorithme MF a réussi à identifier une configuration optimale qui surpasse la configuration par défaut du DSNN d'au moins 3 % en précision Top-1.
Solutions Pareto-optimales : Deux solutions distinctes de Pareto-optimales ont été identifiées :
- Solution 1 : 83,50 % de précision avec 0,1661 gCO2eq d'émissions. Cette configuration utilisait moins de couches de décalage (5) et moins de bits de représentation.
- Solution 2 : 84,67 % de précision avec 0,1673 gCO2eq d'émissions. Cette configuration utilisait nettement plus de couches de décalage (16) mais moins de bits de représentation pour les poids/activations.
Aperçus sur les compromis : Les résultats suggèrent un compromis entre le nombre de couches de décalage et le nombre de bits de représentation. La Solution 1 a atteint des émissions similaires à la Solution 2 malgré un nombre de couches inférieur, probablement parce que la réduction de la largeur de bit a compensé la demande computationnelle. Inversement, la Solution 2 a atteint une précision plus élevée en augmentant la profondeur de décalage, mais a nécessité plus de bits de représentation.
Validation de la MF : L'expérience a confirmé que l'évaluation des modèles sous une faible incertitude intrinsèque au modèle (moins de couches de décalage) guide efficacement la recherche vers des réseaux performants lorsqu'ils sont instanciés avec le nombre complet de couches de décalage.

Contributions et importance

L'article revendique les contributions suivantes dans le domaine de l'IA durable :

Espace de configuration spécifique aux DSNN : La définition d'un espace de recherche d'hyperparamètres adapté spécifiquement aux réseaux de neurones à décalage profond.
Cadre Green AutoML : Une approche novatrice combinant l'optimisation multi-fidélité et multi-objectif au sein de SMAC3 pour construire des modèles axés sur l'efficacité.
Aperçus de conception : Des preuves empiriques concernant les compromis entre la profondeur de décalage, les bits de représentation, la précision et la consommation d'énergie, offrant des orientations pour la conception future des DSNN.
Intégration méthodologique : Une démonstration de la manière dont ParEGO et HyperBand peuvent être combinés pour optimiser à la fois la performance et l'impact environnemental.

Les auteurs concluent que leur méthode accélère le développement de modèles efficaces et permet des applications d'IA durables. Ils reconnaissent que des travaux futurs sont nécessaires pour étendre cette approche à des benchmarks et architectures plus larges, et pour affiner l'intégration de ParEGO et HyperBand afin de réduire davantage la charge computationnelle de la génération des fronts de Pareto.