🤖 machine learning

Energy-Efficient GPU DVFS for Fine-Tuning of SLMs on Resource-constrained Embedded Devices

Cet article propose une approche de sélection de modèle basée sur l'apprentissage automatique pour optimiser les paramètres de réglage de la tension et de la fréquence dynamiques (DVFS) afin d'assurer un ajustement fin économe en énergie des petits modèles de langage sur des GPU embarqués à ressources limitées, réalisant une économie d'énergie moyenne de 13,11 % sur les dispositifs NVIDIA Jetson AGX Orin par rapport au mode standard MAXN.

Auteurs originaux : Jurn-Gyu Park, Sanzhar Zholdybayev, Aidar Amangeldi, Ademi Zhanuzakova

Publié 2026-07-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jurn-Gyu Park, Sanzhar Zholdybayev, Aidar Amangeldi, Ademi Zhanuzakova

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un supercalculateur puissant et portable dans votre poche (comme un appareil NVIDIA Jetson) que vous souhaitez utiliser pour apprendre de nouveaux tours à un petit assistant IA intelligent, là où vous vous trouvez, sans envoyer de données vers le cloud. Ce processus est appelé « fine-tuning » (ajustement fin).

Le problème est qu'enseigner à cette IA revient à courir un marathon en portant un sac à dos lourd. Cela consomme beaucoup de batterie. Si vous courez trop vite, vous brûlez du carburant rapidement. Si vous courez trop lentement, vous restez trop longtemps sous la chaleur et vous dépensez quand même beaucoup d'énergie simplement par votre présence.

Voici ce que fait cet article, expliqué simplement :

Le Problème : Le dilemme de « l'enfant terribles » (le juste milieu)

Les chercheurs ont observé comment ces appareils se comportent lors de l'entraînement de petits modèles d'IA. Ils ont découvert que la « vitesse » de l'appareil (la fréquence du GPU) agit comme la pédale d'accélérateur d'une voiture :

Trop vite (Vitesse élevée) : Le moteur rugit et engloutit le carburant (consommation élevée), même si vous terminez le travail rapidement.
Trop lentement (Vitesse faible) : Le moteur bafouille et met une éternité à finir. Parce que cela prend du temps, la consommation totale de carburant s'accumule, même si le moteur ne travaille pas intensément à un instant T.

L'article a découvert que la vitesse la plus économe en énergie n'est ni le réglage le plus rapide (celui par défaut de l'appareil), ni le plus lent. C'est un « point idéal » situé au milieu. Cependant, ce point idéal change selon le modèle d'IA spécifique et le type de tâche, tout comme la vitesse de conduite parfaite pour une voiture de sport sur un circuit est différente de celle d'un camion de livraison sur une autoroute.

La Solution : Un agent de circulation intelligent

Au lieu de laisser l'appareil sur son mode par défaut de « pleine vitesse » (ce qui gaspille de l'énergie), les auteurs ont construit un simple manuel de règles intelligentes (un modèle d'apprentissage automatique) pour agir comme un agent de circulation.

Cet « agent de circulation » examine deux éléments principaux avant que l'IA ne commence son travail :

Quelle est la profondeur du cerveau de l'IA ? (Le nombre de couches du modèle).
Quelle est la longueur des phrases qu'elle lit ? (La longueur moyenne de séquence).

Sur la base de ces deux indices, l'agent de circulation choisit la vitesse parfaite pour l'appareil.

Analogie : Pensez à un thermostat intelligent. Au lieu de faire fonctionner la climatisation à pleine puissance toute la journée, il vérifie la taille de la pièce et la température extérieure pour trouver le réglage exact qui maintient la pièce fraîche en utilisant le moins d'électricité possible.

Les Résultats : Économiser la batterie

Les chercheurs ont testé cela sur un appareil appelé le NVIDIA Jetson AGX Orin. Ils ont comparé leur méthode de sélection de vitesse intelligente au mode standard de « performance maximale » de l'appareil.

Le résultat : En utilisant leur méthode intelligente, ils ont économisé en moyenne 13 % d'énergie.
Le meilleur cas : Dans certains scénarios spécifiques, ils ont économisé près de 27 % d'énergie.

Cela signifie que l'appareil pourrait fonctionner plus longtemps sur une seule charge de batterie, ou accomplir la même tâche en utilisant nettement moins de puissance, sans perdre en précision dans l'apprentissage de l'IA.

Le revers de la médaille

L'article note que cet « agent de circulation intelligent » fonctionne mieux pour les modèles d'IA plus grands et plus complexes. Pour les modèles très petits, les économies d'énergie étaient un peu imprévisibles car leur comportement est un peu « saccadé ». Les chercheurs suggèrent qu'avec plus de données et des règles plus intelligentes à l'avenir, ils pourront rendre ce système encore meilleur pour tous les types de modèles.

En bref : Cet article nous apprend que pour les petits modèles d'IA sur des appareils portables, « plus lent n'est pas toujours mieux, et plus rapide n'est pas toujours le mieux ». Trouver la vitesse juste idéale en fonction de la tâche spécifique peut économiser une quantité significative de batterie.

Résumé technique : DVFS de GPU économe en énergie pour l'ajustement fin (fine-tuning) de SLM sur des dispositifs embarqués à ressources limitées

Énoncé du problème

La demande croissante pour l'adaptation sur l'appareil des modèles de langage de petite taille (SLM) dans des domaines sensibles à la confidentialité et critiques en termes de latence (par exemple, la santé, la finance, les systèmes autonomes) nécessite un ajustement fin local plutôt qu'un déchargement vers le cloud. Cependant, l'ajustement fin est nettement plus gourmand en énergie et en temps que l'inférence à passage unique en raison de l'optimisation répétée des passes avant-arrière sur de nombreux mini-lots (mini-batches).

Les solutions existantes de réglage dynamique de la tension et de la fréquence (DVFS) pour les plateformes embarquées, telles que le NVIDIA Jetson AGX Orin, reposent sur des modes de puissance grossiers et statiques (par exemple, 15W, 30W, 50W et MAXN). Ces modes ne garantissent pas l'efficacité énergétique car la consommation d'énergie totale est une fonction de la puissance appelée et du temps d'exécution. Les modes statiques fonctionnent souvent loin du point minimisant l'énergie, ce qui entraîne une consommation d'énergie évitable. De plus, bien que le DVFS pour l'inférence de grands modèles de langage (LLM) et l'entraînement en centre de données ait été étudié, il existe une rareté de recherches caractérisant les charges de travail d'ajustement fin sur des plateformes embarquées à ressources limitées pour déterminer les réglages de fréquence optimaux.

Méthodologie

Les auteurs proposent une méthodologie en cinq phases pour caractériser le comportement de l'ajustement fin et développer une politique de sélection de la fréquence du GPU économe en énergie :

Configuration expérimentale et collecte de données :
- Plateforme : NVIDIA Jetson AGX Orin (64 Go) avec un GPU d'architecture Ampère et un CPU ARM Cortex-A78AE à 12 cœurs.
- Charges de travail : Variantes BERT (Small à xLarge) uniquement encodeur et variantes Pythia (31M à 1B paramètres) uniquement décodeur.
- Benchmarks : Tâches GLUE (SST-2, QNLI, MRPC pour la caractérisation ; QQP, RTE, CoLA, STS-B, MNLI, WNLI pour l'évaluation).
- Procédure : Les fréquences du GPU ont été balayées sur 11 niveaux discrets (306 MHz à 1300 MHz) tandis que le gouverneur du CPU restait par défaut. Les données sur le temps d'entraînement, la consommation d'énergie (CPU + GPU) et l'utilisation ont été collectées.
Caractérisation de la charge de travail :
- Latence : Le temps d'exécution diminue de manière presque exponentielle à mesure que la fréquence du GPU augmente.
- Puissance : La consommation d'énergie totale est proportionnelle à la fréquence ( $P \propto f$ ), les fréquences plus élevées dépassant souvent la consommation de puissance du mode MAXN par défaut.
- Énergie : La relation entre la fréquence et l'énergie totale présente une courbe en forme de U distincte. Les basses fréquences augmentent l'énergie en raison d'un temps d'exécution prolongé, tandis que les hautes fréquences augmentent l'énergie en raison d'une puissance élevée. Le « point idéal » pour l'efficacité énergétique a été trouvé dans la plage de 510 à 816 MHz, ce qui est nettement inférieur au maximum de 1300 MHz.
Sélection du modèle ML :
- Le problème de la sélection de la fréquence GPU optimale est formulé comme une tâche de classification multi-classes.
- Caractéristiques : Type de modèle, utilisation du GPU, nombre de couches, taille de la couche cachée et longueur de séquence moyenne.
- Cible : Niveau de fréquence GPU optimal (encodé comme des étiquettes 1–6, correspondant à 510–1122 MHz).
- Algorithme : Un classificateur d'arbre de décision (DT) a été sélectionné pour son interprétabilité. Les hyperparamètres ont été optimisés à l'aide d'une validation croisée de type Leave-One-Out (LOOCV) en raison de la taille limitée de l'ensemble de données (27 configurations modèle-tâche).
Conception de la politique du gouverneur :
- Une politique basée sur un arbre de décision (MLG) interprétable a été dérivée pour mapper les caractéristiques structurelles (profondeur du Transformer et longueur de séquence) à des réglages de fréquence spécifiques.
- Logique :
  - Pour les modèles peu profonds (Couches $\le$ 7) : Les séquences courtes ( $\le$ 32,5) sont mappées vers 510 MHz ; les séquences plus longues vers 612 MHz.
  - Pour les modèles profonds (Couches > 7) : Les séquences courtes ( $\le$ 53,0) sont mappées vers 714 MHz ; les séquences plus longues vers 816 MHz.
  - Une condition secondaire ajuste la fréquence en fonction de l'utilisation du GPU ( $\le$ 22,0 $\rightarrow$ 1020 MHz).
Évaluation :
- La politique proposée (MLG) et une politique à fréquence fixe (FFG) ont été testées contre le mode MAXN non contraint (Mode 0) sur des charges de travail non vues.

Contributions clés

Caractérisation complète : L'étude fournit la première caractérisation détaillée de la manière dont le changement d'échelle de la fréquence du GPU affecte la latence, la puissance et l'énergie totale pour l'ajustement fin de SLM (encodeur uniquement et décodeur uniquement) sur des plateformes embarquées.
Identification des points idéaux énergétiques : Les auteurs démontrent que le point d'énergie minimale dépend de la charge de travail et suit un profil en forme de U, se produisant souvent à des fréquences nettement inférieures à la capacité maximale de la plateforme.
Politique ML légère : L'article propose une politique de gouverneur basée sur un arbre de décision (DT) interprétable qui sélectionne les réglages DVFS de fréquence de GPU optimaux pour l'énergie sans nécesseler de profilage complexe au moment de l'exécution.
Validation empirique : L'approche est validée sur le NVIDIA Jetson AGX Orin à travers plusieurs architectures SLM et des benchmarks GLUE.

Résultats expérimentaux

L'évaluation a comparé les politiques proposées au mode MAXN standard (Mode 0) sur six charges de travail de test non vues :

Économies d'énergie globales : Le gouverneur basé sur le ML (MLG) a réalisé une économie d'énergie moyenne de 13,11 % sur tous les modèles et tâches, avec une économie maximale de 26,73 % (observée sur BERT-base pour la tâche MNLI).
Impact de la taille du modèle :
- Grands modèles (>70M de paramètres) : Ont montré des améliorations stables et significatives, avec des économies moyennes dépassant 22 %. Ces modèles présentaient des courbes d'énergie en forme de U plus claires, rendant la sélection de la fréquence optimale plus prévisible.
- Petits modèles ( $\le$ 70M de paramètres) : Ont montré des résultats plus variables. Bien que l'amélioration moyenne soit positive, certaines combinaisons tâche-modèle spécifiques ont entraîné des économies négatives (augmentation de l'énergie) en raison de fluctuations des courbes d'énergie en forme de U ou de pics dans la courbe énergie-fréquence.
Comparaison des politiques : La politique MLG a surpassé le gouverneur à fréquence fixe (FFG) de 0,9 % en moyenne. Le MLG était particulièrement efficace pour gérer les charges de travail à séquences plus longues (ex: tâche RTE), là où le FFG peinait face à la variabilité des modèles plus petits.

Signification et affirmations

L'article affirme que les modes de puissance statiques sur les dispositifs embarqués sont sous-optimaux pour l'ajustement fin des SLM, entraînant souvent jusqu'à 25 % de consommation d'énergie évitable. En introduisant une politique de sélection de fréquence sensible à la charge de travail et basée sur le ML, les auteurs démontrent que des économies d'énergie significatives peuvent être réalisées sans dégrader la précision du modèle (car la précision de validation est restée identique à travers les configurations).

Les auteurs reconnaissent des limites, notant que le modèle ML actuel possède une précision modérée (0,62 de précision de validation) et que les résultats pour les modèles très petits peuvent être instables. Ils identifient comme travail futur l'expansion de leur ensemble de données avec des SLM et des benchmarks plus diversifiés, ainsi que l'utilisation de modèles ML plus sophistiqués pour améliorer davantage la stabilité et les économies d'énergie du gouverneur.