Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware
Cet article présente une évaluation quantitative de neuf LLM open-source sur un GPU grand public RTX 4060Ti, révélant que l'efficacité énergétique est davantage pilotée par l'architecture du modèle et la quantification que par le nombre de paramètres, les modèles de 1B comme gemma3 et llama3.2 atteignant les coûts énergétiques par jeton les plus bas tandis que les modèles plus larges comme Mistral-7B en consomment significativement plus.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous venez de construire un ami robot super intelligent qui vit directement dans votre ordinateur, prêt à répondre à vos questions, à écrire des histoires ou à vous aider à coder sans jamais envoyer vos secrets vers un immense serveur dans le cloud. C'est le monde de l'intelligence artificielle « locale », une tendance qui explose parce que les gens recherchent la confidentialité et la rapidité. Mais il y a un pièंश : ces robots cérébraux sont gourmands. Si nous savons depuis un certain temps que l'entraînement de ces cerveaux d'IA massifs sur de supercalculateurs consomme beaucoup d'électricité (comme alimenter une petite ville pendant une journée), nous ne savions pas vraiment combien d'énergie il faut pour simplement discuter avec eux sur un ordinateur domestique ordinaire. C'est comme savoir qu'une voiture consomme énormément d'essence sur l'autoroute, mais n'avoir aucune idée de la quantité de carburant qu'elle brûle juste en restant au ralenti dans votre allée pendant que vous discutez avec le conducteur. À mesure que de plus en plus de personnes commencent à faire fonctionner ces assistants IA sur leurs propres ordinateurs portables et PC de jeu, la compréhension de cette facture énergétique « active » devient une préoccupation réelle tant pour votre portefeuille que pour la planète.
C'est précisément là qu'une équipe de chercheurs de l'Université des sciences appliquées FH Aachen en Allemagne est intervenue. Ils voulaient voir quels sont les modèles d'IA populaires et gratuits les plus « économes en énergie » lorsqu'ils fonctionnent sur une carte graphique grand public standard — spécifiquement une NVIDIA RTX 4060 Ti, le genre de carte que l'on trouve dans un PC de jeu haut de gamme. Au lieu de simplement demander : « Quel modèle donne les meilleures réponses ? », ils ont demandé : « Quel modèle donne les meilleures réponses tout en sirotant le moins d'électricité ? ». Ils ont mis en place une expérience contrôlée où ils ont soumis neuf modèles d'IA open-source différents (allant de minuscules modèles de 1 milliard de paramètres à des modèles plus larges de 7 milliards de paramètres) un ensemble fixe de 15 questions, allant de faits simples comme « Quelle est la capitale de la France ? » à des tâches complexes comme l'écriture de code ou l'explication de concepts profonds.
Les chercheurs ont agi comme des détectives de l'énergie, utilisant un outil appelé nvidia-smi pour vérifier la consommation électrique de la carte graphique deux fois par seconde pendant que les modèles travaillaient. Crucialement, ils n'ont pas seulement mesuré la puissance totale ; ils ont soigneusement soustrait la puissance de base « au repos » de la carte pour isoler le coût énergétique exact du processus de réflexion de l'IA. Leur objectif principal était de calculer quelle énergie totale (en Joules) était nécessaire pour générer chaque mot (ou « token ») de la réponse. Leurs conclusions suggèrent que plus gros n'est pas toujours meilleur en ce qui concerne l'efficacité énergétique. En fait, les minuscules modèles, spécifiquement gemma3:1b et llama3.2:1b, se sont révélés être les champions de l'efficacité. Ces petites machines de guerre ont réussi à générer un seul mot de texte en utilisant aussi peu que 0,56 Joule d'énergie et pouvaient cracher plus de 170 mots par seconde.
En revanche, le modèle plus large de 7 milliards de paramètres (Mistral) était beaucoup moins efficace, consommant jusqu'à 4,4 fois plus d'énergie par mot que le modèle minuscule le plus efficace. L'étude a également révélé une surprise étrange : l'un des modèles, qwen3.5:2b, a utilisé une quantité d'énergie étonnamment élevée par requête. Les chercheurs suggèrent que ce n'était pas parce que le modèle était lent, mais parce qu'il « réfléchissait » en interne — utilisant une technique de raisonnement étendu pour planifier sa réponse avant de parler — ce qui brûle de l'énergie supplémentaire même si la production finale est courte. Cela souligne que regarder simplement l'énergie totale pour une question entière peut être trompeur ; la véritable métrique d'efficacité est la quantité d'énergie nécessaire pour produire chaque token. Finalement, l'article suggère que pour toute personne faisant fonctionner une IA sur son propre matériel, le choix le plus économe en énergie n'est pas nécessairement le modèle le plus puissant ou le plus grand, mais plutôt celui qui possède l'architecture et la taille adaptées à la tâche, prouvant que parfois, le plus petit cerveau est le plus vert.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.