The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

Dans le monde de l'informatique moderne, un nouveau type d'intelligence émerge. Au lieu de simplement répondre à une seule question, ces systèmes agissent comme des agents autonomes. Ils prennent un objectif large, le décomposent en une série d'étapes, sollicitent d'autres outils pour les aider et réessaient en cas d'échec. Ce processus, connu sous le nom d'orchestration, passe des centres de données massifs à de petits ordinateurs puissants installés sur des bureaux et dans des véhicules. Ces appareils de périphérie (edge devices) sont conçus pour exécuter localement une intelligence artificielle complexe, économisant ainsi du temps et de la bande passante. Cependant, à mesure que ces systèmes deviennent plus courants, une question critique se pose : quelle quantité d'énergie consomment-ils réellement ? Pour les chercheurs et les régulateurs, savoir le coût énergétique exact d'une tâche spécifique est essentiel. C'est le seul moyen de mesurer l'efficacité, de garantir la conformité aux nouvelles lois environnementales et de comprendre si ces systèmes locaux économisent réellement de l'énergie par rapport au cloud.

Une équipe de chercheurs a récemment porté son attention sur le matériel le plus avancé disponible pour cette tâche : une nouvelle génération d'ordinateurs de bureau construits par de grandes entreprises technologiques utilisant une puce spécifique de NVIDIA. Ils voulaient voir si ces machines pouvaient leur dire exactement quelle partie du système utilisait quelle quantité d'énergie pendant qu'un agent travaillait. Ce qu'ils ont découvert est un angle mort important. Bien que les ordinateurs soient incroyablement rapides et capables, ils sont totalement silencieux lorsqu'il s'agit de rapporter leur propre consommation d'énergie pour le processeur central. Les chercheurs ont découvert que le matériel possède la capacité de mesurer cette énergie en interne, mais que le logiciel qui fait fonctionner la machine cache délibérément cette information aux utilisateurs.

L'enquête s'est concentrée sur un système de bureau appelé ASUS Ascent GX10, qui utilise une puce puissante connue sous le nom de GB10. Cette puce combine un processeur central, qui gère la planification complexe et l'appel d'outils des agents d'IA, avec un processeur graphique qui effectue le gros du travail pour les tâches visuelles. Les chercheurs ont réalisé un audit approfondi de toutes les manières possibles de demander les données énergétiques à l'ordinateur. Ils ont vérifié les interfaces standards que les ingénieurs utilisent pour surveiller la puissance, cherchant des compteurs qui suivent l'utilisation de l'énergie au fil du temps, de manière similaire à l'odomètre d'une voiture. Ils ont constaté que, si le processeur graphique rapportait sa consommation d'énergie, le processeur central n'offrait aucune donnée de ce type. Il n'y avait pas de compteurs pour le CPU, pas de moniteurs de puissance sur les lignes électriques alimentant la puce, et aucun outil de gestion système standard qui puisse révéler les chiffres.

La situation est particulièrement frappante car la donnée existe réellement à l'intérieur de la machine. Le micrologiciel (firmware) interne de la puce, qui gère le flux d'électricité pour maintenir le système au frais et efficace, calcule déjà l'énergie utilisée par les différentes parties du processeur. Il tient un décompte continu de l'énergie utilisée par les cœurs principaux du processeur, par les cœurs d'efficacité plus petits et par la puce graphique. Cependant, les fabricants ont choisi de ne pas partager cette information. Lorsque les chercheurs ont demandé à l'entreprise derrière la puce si elle prévoyait de publier ces données, la réponse a été qu'il n'y avait aucun plan à cet égard. Cela signifie que, bien que l'ordinateur sache exactement quelle énergie il brûle pour accomplir une tâche, l'utilisateur ne peut pas le voir.

Ce fossé est important car la manière dont ces agents d'IA fonctionnent repose lourdement sur le processeur central. La planification, les tentatives de réessai et la coordination des outils se déroulent sur le CPU, et pas seulement sur la puce graphique. Des études antérieures ont montré que ce travail d'orchestration peut représenter près de la moitié de l'énergie totale utilisée par un système d'IA. Sans un moyen de mesurer la consommation d'énergie du CPU, il est impossible de connaître le coût réel de l'exécution d'un agent. Les chercheurs ne peuvent pas comparer différents designs de logiciels pour voir lequel est le plus efficace, et les entreprises ne peuvent pas vérifier si elles respectent les réglementations environnementales. Le seul moyen d'obtenir un chiffre aujourd'hui est de brancher l'ordinateur entier sur un compteur de puissance externe, mais cela ne montre que le total pour l'ensemble de la machine, mélangeant le travail du CPU avec celui de la mémoire, des ventilateurs de refroidissement et de la puce graphique. C'est comme essayer de déterminer la consommation de carburant d'un seul moteur dans une voiture en regardant seulement la jauge de carburant totale pour l'ensemble du véhicule.

Les chercheurs ont confirmé qu'il ne s'agit pas d'une limitation de la puce physique elle-même, mais d'une décision prise dans le logiciel qui la contrôle. Ils ont trouvé des preuves que le micrologiciel interne est capable d'exposer ces chiffres via un canal de communication standard utilisé par les ingénieurs, mais que ce canal est actuellement désactivé. Ils ont également testé un ordinateur similaire d'un autre fabricant, l'Acer Veriton, et ont découvert que sur cette carte spécifique, les données cachées pouvaient être accédées à l'aide d'un outil créé par la communauté, prouvant que l'information est présente et que le matériel est capable de la partager. La différence entre les deux machines suggère que la donnée manquante est le résultat d'un choix de produit plutôt que d'une impossibilité technique.

L'article conclut en traçant une voie claire pour l'avenir. La technologie pour corriger cela est déjà en place. Le système interne de l'ordinateur est prêt à partager les données, et les outils logiciels nécessaires pour les lire sont en cours de construction par la communauté open-source. Tout ce qui est requis, c'est que les fabricants mettent à jour le micrologiciel de l'ordinateur pour activer l'interrupteur qui permet de voir cette information. Tant que cela n'arrivera pas, les ordinateurs d'IA de périphérie les plus avancés du marché resteront des boîtes noires énergétiques. Pour un domaine qui croît rapidement et fait face à une pression croissante pour être durable, l'incapacité de mesurer le coût énergétique du travail effectué est un obstacle fondamental. Les chercheurs soutiennent que, pour que ces systèmes soient véritablement utiles à des fins scientifiques et réglementaires, la capacité de voir la consommation d'énergie doit être traitée comme une exigence de base, tout comme la capacité de voir la température ou la vitesse du processeur.