Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
Cet article audite un projet d'inférence en cybersécurité pour démontrer que ses comparaisons d'énergie publiées entre le cloud et le local sont invalides en raison de failles de provenance, incluant des identités comptables se faisant passer pour des mesures et des décalages dimensionnels, établissant ainsi un protocole rigoureux et conscient de la provenance pour les évaluations futures.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde numérique moderne, les grands modèles de langage sont devenus des outils puissants pour les équipes de sécurité, les aidant à trier les courriels de phishing, à expliquer les vulnérabilités logicielles et à répondre aux cyberattaques. Ces systèmes d'intelligence artificielle fonctionnent en prédisant le mot suivant dans une phrase, mais ils consomment également de l'électricité pour ce faire. Alors que les organisations décident si elles doivent exécuter ces modèles sur leurs propres serveurs ou les louer auprès de fournisseurs de services cloud massifs, une question critique se pose : quelle option est la meilleure pour l'environnement ? Pour répondre à cela, les chercheurs doivent mesurer l'énergie utilisée par chaque requête. Cependant, mesurer l'énergie n'est pas aussi simple que de lire un compteur. Cela nécessite de savoir exactement quel matériel a été utilisé, combien de temps il a fonctionné et quelles tâches spécifiques ont été accomplies. Sans un enregistrement clair de l'origine d'un nombre et de la manière dont il a été calculé, une comparaison entre deux systèmes différents revient à comparer la lecture du tachymètre d'une voiture à une supposition sur la vitesse à laquelle pourrait rouler un vélo.
Une équipe de chercheurs de l'Université de technologie d'Auckland a décidé d'étudier ce problème en examinant de près un projet de cybersécurité spécifique qui avait déjà été achevé. Ils n'ont pas lancé de nouvelles expériences ni mesuré l'électricité avec de nouveaux équipements. Au lieu de cela, ils ont agi comme des auditeurs, examinant les fichiers, les journaux et les rapports existants pour voir si les affirmations énergétiques faites dans l'étude originale pouvaient réellement être dignes de confiance. Leur objectif était de remonter chaque chiffre jusqu'à sa source, en vérifiant si la donnée était une observation directe de la réalité ou un calcul basé sur des hypothèses. Ils ont découvert que l'étude tentait de comparer deux choses très différentes : un service cloud dont les rouages internes sont cachés, et un ordinateur local où les chercheurs pouvaient voir les processus, mais où ils avaient commis une erreur fondamentale dans la façon dont ils enregistraient les données.
Les chercheurs ont découvert que les chiffres énergétiques pour la partie cloud de l'étude n'étaient pas des mesures d'électricité du tout. Dans le tableur cloud contenant 360 enregistrements, chaque valeur énergétique était dérivée en prenant le nombre total de mots générés par le modèle et en le multipliant par un nombre fixe. Cela signifiait que la figure énergétique était une identité mathématique, une règle appliquée au texte, plutôt qu'une lecture provenant d'un compteur électrique. Le fournisseur de services cloud ne partageait aucune donnée sur la consommation réelle de puissance de ses serveurs pour ces requêtes. Par conséquent, le lien étroit entre le nombre de mots et le coût énergétique était un artefact de la méthode de calcul, et non une observation physique de la quantité d'électricité consommée par le cloud.
La situation était différente mais tout aussi problématique pour les expériences locales, où le modèle fonctionnait sur les propres ordinateurs des chercheurs. Ici, l'équipe a utilisé un outil logiciel conçu pour estimer les émissions de carbone. Cet outil calculait correctement la quantité d'équivalent de dioxyde de carbone produite, mesurée en kilogrammes. Cependant, les chercheurs ont ensuite traité ce chiffre de carbone comme s'il s'agissait d'une mesure d'énergie électrique en kilowattheures. Ils ont multiplié le poids de carbone par mille et l'ont appelé énergie, puis ont utilisé ce nombre incorrect pour calculer le coût de l'électricité. C'était une confusion d'unités, semblable à peser un sac de pommes et à prétendre ensuite que le poids indique la quantité d'eau présente dans une piscine. En raison de cette erreur, les chiffres énergétiques locaux ne pouvaient pas être comparés aux chiffres du cloud, ni être considérés comme une mesure fidèle de la consommation de puissance.
L'audit a également révélé que les deux côtés de l'étude ne testaient pas les mêmes choses. Les requêtes cloud impliquaient un type de modèle différent et permettaient des réponses beaucoup plus longues que les requêtes locales, qui étaient interrompues à une longueur plus courte. L'étude locale manquait également d'un enregistrement clair des versions exactes des logiciels et des paramètres matériels utilisés, rendant impossible de savoir si les résultats seraient les mêmes si l'expérience était répétée. De plus, l'étude n'incluait pas de moyen de vérifier si les tâches de sécurité étaient réellement résolues correctement, seulement si elles étaient complétées. Sans savoir si les réponses étaient bonnes, il est impossible de dire si l'énergie utilisée était efficace ou gaspillée.
Lorsque les chercheurs ont appliqué un cadre strict de suivi de l'historique des données, appelé provenance, ils ont constaté que l'archive ne pouvait pas soutenir un classement de quel déploiement était plus économe en énergie. Les chiffres du cloud étaient des estimations basées sur la longueur du texte, et les chiffres locaux étaient basés sur une erreur de conversion d'unité. L'étude ne pouvait pas déterminer si le cloud était meilleur, si la configuration locale était meilleure, ou s'ils étaient même comparables. Les chercheurs ont conclu que les études futures doivent être conçues différemment. Elles doivent utiliser les mêmes tâches pour les deux systèmes, mesurer l'électricité avec des compteurs appropriés ou des données vérifiées, et maintenir une chaîne de preuve claire et ininterrompue montrant exactement comment chaque nombre a été dérivé. Tant qu'une telle étude n'aura pas été réalisée, les affirmations concernant les avantages environnementaux de l'une ou l'autre approche resteront non prouvées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.