Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

Imaginez un monde où les logiciels qui régissent nos vies modernes ne sont pas seulement écrits par des mains humaines, mais par une intelligence artificielle. Ces assistants numériques, connus sous le nom de grands modèles de langage, sont devenus si performants dans l'écriture de code qu'ils font désormais partie du flux de travail quotidien de millions de développeurs. Ils peuvent terminer une phrase de programmation, déboguer une fonction défectueuse ou construire un petit programme à partir d'une simple description. Cependant, cette commodité s'accompagne d'un coût caché. Chaque fois que ces modèles réfléchissent, ils consomment de vastes quantités d'électricité, contribuant à une empreinte carbone croissante qui menace l'environnement même que nous espérons protéger. À mesure que la demande pour ces outils augmente, les scientifiques posent une question cruciale : comment pouvons-nous les rendre plus rapides et moins coûteux sans brûler la planète ?

Pour répondre à cela, des chercheurs ont récemment entrepris de tester comment ces esprits artificiels se comportent lorsqu'ils passent d'un type de matériel informatique à un autre. Depuis des années, les développeurs savent que faire fonctionner ces modèles sur des puces graphiques spécialisées, conçues à l'origine pour les jeux vidéo, est beaucoup plus rapide que de les faire fonctionner sur des processeurs informatiques standards. Mais la vitesse n'est qu'une partie de l'histoire. L'équipe voulait savoir si ce passage à un matériel plus rapide permettait également d'économiser de l'énergie et, plus important encore, si cela modifiait la qualité du code produit par les modèles. Ils étaient également curieux d'un tour subtil utilisé dans le "prompting" : donner au modèle quelques exemples de la tâche avant de lui demander de travailler. Montrer un échantillon du travail aide-t-il le modèle à économiser de l'énergie, ou cela rend-il simplement le processus plus long ?

Les chercheurs ont pris cinq modèles de codage open-source différents et les ont soumis à un test rigoureux. Ils ont exécuté le même ensemble de défis de programmation sur deux machines très différentes : un processeur informatique standard et un puissant cluster de cartes graphiques. Ils ont mesuré précisément la quantité d'énergie consommée par chaque exécution, le temps nécessaire et si le code généré fonctionnait réellement. Ils ont également comparé deux façons de solliciter l'aide des modèles. Dans la première méthode, ils ont donné au modèle une tâche sans aucun exemple, une approche dite "zero-shot". Dans la seconde, ils ont fourni trois exemples de tâches similaires au préalable, une approche "three-shot", pour guider la réflexion du modèle.

Les résultats ont été frappants et ont révélé un arbitrage clair entre vitesse et stabilité. Lorsque les modèles ont été transférés vers le matériel graphique puissant, la différence de vitesse était presque inimaginable. Le temps nécessaire pour générer du code a chuté de plus de 99 %, transformant des processus qui prenaient des secondes en fractions de seconde. Cette accélération massive a également entraîné une baisse significative de la consommation d'énergie, certaines tâches consommant près de 90 % d'énergie en moins que sur le processeur standard. Ce fut une victoire claire pour l'efficacité. Cependant, l'histoire est devenue plus complexe lorsque les chercheurs ont examiné la qualité du code.

Lorsque les modèles étaient invités à travailler sans aucun exemple, le passage au matériel plus rapide les faisait se comporter de manière imprévisible. Parce que les puces graphiques traitent l'information d'une manière différente des processeurs standards, les modèles produisaient parfois un code structurellement différent ou qui échouait simplement à fonctionner, même si les paramètres étaient identiques. C'était comme si la même personne, demandée d'écrire une histoire dans deux pièces différentes, arrivait à des fins complètement distinctes. Cette incohérence était la plus sévère lorsque les modèles étaient laissés à eux-mêmes pour trouver leur voie.

La solution à cette instabilité s'est avérée étonnamment simple. Lorsque les chercheurs ont fourni trois exemples avant de demander au modèle d'écrire du code, le comportement a changé de manière spectaculaire. Les modèles sont devenus beaucoup plus cohérents, produisant des résultats fiables quel que soit l'ordinateur sur lequel ils tournaient. De plus, cette méthode consistant à montrer des exemples a également permis d'économiser de l'énergie. En donnant au modèle un chemin clair à suivre, il évitait de générer des bavardages inutiles ou de longues explications qui encombrent souvent le résultat lorsqu'aucun exemple n'est fourni. Cette approche "three-shot" a éliminé le superflu du processus, réduisant la consommation d'énergie de plus de 60 % dans certains tests et rendant la génération de code à la fois plus rapide et plus précise.

L'étude suggère finalement que l'achat de matériel plus rapide ne suffit pas à résoudre les problèmes d'énergie et de qualité de l'intelligence artificielle. Bien que le passage aux cartes graphiques puissantes rende le processus incroyablement efficace, cela ne garantit pas de meilleurs résultats en soi. En fait, sans le bon guidage, la vitesse peut se faire au détriment de la fiabilité. La stratégie la plus efficace trouvée était une combinaison des deux : utiliser le matériel puissant pour la vitesse, mais l'associer à un style de prompting qui donne au modèle quelques exemples à suivre. Cette approche a non seulement permis de maintenir une faible consommation d'énergie, mais a également garanti que le code produit soit stable et correct.

En fin de compte, la recherche souligne que l'avenir d'une intelligence artificielle verte dépend de la manière dont nous posons les questions, et pas seulement des machines que nous utilisons. En concevant soigneusement la façon dont nous interagissons avec ces modèles, nous pouvons exploiter leur rapidité sans sacrifier la qualité de leur travail ni la santé de notre planète. La voie à suivre ne consiste pas seulement à construire des ordinateurs plus grands et plus rapides, mais à trouver le juste équilibre entre les outils que nous utilisons et les instructions que nous leur donnons.