Wasted large language models: A life cycle thinking approach
Cet article propose d'appliquer le cadre de la hiérarchie des déchets de l'UE aux modèles de langage étendus (LLM) en tant qu'approche de réflexion sur le cycle de vie pour atténuer leur impact environnemental croissant, en soulignant que la prévention de l'utilisation inutile et de l'entraînement de nouveaux modèles est la stratégie la plus efficace pour réduire leur empreinte carbone.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Nous vivons à une époque où les machines peuvent écrire de la poésie, résoudre des équations complexes et générer du code informatique avec une vitesse stupéfiante. Ces machines sont alimentées par des modèles de langage de grande taille, un type d'intelligence artificielle qui apprend en traitant de vastes quantités d'informations. Bien que ces outils promettent de révolutionner notre façon de travailler, ils s'accompagnent d'un prix élevé : ils consomment des quantités énormes d'électricité pour l'entraînement et le fonctionnement, laissant une empreinte carbone significative sur la planète. Depuis des années, les scientifiques tentent de rendre ces modèles plus économes en énergie, espérant réduire leur impact environnemental. Cependant, un phénomène connu sous le nom de paradoxe de Jevons vient souvent saper ces efforts ; à mesure que les modèles deviennent plus efficaces et moins coûteux à exploiter, nous avons tendance à les utiliser davantage, et non moins, ce qui entraîne une augmentation nette de la consommation totale d'énergie. Cela crée un besoin pressant pour un type de solution différent, qui regarde au-delà de la simple efficacité et considère l'ensemble de la vie de la technologie, de sa création à son retrait définitif.
Une équipe de chercheurs de SINTEF Digital en Norvège a proposé une nouvelle façon d'aborder ce problème en appliant un concept habituellement réservé aux déchets physiques : la hiérarchie des déchets. Dans l'Union européenne, les lois concernant les déchets physiques privilégient cinq étapes : prévenir la création de déchets dès le départ, réutiliser les objets, les recycler en de nouveaux matériaux, récupérer l'énergie qu'ils contiennent et, enfin, les éliminer de manière responsable. Les chercheurs suggèrent que nous devrions considérer les modèles de langage de grande taille non pas seulement comme des logiciels, mais comme des produits pouvant devenir des déchets. Tout comme une bouteille en plastique peut être jetée lorsqu'elle n'est plus utile, un modèle de langage peut devenir un déchet lorsqu'il est remplacé par une version plus récente ou simplement abandonné. En traitant ces outils numériques comme des produits dotés d'un cycle de vie, les auteurs soutiennent que nous pouvons trouver de nouvelles façons de réduire leur impact environnemental qui vont au-delà de la simple amélioration de leur vitesse ou de leur taille.
Le cœur de l'argumentation des chercheurs est que le moyen le plus efficace de réduire l'impact climatique de l'intelligence artificielle est de prévenir le gaspillage en évitant la création inutile de nouveaux modèles. Lorsqu'un nouveau modèle est entraîné, il nécessite une énergie massive pour le traitement des données, l'expérimentation et le processus d'apprentissage proprement dit. Si nous pouvons prolonger la durée de vie d'un modèle existant ou trouver des moyens de le réutiliser pour différentes tâches, nous évitons la nécessité de brûler de l'énergie pour construire un nouveau modèle à partir de zéro. L'article souligne qu'à la différence des objets physiques, le logiciel ne peut pas se casser ou s'user ; la raison principale pour laquelle les modèles deviennent des déchets est donc qu'ils sont remplacés par des versions plus récentes et plus rapides. Ce renouvellement rapide est porté par un marché concurrentiel où les laboratoires publient constamment des modèles mis à jour, rendant souvent les précédents obsolètes avant même qu'ils aient été pleinement utilisés. Les chercheurs suggèrent que de déplacer notre attention de la recherche de la performance absolue vers la recherche de ce qui est « suffisant » pourrait considérablement ralentir ce cycle de remplacement et réduire l'énergie dépensée pour l'entraînement.
Pour gérer les déchets qui surviennent, les auteurs explorent comment les autres étapes de la hiérarchie des déchets peuvent s'appliquer aux modèles numériques. La réutilisation est l'approche la plus directe ; puisque les modèles numériques peuvent être copiés sans coût, nous devrions maximiser leur utilisation à travers différentes applications avant de les considérer comme obsolètes. L'article mentionne des techniques telles que le « fine-tuning » (ajustement fin), où un modèle existant reçoit un petit amount de nouvel entraînement pour se spécialiser dans une tâche spécifique, comme une forme de recyclage. Cela permet au modèle original, énergivore, d'être adapté plutôt que jeté. De même, la « récupération » consiste à trouver des moyens de rendre ces modèles utiles plus longtemps, par exemple en les connectant à des bases de données externes pour améliorer leur précision sans avoir besoin de les réentraîner de zéro. Même l'étape finale de l'élimination, qui consiste généralement à jeter quelque chose, a un rôle ici. Bien que la suppression d'un fichier numérique ne laisse aucun résidu physique, les serveurs qui stockent les modèles inutilisés consomment tout de même de l'électricité. Par conséquent, supprimer activement les modèles qui ne sont plus nécessaires est un moyen pratique d'économiser de l'énergie et de respecter les ressources investies dans leur création.
Les chercheurs mettent également en garde contre la « mentalité du jetable » que favorise la commodité numérique. Parce que la suppression d'un modèle semble ne rien coûter, les développeurs et les utilisateurs négligent souvent l'immense énergie et le temps investis dans sa création. L'article note qu'il existe actuellement un fossé dans la façon dont nous interagissons avec ces outils ; les interfaces encouragent souvent une utilisation constante sans aider les utilisateurs à comprendre le coût environnemental ou à les guider vers des alternatives plus économes. Les auteurs suggèrent que nous devons devenir plus conscients du moment où un modèle de langage de grande taille est réellement nécessaire par rapport au moment où un outil plus simple et moins gourmand en énergie suffirait. Ils soutiennent que si la technologie est puissante, sa valeur doit être pesée face à son coût, et que suivre aveuglément la tendance des mises à jour constantes des modèles peut nous conduire à gaspiller des ressources pour des produits qui offrent peu de bénéfices nets.
En fin de compte, cette étude ne prétend pas avoir résolu la crise climatique de l'intelligence artificielle, ni suggère qu'il faille cesser de développer de nouveaux modèles. Au lieu de cela, elle propose un cadre pour réfléchir plus attentivement au cycle de vie de ces outils. En considérant les modèles de langage de grande taille comme des produits pouvant devenir des déchets, nous pouvons identifier des opportunités pour prévenir l'entraînement inutile, prolonger la durée de vie utile des modèles existants et éliminer les modèles inutilisés de manière responsable. Les auteurs proposent que ce changement de perspective est essentiel pour progresser vers un avenir plus durable pour l'intelligence artificielle, nous exhortant à valoriser les ressources que nous avons déjà dépensées avant de nous précipiter pour créer quelque chose de nouveau.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.