DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

Le monde de l'intelligence artificielle progresse actuellement à toute allure, propulsé par des puces informatiques massives appelées GPU qui servent de moteurs pour l'entraînement et l'exécution de modèles de langage complexes. Ces modèles peuvent écrire des histoires, résoudre des problèmes et tenir des conversations, mais ils exigent des quantités énormes de puissance de calcul. Pour tenir le rythme, les centres de données mettent constamment à jour leur matériel, mettant au rebut des puces fonctionnelles pour faire de la place à des composants plus rapides et plus récents. Ce cycle laisse derrière lui une pile croissante d'accélérateurs capables mais « vieux », créant un marché secondaire où ces composants mis au rebut sont vendus pour une fraction de leur prix d'origine. La question qui se pose aux chercheurs et aux ingénieurs est de savoir si ces machines retirées du service peuvent recevoir une seconde vie productive pour servir des tâches d'IA modernes, ou si leur âge les rend trop inefficaces et gaspilleuses pour être utiles.

Une équipe de chercheurs s'est donné pour mission de répondre à cette question en construisant un immense cluster informatique entièrement à partir de zéro en utilisant uniquement des pièces d'occasion. Ils n'ont pas seulement acheté des cartes graphiques d'occasion ; ils ont sourcé des processeurs, de la mémoire, des cartes mères et du matériel réseau d'occasion pour construire un système de 128 GPU NVIDIA V100 retirés. Cette collection, qu'ils ont nommée « DumpsterCluster », a été conçue pour tester si du matériel ancien pouvait supporter la lourde charge de travail de l'exécution de grands modèles de langage, spécifiquement un modèle de 70 milliards de paramètres connu sous le nom de LLaMA-70B. L'équipe a passé une année à faire fonctionner ce cluster dans un environnement réel, répondant à de véritables requêtes d'utilisateurs, afin de voir si l'approche était économiquement viable et écologiquement durable. Leurs conclusions révèlent une histoire de potentiel surprenant qui s'accompagne d'un ensemble strict de conditions : bien que le matériel puisse fonctionner, son succès dépend entièrement de l'endroit où il est placé et de la manière dont il est géré.

Le cas économique de cette approche est frappant. Les chercheurs ont assemblé l'ensemble de leur système de 128 GPU pour environ 22 000 $, un prix qui est passé de 32 000 $ au cours de leur étude en raison de la dépréciation du marché. En revanche, un système moderne doté de seulement huit des derniers processeurs de génération actuelle coûte environ 600 000 $. Cette différence massive de coût initial signifie que même si les puces plus anciennes sont moins puissantes individuellement, le grand nombre de celles-ci permet au cluster de traiter un volume important de données. En faisant fonctionner le système pendant un an, l'équipe a prouvé qu'elle pouvait servir le grand modèle de langage efficacement, atteignant une vitesse de génération de texte qui, bien que plus lente que celle des super-puces les plus récentes, était suffisante pour de nombreuses applications pratiques. La clé de cette réussite n'était pas seulement l'achat des pièces, mais la réécriture du logiciel qui les fait fonctionner.

Le logiciel standard pour exécuter ces modèles est conçu pour le matériel le plus récent, qui possède des connexions très rapides entre les puces. Les anciens processeurs V100 du DumpsterCluster ont des connexions plus lentes et moins de mémoire, ce qui, normalement, les ferait s'étouffer face à de grands modèles. Pour résoudre ce problème, les chercheurs ont développé un moteur personnalisé qui modifie la façon dont le travail est réparti. Au lieu de forcer les puces à communiquer constamment entre elles, ils ont organisé le modèle de sorte que chaque puce gère une section spécifique du calcul dans une longue chaîne, transmettant les résultats au suivant. Ils ont également optimisé le système pour que le processeur central de l'ordinateur gère les transferts de données en arrière-plan pendant que les puces graphiques continuent de travailler, évitant ainsi que le système ne reste inactif. Cette stratégie a permis aux 128 puces plus anciennes de fonctionner comme une unité unique et cohérente, capable d'exécuter un modèle qui ne tiendrait pas du tout sur une seule puce.

Cependant, l'étude révèle que cette solution n'est pas un remède universel aux problèmes énergétiques et environnementaux de l'industrie de l'IA. Les chercheurs ont constaté que, bien que le coût initial soit faible, le coût de fonctionnement des machines au fil du temps dépend fortement du prix de l'électricité et de la source de cette énergie. Les puces plus anciennes sont moins efficaces sur le plan énergétique que les nouvelles, ce qui signifie qu'elles consomment plus d'énergie pour générer la même quantité de texte. Si ce cluster est exploité dans une région où l'électricité provient de combustibles fossiles, les émissions de carbone totales produites par mot généré peuvent être des dizaines de fois supérieures à l'utilisation d'un système neuf et efficace. Le bénéfice environnemental de la réutilisation du matériel est totalement annulé si l'électricité utilisée pour l'alimenter est « sale ». Le système ne devient véritablement durable que lorsqu'il est situé dans des zones dotées d'une énergie abondante, bon marché et propre, comme les régions alimentées par l'éolien ou l'hydroélectricité. Dans ces lieux spécifiques, le faible coût de l'électricité compense l'inefficacité des puces anciennes, rendant le coût total de possession bas et l'empreinte carbone gérable.

La fiabilité du matériel a également présenté des défis que l'équipe a dû gérer. Au cours de l'année, le cluster a connu de nombreux incidents techniques, mais la grande majorité étaient des bugs logiciels qui pouvaient être résolus par un simple redémarrage plutôt que par une réparation physique. Les véritables pannes matérielles, où une puce ou un composant s'est réellement cassé, ont été rares, représentant moins de 14 % des incidents. Cela suggère qu'avec des tests minutieux et une petite capacité supplémentaire intégrée pour gérer les défaillances, le matériel d'occasion peut être suffisamment fiable pour une utilisation en production. Les chercheurs ont noté que le système est mieux adapté pour répondre à des questions et générer du texte, plutôt que pour entraîner de nouveaux modèles à partir de zéro, ce qui nécessite un type de puissance de calcul et une stabilité différents.

En fin de compte, l'article démontre que donner une seconde vie à la technologie retirée est possible, mais qu'il ne s'agit pas simplement de brancher de vieilles pièces. Le succès d'un tel « DumpsterCluster » repose sur un équilibre délicat entre l'ingénierie, l'économie et la géographie. Cela nécessite un logiciel spécialisé pour surmonter les limitations du matériel vieillissant, un emplacement doté d'une électricité bon marché et propre pour maintenir les coûts de fonctionnement et les émissions bas, et une tolérance pour un taux de maintenance légèrement plus élevé par rapport aux systèmes neufs. Lorsque ces conditions sont remplies, l'approche offre une voie viable pour étendre la capacité de l'IA sans les coûts financiers et environnementaux massifs de la fabrication constante de nouvelles puces. Cela suggère un avenir où le cycle de vie du matériel informatique est prolongé, à condition d'être prêt à associer les bons outils aux bonnes sources d'énergie.