Maia 200: A Software Defined Dataflow System for Large-scale AI Acceleration
Le document présente Maia 200, un accélérateur d'IA haute performance et économe en énergie qui utilise une nouvelle architecture de flux de données localement accessibles définie par logiciel (SDLA) pour passer d'un calcul centré sur les threads à un calcul centré sur le mouvement des données, offrant ainsi un parallélisme massif et des économies de coûts significatives pour les charges de travail d'inférence d'IA à grande échelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le monde de l'informatique traverse actuellement un changement massif, impulsé par un nouveau type de logiciel capable d'écrire de la poésie, de résoudre des problèmes mathématiques complexes et de générer des images à partir de simples descriptions. Ces systèmes, connus sous le nom de grands modèles de langage, nécessitent une quantité énorme de puissance de calcul pour fonctionner. Pendant des années, l'industrie s'est appuyée sur une manière spécifique d'organiser les puces informatiques, une méthode qui traite les données comme un flux d'instructions attendant d'être traitées par un cerveau central. Cependant, à mesure que ces modèles deviennent plus grands et plus complexes, cette méthode traditionnelle se heurte à un mur. Les puces passent trop de temps à attendre l'arrivée des données plutôt qu'à effectuer réellement les calculs, ce qui conduit à des systèmes incroyablement coûteux à construire et à exploiter, et qui consomment de vastes quantités d'électricité. Le défi central n'est plus seulement de rendre les mathématiques plus rapides ; il s'agit de déplacer les données elles-mêmes de manière plus efficace.
Une équipe de chercheurs de Microsoft a introduit une nouvelle approche pour résoudre ce problème avec une puce qu'ils appellent Maia 200. Au lieu d'essayer de forcer l'ancienne façon de penser à travailler plus dur, ils ont conçu un système qui change les règles fondamentales de la manière dont une puce informatique gère l'information. Ils appellent ce nouveau design une architecture de « Flux de données localement accédés défini par logiciel » (Software Defined Locally Accessed Dataflow). En termes simples, cela signifie que la puce est conçue pour déplacer les données exactement là où elles doivent aller, exactement quand elles doivent y être, sans attendre qu'une commande centrale lui dise quoi faire ensuite. Les chercheurs ont prouvé que cette méthode permet à la puce d'effectuer des calculs avec une vitesse et une efficacité énergétique bien supérieures aux conceptions précédentes, offrant une solution qui pourrait alimenter la prochaine génération d'intelligence artificielle sans les coûts massifs et les pénalités énergétiques qui limitent actuellement l'industrie.
Pour comprendre pourquoi cela est important, il faut observer comment les ordinateurs modernes fonctionnent habituellement. Pendant des décennies, la conception standard a consisté à avoir un processeur central qui récupère les données d'une grande banque de mémoire partagée, effectue un travail dessus, puis les renvoie. Cela fonctionne bien pour de nombreuses tâches, mais pour les calculs massifs et répétitifs requis par l'intelligence artificielle, cela crée un goulot d'étranglement. Le processeur reste souvent inactif, attendant que les données voyagent à travers la puce. L'équipe de Microsoft a réalisé que pour ces types de charges de travail spécifiques, le chemin le plus efficace n'est pas d'avoir un commandant central unique, mais de donner à la donnée ses propres instructions. Ils ont créé un système où le mouvement des données est programmé explicitement, permettant à différentes parties de la puce de travailler de manière indépendante et en parallèle. Cela déplace l'accent de la gestion des fils d'exécution vers la gestion du flux d'informations lui-même.
La puce Maia 200 est l'incarnation physique de cette idée. C'est un immense morceau de silicium, contenant plus de 140 milliards de transistors, conçu spécifiquement pour gérer la lourde charge de l'inférence de l'intelligence artificielle, qui est le processus consistant à utiliser un modèle entraîné pour générer des réponses. La puce est construite avec une structure interne unique qui divise sa mémoire en de nombreux petits compartiments spécialisés situés juste à côté des parties de la puce qui effectuent les calculs. Il s'agit d'un départ délibéré par rapport à la conception traditionnelle consistant à avoir un seul grand réservoir de mémoire. En gardant les données proches de l'endroit où elles sont utilisées, la puce évite le gaspillage d'énergie et les délais associés aux longs trajets à travers le silicium. Les chercheurs ont constaté que cette conception permet à la puce d'atteindre des niveaux de performance auparavant jugés impossibles dans ses limites de puissance, délivrant une quantité massive de puissance de calcul tout en respectant un budget énergétique de 750 watts.
Ce qui rend la Maia 200 véritablement distincte est la manière dont elle gère le mouvement des données. Dans les anciens systèmes, l'ordinateur repose souvent sur un « cache », une petite mémoire rapide qui stocke automatiquement les données qu'il pense que le processeur pourrait avoir besoin ensuite. Bien que cela fonctionne bien pour l'informatique généraliste, l'équipe de Microsoft a constaté que pour les modèles prévisibles et répétitifs de l'intelligence artificielle, le cache automatique est en fait inefficace. Cela ajoute de la complexité et de la surcharge qui ralentissent les choses. Au lieu de cela, la Maia 200 utilise un système où le programmeur indique explicitement à la puce exactement où déplacer les données et quand. Cela peut sembler rendre la programmation plus difficile, mais les chercheurs ont conçu une nouvelle couche logicielle qui permet aux experts de prendre le contrôle total du mouvement des données lorsqu'ils ont besoin d'une vitesse maximale, tout en offrant des outils plus simples pour les tâches générales. Cette approche donne à la puce un niveau de précision que les systèmes automatiques ne peuvent égaler, lui permettant de maintenir chaque partie du processeur occupée et travaillant à pleine capacité.
La puce est également conçue pour fonctionner de manière transparente avec d'autres puces dans un grand cluster. Les modèles d'intelligence artificielle sont souvent si volumineux qu'ils ne peuvent pas tenir sur une seule puce, nécessitant que des milliers de puces travaillent ensemble. La Maia 200 inclut un réseau sophistiqué construit directement dans la puce, lui permettant d'envoyer et de recevoir des données d'autres puces aussi facilement qu'elle déplace les données à l'intérieur d'elle-même. Les chercheurs ont démontré que ce système peut connecter des milliers de puces ensemble, créant un supercalculateur capable d'effectuer des quintillions de calculs par seconde. Ils ont testé ce système avec des modèles d'intelligence artificielle réels, incluant un grand modèle de langage avec des milliards de paramètres, et ont constaté qu'il pouvait générer du texte à des vitesses dépassant 70 % du maximum théorique du matériel. C'est une réalisation significative, car elle montre que la nouvelle architecture ne fonctionne pas seulement en théorie, mais performe efficacement dans des scénarios pratiques et complexes.
L'une des découvertes les plus importantes de la recherche est l'impact sur le coût et l'énergie. L'équipe a calculé qu'en utilisant ce nouveau design, ils peuvent réduire le coût total de possession d'un système d'intelligence artificielle à grande échelle de 30 % et réduire la consommation d'énergie de 15 % par rapport aux autres accélérateurs disponibles. Dans une industrie où les factures d'énergie deviennent une préoccupation primaire et où la demande de puissance de calcul croît exponentiellement, ces économies sont substantielles. Les chercheurs y sont parvenus non pas en rendant la puce plus petite ou moins chère à fabriquer, mais en rendant l'ensemble du système plus efficace dans sa tâche. En éliminant le temps et l'énergie gaspillés à déplacer les données inutilement, la puce accomplit plus de travail pour moins de puissance.
La Maia 200 représente une étape importante dans la manière dont nous construisons les ordinateurs du futur. Elle s'éloigne de l'ancienne idée d'un cerveau central unique gérant tout et adopte un modèle où les données circulent librement et efficacement à travers un réseau de travailleurs spécialisés. Les chercheurs ont montré qu'en prenant le contrôle du mouvement des données et en plaçant la mémoire exactement là où elle est nécessaire, il est possible de construire des systèmes plus rapides, moins chers et plus économes en énergie. Alors que l'intelligence artificielle continue d'évoluer et de demander plus de puissance, des conceptions comme la Maia 200 offrent une voie qui est durable et évolutive. Ce travail démontre que l'avenir du calcul de haute performance ne réside pas seulement dans le fait de rendre les mathématiques plus rapides, mais dans la repensée de la manière dont les données elles-mêmes sont gérées et déplacées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.