Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
Cet article présente le Transformer Accelerator (TFA), un moteur matériel INT8 synthétisable qui réalise une inférence de transformer de bout en bout, bit à bit, avec une vérification fonctionnelle à 100 % et des améliorations projetées significatives en termes d'énergie et de gain de vitesse par rapport aux références CPU.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'intelligence artificielle moderne a appris à parler, à traduire et à raisonner en utilisant un type spécifique de réseau neuronal appelé « transformer ». Ces systèmes sont incroyablement puissants, mais ils sont aussi voraces. Pour générer un seul nouveau mot dans une phrase, un transformer doit parcourir toute sa mémoire de faits appris, un processus qui nécessite de déplacer des quantités massives de données. Pour les appareils fonctionnant sur batterie, comme les smartphones ou les capteurs, ce brassage constant d'informations constitue un goulot d'étranglement. L'énergie requise pour extraire ces nombres de la mémoire dépasse souvent l'énergie nécessaire pour effectuer réellement les calculs avec ceux-ci. Cela crée un problème fondamental : comment construire une machine capable de faire fonctionner ces modèles de langage complexes de manière efficace sur du matériel de petite taille et à faible consommation, sans perdre la capacité de comprendre les nuances ?
Un chercheur nommé Shashank a conçu un nouveau type de puce matérielle spécifiquement pour résoudre ce problème. Au lieu de construire un ordinateur polyvalent qui essaie de tout faire, cette puce est un outil spécialisé conçu pour gérer uniquement les mathématiques spécifiques requises pour la traduction linguistique. La conception, appelée l'Accélérateur de Transformer (Transformer Accelerator), traite le modèle non pas comme un programme à interpréter, mais comme un flux d'instructions qui déplace les données directement de la mémoire vers un moteur de calcul, puis les renvoie vers l'extérieur. L'objectif était de créer un dispositif capable de prendre un modèle de langage pré-entraîné, de l'exécuter entièrement sur silicium, et de produire des résultats mathématiquement identiques à la version haute précision de l'ordinateur d'origine, tout en utilisant beaucoup moins d'énergie.
Le cœur de ce travail est une puce qui fonctionne en utilisant des nombres entiers plutôt que les fractions décimales complexes typiquement utilisées en calcul scientifique. En passant à ces nombres entiers plus simples, la quantité de données devant être déplacée est considérablement réduite. Cependant, ce passage entraîne généralement une perte de précision car les infimes différences entre les nombres sont arrondies. Le chercheur a découvert que la méthode standard d'arrondi de ces nombres échouait pour ce type spécifique de modèle de langage, rendant la traduction incohérente. La solution n'était pas de modifier la puce, mais de changer la façon dont le modèle était préparé avant son chargement sur le matériel. En appliquant une rotation mathématique précise aux poids internes du modèle lors de la phase de préparation, le chercheur a lissé les nombres difficiles. Cela a permis à la puce simple et à faible consommation de produire des résultats bit par bit identiques à la version complexe d'origine, en dissimulant efficacement la difficulté des mathématiques dans le logiciel plutôt que dans le matériel.
Pour prouver que cela fonctionnait, le chercheur a pris un modèle de traduction complet et pré-entraîné, capable de convertir l'anglais en français, en allemand et en roumain, et l'a compilé en une série d'instructions pour la puce. La puce a ensuite été soumise à une simulation rigoureuse qui vérifiait chaque étape du processus. Les résultats ont montré que la puce pouvait exécuter l'intégralité du pipeline de traduction, y compris les mécanismes d'attention complexes qui permettent au modèle de se concentrer sur les bons mots, avec zéro erreur. Lorsque la puce a généré des traductions pour dix proverbes anglais difficiles, elle a parfaitement égalé la sortie de l'ordinateur d'origine en termes de données sous-jacentes. Dans la moitié des cas, les mots traduits finaux étaient identiques à la référence en virgule flottante ; dans l'autre moitié, la puce produisait des traductions différentes mais tout aussi valables, comme l'utilisation d'un mot différent pour le même concept ou d'une ponctuation différente. Cela a démontré que le matériel n'était pas seulement rapide, mais aussi fiable.
Les gains de performance ont été substantiels. Comparée à un processeur informatique standard à vingt-deux threads, la conception de la puce a été capable de générer des tokens vingt fois plus vite dans sa plus petite configuration, même en fonctionnant sur un système de mémoire intentionnellement lent et difficile. Les chercheurs ont projeté que des versions plus grandes de cette puce pourraient être près de deux cents fois plus rapides que la base de référence de l'ordinateur. Plus important encore, l'efficacité énergétique est stupéfiante. On estime que la puce utilise environ trois mille fois moins d'énergie par mot généré que le processeur de l'ordinateur. Cette efficacité provient de la capacité de la puce à faire défiler les poids devant ses unités de calcul à la vitesse maximale autorisée par la mémoire, plutôt que d'attendre la fin du calcul avant de récupérer la donnée suivante.
Le travail ne s'est pas arrêté à la simulation. Pour s'assurer que la conception n'était pas seulement un exercice théorique, le chercheur a traité la description numérique de la puce à travers un flux de fabrication complet utilisé pour la création de silicium réel. Ce processus a converti la conception en un tracé physique pouvant être imprimé sur une puce. Le tracé résultant a passé avec succès toutes les règles strictes requises pour la fabrication, confirmant que la conception était physiquement réalisable. Bien que la version spécifique testée ait été construite avec une technologie de fabrication plus ancienne et plus large, le tracé réussi a prouvé que l'architecture est solide et qu'elle peut être réduite à des processus modernes et rapides. La puce physique, une fois construite avec des composants de mémoire avancés, devrait être encore plus petite et plus rapide.
Ce projet met en lumière un changement dans la manière dont nous pourrions construire l'avenir de l'intelligence artificielle. Au lieu d'essayer de rendre les ordinateurs polyvalents plus rapides, l'approche se concentre sur la construction de petits moteurs spécialisés qui font une seule chose parfaitement. En séparant la difficulté mathématique de la gestion des nombres imprécis vers l'étape de préparation logicielle, le matériel lui-même peut rester simple, rapide et incroyablement efficace. Le succès de cette conception suggère que nous pouvons faire fonctionner des modèles de langage sophistiqués « en périphérie » (on the edge), dans des appareils actuellement trop petits pour les gérer, sans sacrifier la précision qui rend ces modèles utiles. La voie à suivre consiste à passer à l'échelle supérieure pour gérer des modèles plus vastes et des tâches linguistiques plus complexes, mais les fondations sont posées : une puce petite, vérifiée et fabricable, capable de traduire les langues du monde avec la précision d'un supercalculateur et l'efficacité d'un appareil alimenté par batterie.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.