Polarization-coupled complete operators in sliding ferroelectric semiconductors for native in-memory attention computing
Cet article présente un matériel de calcul en mémoire basé sur un semi-conducteur ferroélectrique glissant qui couple intrinsèquement les opérateurs linéaires et non linéaires via la polarisation pour exécuter des primitives d'attention Transformer complètes, incluant un Softmax natif, avec une latence et une énergie ultra-faibles pour l'IA générative en temps réel.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'intelligence artificielle moderne, en particulier les systèmes qui écrivent des histoires, traduisent des langues et génèrent des images, repose sur un processus mathématique appelé l'attention. Ce processus permet à la machine de décider quelles parties d'une phrase ou d'une image sont les plus importantes sur lesquelles se concentrer à un moment donné. Pour prendre ces décisions, l'ordinateur doit effectuer simultanément deux types de calculs distincts : l'addition et la multiplication simples, qui sont directes, et des fonctions mathématiques complexes et courbes qui agissent comme un filtre pour normaliser les résultats. Actuellement, les puces informatiques sont conçues pour gérer très bien les mathématiques simples, mais elles ont du mal avec le filtrage complexe. Elles doivent déplacer les données d'aller-retour entre la mémoire, où l'information est stockée, et un processeur séparé qui gère les mathématiques complexes. Ce brassage constant de données ralentit le système et consomme de vastes quantités d'énergie, créant un goulot d'étranglement qui limite la vitesse et l'efficacité de ces systèmes intelligents.
Une équipe de chercheurs de l'Université de Nanjing et d'autres institutions a développé un nouveau type de puce informatique qui résout ce problème en effectuant les calculs simples et complexes exactement au même endroit où les données sont stockées. Ils ont créé un minuscule dispositif fabriqué à partir d'un matériau spécial appelé ReS2, un semi-conducteur stratifié qui peut être glissé pour modifier ses propriétés électriques. À l'intérieur de ce dispositif unique, ils ont intégré deux voies différentes pour le passage de l'électricité. Une voie fait circuler l'électricité verticalement à travers le matériau, tandis que l'autre la fait circuler latéralement le long de la surface. Les deux voies sont contrôlées par le même interrupteur interne, connu sous le nom de polarisation ferroélectrique, qui agit comme un réglage de mémoire permanente pouvant être basculé d'avant en arrière avec une infime impulsion électrique.
Lorsque les chercheurs appliquent une tension pour basculer cet interrupteur interne, cela modifie la facilité avec laquelle l'électricité circule à travers les deux voies en même temps. La voie verticale répond selon une ligne droite et prévisible, ce qui la rend parfaite pour les tâches d'addition et de multiplication simples. La voie latérale, cependant, réagit de manière courbe et exponentielle, effectuant naturellement les mathématiques de filtrage complexes qui nécessitent habituellement un processeur séparé. Comme les deux voies sont régies par le même interrupteur interne, le dispositif peut exécuter l'ensemble du processus d'attention en une seule étape sans déplacer aucune donnée. Les chercheurs ont construit une petite grille de ces dispositifs, disposés selon un motif spécifique, et ont démontré qu'elle pouvait exécuter avec succès la logique de base d'un modèle de langage moderne. Le système a fonctionné avec une vitesse incroyable, complétant les opérations en 600 picosecondes, soit moins d'un milliardième de seconde, et a utilisé une quantité d'énergie étonnamment faible, mesurant seulement 320 attojoules par opération.
L'équipe ne s'est pas contentée de construire le dispositif ; elle a prouvé qu'il pouvait apprendre et s'adapter. En ajustant la taille physique des voies à l'intérieur du dispositif, ils pouvaient régler la sensibilité des mathématiques complexes, permettant ainsi de concevoir la puce pour différents types de tâches. Ils ont testé le système avec une configuration en boucle fermée où la puce recevait une entrée textuelle et générait une réponse en temps réel. Lorsqu'on lui présentait la phrase « I am hungry » (J'ai faim), le matériel calculait instantanément les poids d'attention nécessaires et générait la suite « need pizza now » (besoin de pizza maintenant). Cela a démontré que le dispositif pouvait gérer le cycle complet de compréhension et de génération de langage sans aide externe. De plus, les chercheurs ont utilisé la performance mesurée de leur minuscule dispositif pour simuler un système beaucoup plus vaste. Dans ces simulations, la puce a réussi à traduire les signaux électriques du cerveau d'une souris, représentant différents états émotionnels comme la peur ou l'excitation, en langage écrit. La simulation a montré que cette approche pouvait passer à l'échelle pour gérer des tâches complexes du monde réel impliquant des données sensorielles et la génération de langage.
Ce travail représente un changement fondamental dans la conception du matériel informatique pour l'intelligence artificielle. Au lieu d'essayer de rendre les mathématiques linéaires existantes plus rapides, les chercheurs ont intégré les mathématiques complexes manquantes directement dans le matériau de la mémoire elle-même. Ce faisant, ils ont éliminé le besoin du transfert de données énergivore qui a entravé les générations précédentes de puces. Le dispositif conserve ses réglages pendant plus d'un an sans alimentation et peut être réécrit des millions de fois, prouvant qu'il est assez stable pour une utilisation pratique. Le succès de cette expérience suggère que l'avenir d'une intelligence artificielle efficace ne viendra peut-être pas de meilleurs logiciels ou de processeurs plus rapides, mais de matériaux capables d'effectuer nativement toute la gamme des opérations mathématiques requises pour la pensée, le tout au sein d'une seule et même unité de mémoire minuscule.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.