Apple Neural Engine: Architecture, Programming, and Performance

Dans le monde moderne, nos smartphones et nos ordinateurs sont remplis d'outils spécialisés conçus pour résoudre des problèmes spécifiques rapidement. Tandis que le processeur central gère les tâches générales et que le processeur graphique restitue les images, un troisième composant, souvent caché, est devenu essentiel pour exécuter l'intelligence artificielle directement sur l'appareil. Ce composant est un moteur dédié, construit pour effectuer un nombre massif de calculs mathématiques simples, plus précisément la multiplication et l'addition de nombres, ce qui est le travail de base pour reconnaître un visage sur une photo ou transcrire une commande vocale. Pendant des années, ce moteur a été une boîte noire ; bien que les développeurs de logiciels puissent demander à l'ordinateur de l'utiliser, ils n'avaient aucun moyen de voir comment il fonctionnait, ce qu'il pouvait réellement faire, ou comment lui parler directement sans passer par un intermédiaire complexe.

Un chercheur a désormais ouvert cette boîte noire. En examinant attentivement le logiciel qui fait fonctionner les appareils d'Apple et en mesurant le matériel lui-même, il a cartographié l'ensemble du système, des puces de silicium physiques aux instructions invisibles qui les pilotent. Ses travaux révèlent que ce moteur n'est pas un ordinateur à usage général, mais une machine hautement spécialisée, construite pour traiter un type spécifique de mathématiques avec une vitesse extrême et une faible consommation d'énergie. Il a découvert que, bien que le moteur soit incroyablement rapide pour certaines tâches, il possède des limites strictes sur ce qu'il peut calculer et sur la manière dont il traite les nombres. Cette compréhension permet aux développeurs de construire de meilleures applications qui s'exécutent plus rapidement et consomment moins de batterie, mais cela montre aussi que le moteur n'est pas une solution magique pour chaque problème ; c'est un outil précis avec un travail spécifique, et l'utiliser correctement nécessite de comprendre ses règles uniques.

Le chercheur a commencé par contourner les couches logicielles standards qui cachent habituellement le moteur aux utilisateurs. Au lieu de demander à une application de haut niveau de décider où exécuter une tâche, il a trouvé un chemin direct vers le moteur lui-même, permettant d'envoyer des commandes et de mesurer les résultats avec un contrôle total. Il a traité le moteur comme une machine indépendante qui reçoit un ensemble d'instructions, les exécute, puis signale lorsqu'elle a terminé. Il a découvert que le moteur ne traite pas les instructions une par une comme un ordinateur standard ; au lieu de cela, il exécute une séquence pré-planifiée de mouvements de données et de calculs qui est fixée avant même que le travail ne commence. Cela signifie que le moteur ne peut pas prendre de décisions basées sur les données qu'il traite pendant son exécution ; le chemin doit être tracé à l'avance.

L'une des découvertes les plus significatives concerne la manière dont le moteur traite les nombres. Il effectue ses calculs en utilisant un format appelé demi-précision, qui utilise moins de bits pour stocker un nombre que le format standard utilisé par la plupart des ordinateurs. Ce choix permet au moteur de déplacer les données beaucoup plus rapidement et de consommer moins d'énergie, mais cela s'accompagne d'un compromis sur la précision. Le chercheur a découvert que le moteur compense cela en utilisant un registre interne très large pour conserver le total cumulé de ses calculs. Ce registre large agit comme un filet de sécurité, garantissant que le résultat final reste précis même si les étapes individuelles utilisent de petits nombres. Cependant, ce système a un point de rupture. Si un calcul implique l'annulation d'un grand nombre positif par un grand nombre négatif pour trouver une infime différence, le moteur perd en précision car la petite différence se perd dans l'arrondi des nombres initiaux élevés. Dans ces cas spécifiques, le moteur ne peut pas être utilisé, et la tâche doit être transférée à une autre partie de l'ordinateur.

L'étude a également cartographié exactement les opérations que le moteur peut effectuer. Il est excellent pour les tâches qui alimentent la vision et la parole, comme la reconnaissance de formes dans une image ou le traitement d'ondes sonores. Il peut gérer des motifs complexes comme les convolutions, qui sont les opérations mathématiques utilisées pour détecter les contours et les caractéristiques d'une image. Cependant, le chercheur a découvert que le moteur ne peut pas tout faire. Certains types de calculs, tels que ceux impliquant des données tridimensionnelles ou des types spécifiques de mises à jour de mémoire, ne sont tout simplement pas supportés par le matériel. Ils ont également découvert que les capacités du moteur changent selon la génération spécifique de la puce. Par exemple, les puces plus anciennes ne peuvent compresser les données que de certaines manières pour gagner de l'espace, tandis que les puces plus récentes peuvent compresser les données dans davantage de formats, ce qui leur permet de déplacer l'information plus rapidement et de consommer moins d'énergie.

Les mesures de performance ont montré que lorsque le moteur est utilisé pour le bon type de travail, il est considérablement plus rapide et plus efficace que le processeur graphique, qui est souvent utilisé pour des tâches similaires. Sur un type spécifique de tâche de traitement d'image, le moteur s'est avéré près de quatre fois plus rapide que le processeur graphique tout en consommant une fraction de l'énergie. Cette efficacité est due à la conception du moteur, qui déplace les données directement entre la mémoire et les unités de calcul sans arrêts inutiles. Cependant, cette vitesse est limitée par la rapidité avec laquelle les données peuvent être récupérées de la mémoire principale. Si une tâche nécessite plus de données que ce que le moteur peut contenir dans sa petite mémoire interne rapide, les performances chutent car le moteur doit attendre l'arrivée des données.

Le chercheur a également découvert comment le moteur gère sa propre mémoire et son état. Il peut conserver certaines données, comme la mémoire d'une conversation ou l'état d'un processus d'entraînement, stockées à l'intérieur de lui-même entre les tâches. Cela signifie que pour une séquence d'étapes, le moteur n'a pas besoin de renvoyer les données vers l'ordinateur principal, ce qui permet de gagner un temps considérable. Ils ont découvert que le moteur peut conserver ces données à travers plusieurs étapes, permettant de traiter un flux d'informations en continu sans interruption. Cette capacité est cruciale pour des applications comme la traduction linguistique en temps réel ou la génération de texte, où le moteur doit se souvenir de ce qu'il vient de dire pour décider de ce qu'il dira ensuite.

Malgré sa puissance, le moteur n'est pas une solution universelle. Le chercheur a identifié une limite stricte sur la taille des données qu'il peut traiter en une seule fois. Si une tâche nécessite un ensemble de données de travail plus grand que deux mégaoctets, le moteur s'arrête car il ne peut pas contenir toute l'information nécessaire dans sa mémoire rapide. Cette limite force les développeurs à diviser les tâches importantes en morceaux plus petits, ce qui ajoute de la complexité au logiciel. De plus, le moteur n'est pas un processeur à usage général ; il ne peut pas exécuter de programmes arbitraires. Il n'exécute que des instructions spécifiques, pré-compilées, qui ont été soigneusement optimisées pour son matériel. Cela signifie que le logiciel conçu pour le moteur doit être construit en tenant compte de ses contraintes spécifiques, et qu'il ne peut pas simplement prendre n'importe quel programme existant et l'exécuter plus rapidement.

L'étude a également révélé les contrôles de sécurité et d'accès complexes qui entourent le moteur. Bien que le chercheur ait trouvé un moyen de lui parler directement, il a découvert que ce chemin n'est pas officiellement supporté par le fabricant de l'appareil. Le moteur est protégé par un système qui exige qu'un logiciel soit signé et vérifié avant de pouvoir s'exécuter, garantissant que seules les applications de confiance accèdent au matériel. Ce modèle de sécurité empêche l'exécution de code non autorisé sur le moteur, mais cela signifie aussi que le chemin direct utilisé par le chercheur est fragile et pourrait se briser lors de n'importe quelle mise à jour logicielle. Le moteur est conçu pour être un composant sécurisé et isolé, et bien qu'il soit possible de l'atteindre, cela nécessite de naviguer dans un paysage complexe de permissions et de signatures.

En fin de compte, ce travail offre une image claire d'une machine puissante mais spécialisée. L'Apple Neural Engine n'est plus une boîte noire mystérieuse ; c'est un composant bien défini avec des forces et des faiblesses connues. Il excelle dans les tâches mathématiques spécifiques qui pilotent l'intelligence artificielle moderne, offrant une vitesse et une efficacité que les processeurs à usage général ne peuvent égaler. Cependant, il n'est pas une baguette magique capable de résoudre tous les problèmes. Il possède des limites strictes sur les types de calculs qu'il peut effectuer, la taille des données qu'il peut traiter et la précision qu'il peut maintenir. En comprenant ces limites, les développeurs peuvent construire de meilleures applications qui travaillent avec les capacités naturelles du moteur plutôt que de lutter contre elles. La recherche montre que l'avenir de l'intelligence embarquée ne réside pas dans la généralisation du moteur, mais dans la conception de logiciels qui s'adaptent parfaitement à sa conception spécialisée.