Meganeura: Portable GPU Training and Inference through Vulkan and Metal
Meganeura démontre qu'un compilateur natif et compact utilisant Vulkan et Metal peut efficacement couvrir à la fois les phases d'entraînement et d'inférence sur divers GPU grand public, en atteignant des performances compétitives et des temps de compilation nettement plus rapides que PyTorch, tout en identifiant la couverture des noyaux et l'ordonnancement comme les principaux goulots d'étranglement restants.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un cerveau de robot super intelligent qui apprend à reconnaître les chats, à conduire une voiture ou à écrire des histoires. Habituellement, il y a une séparation énorme et désordonnée dans la façon dont ce cerveau fonctionne. D'abord, il se rend dans un immense centre de données climatisé pour apprendre (l'entraînement), en utilisant des outils très puissants que seules les grandes entreprises possèdent. Ensuite, pour l'utiliser réellement sur votre téléphone ou dans un jouet, vous devez le rétrécir, le traduire dans une nouvelle langue, et espérer qu'il fonctionne toujours. C'est comme cuisiner un gâteau géant dans une cuisine professionnelle, puis essayer de faire tenir la recette dans une toute petite boîte à déjeuner pour un pique-nique, en espérant que le gâteau ne s'effondre pas.
Ce document vit dans le monde de l'informatique, plus précisément dans l'« apprentissage automatique » (apprendre aux ordinateurs à apprendre à partir de données) et la « programmation graphique » (dire aux puces informatiques comment dessiner des images). L'idée clé est que les mêmes puces informatiques qui alimentent vos jeux vidéo et vos écrans de téléphone sont incroyablement puissantes pour les mathématiques. Le document pose une question simple : pouvons-nous sauter l'étape de la traduction désordonnée ? Pouvons-nous utiliser la même « recette » pour entraîner le cerveau du robot et ensuite l'exécuter sur votre appareil, sans avoir besoin d'un énorme centre de données ou d'un langage informatique Python entre les deux ? Si nous pouvions, cela signifierait que vos appareils pourraient apprendre de nouvelles astuces directement là où vous êtes, instantanément, sans avoir besoin d'envoyer des données vers un serveur.
Les chercheurs ont construit un nouvel outil appelé Meganeura pour tester cela. Considérez Meganeura comme un traducteur universel et un chef cuisinier accompli réunis en un seul. Au lieu d'utiliser les outils lourds habituels (comme PyTorch, qui est la « cuisine » standard pour l'entraînement), Meganeura utilise les langages standards que les moteurs de jeux vidéo parlent déjà : Vulkan et Metal. Ce sont les langages que les cartes graphiques utilisent pour générer des mondes en 3D. L'équipe voulait voir si elle pouvait écrire un seul programme capable à la fois d'apprendre (entraîner) et de performer (inférer) sur presque n'importe quelle puce moderne, des cartes graphiques de haut niveau aux minuscules puces à l'intérieur de votre téléphone ou de votre ordinateur portable.
Ils ont mis Meganeura à l'épreuve contre le standard de l'industrie, PyTorch, sur cinq types différents d'appareils : des cartes graphiques NVIDIA et AMD puissantes, une puce AMD intégrée à un ordinateur portable, une puce graphique Intel et le silicium d'Apple. Ils ont exécuté cinq tâches d'IA différentes, allant de la reconnaissance d'images à la compréhension de la parole.
Voici ce qu'ils ont trouvé :
Les bonnes nouvelles :
Meganeura fonctionne ! Dans de nombreux cas, il était tout aussi rapide, et parfois même plus rapide, que les outils standards lourds. Sur les appareils AMD, il était souvent plus rapide que la concurrence. Par exemple, sur une carte graphique AMD, Meganeura a entraîné certains modèles jusqu'à 1,3 fois plus vite que l'outil standard. Sur la puce M3 d'Apple, il était compétitif, bien que parfois un peu plus lent. Le meilleur dans tout cela ? Meganeura est minuscule. Le programme entier ne fait que 13 MiB (environ la taille de quelques photos de haute qualité), alors que les outils standards nécessitent des gigaoctets de logiciels à installer. Il compile de nouvelles tâches en quelques secondes (0,1 à 2,4 secondes) au lieu de plusieurs minutes.
Le « cela dépend » :
Ce n'est pas une victoire parfaite partout. Sur les cartes NVIDIA et les puces Apple, Meganeura était parfois plus lent, surtout pour des tâches complexes comme l'entraînement de modèles de deep learning. Les chercheurs ont découvert que la différence de vitesse n'était pas due au fait que les langages graphiques (Vulkan/Metal) étaient faibles, mais parce que la « cuisine » de Meganeura ne possédait pas tous les outils spécialisés (kernels) que les grandes entreprises ont construits au fil des années. Par exemple, sur les cartes NVIDIA, les parties les plus lentes étaient des opérations mathématiques spécifiques pour la convolution (un type de traitement d'image), où Meganeura était environ 4,6 fois plus lent dans certains modes accélérés.
Le test du « monde réel » :
Pour prouver qu'il ne s'agissait pas seulement d'un tour de laboratoire, ils ont construit une véritable application appelée DinoVision pour un casque VR (Meta Quest 3). Ils ont entraîné un décodeur sur un ordinateur, ont sauvegardé le « cerveau », puis l'ont exécuté directement sur le casque en utilisant Meganeura. Cela a fonctionné parfaitement, partageant la même file d'attente graphique que le rendu du jeu. Cela a prouvé que vous pouvez entraîner et déployer sur le même appareil sans avoir besoin d'un serveur séparé.
Le bémol :
Les chercheurs ont été très prudents. Ils ont trouvé deux cas spécifiques où les résultats ne correspondaient pas parfaitement à l'outil standard. Ils soupçonnent que l'outil standard pourrait être celui qui contient le bug dans ces cas précis, mais ils ne pouvaient pas en être sûrs à 100 % sans un troisième avis. Ils ont également noté que Meganeura n'est pas prêt à remplacer les outils géants des centres de données pour l'entraînement massif et distribué ; il est conçu pour des applications plus petites et portables où vous voulez que tout soit dans un seul paquet bien net.
L'essentiel :
Meganeura montre que vous n'avez pas besoin d'un énorme centre de données spécialisé pour entraîner et faire fonctionner l'IA sur votre appareil. En utilisant les langages graphiques qui alimentent déjà vos jeux, vous pouvez créer un système minuscule et portable qui apprend et fonctionne sur presque toutes les puces modernes. Bien qu'il ne soit pas encore le plus rapide dans tous les scénarios, il prouve qu'une pile « entraînement-et-déploiement » est possible, ouvrant la porte à des appareils capables d'apprendre et de s'adapter directement dans votre poche.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.