Neural Network Training with Approximate Logarithmic Computations
Cet article propose un schéma d'entraînement et d'inférence de réseau neuronal profond de bout en bout utilisant des calculs de système de nombres logarithmiques approximatifs avec une arithmétique à virgule fixe, démontrant qu'un traitement dans le domaine logarithmique de 16 bits atteint une précision de classification à environ 1 % des références en virgule flottante tout en éliminant le besoin de multiplieurs matériels.
Dans le monde moderne, les ordinateurs sont devenus remarquablement doués pour reconnaître des motifs, de l'identification d'un chat sur une photographie à la compréhension de paroles prononcées. Cette capacité provient d'un type de logiciel appelé réseau de neurones, qui est conçu pour imiter la façon dont le cerveau humain traite l'information en connectant ensemble de nombreuses unités de traitement simples. Pour rendre ces réseaux intelligents, ils doivent être entraînés à l'aide de vastes quantités de données, un processus qui nécessite à l'ordinateur d'effectuer des milliards de calculs complexes. Traditionnellement, ces calculs reposent fortement sur la multiplication, une opération mathématiquement simple mais qui nécessite une énergie significative et un matériel spécialisé pour être exécutée rapidement. Alors que nous essayons de faire fonctionner ces systèmes intelligents sur des appareils plus petits, alimentés par batterie, comme les smartphones ou les capteurs, la forte demande en multiplication devient un goulot d'étranglement, drainant l'énergie et ralentissant le processus d'apprentissage.
Une équipe de chercheurs de l'Université de Californie du Sud a proposé une méthode différente pour gérer ces calculs, une méthode qui pourrait rendre l'entraînement de ces réseaux beaucoup plus efficace. Au lieu d'effectuer la multiplication standard requise par les méthodes traditionnelles, ils suggèrent de convertir tous les nombres dans un format logarithmique. Dans ce système, la tâche difficile de multiplier deux nombres est remplacée par la tâche beaucoup plus simple de les additionner. Bien que cette conversion semble prometteuse, elle introduit un nouveau défi : l'addition de nombres dans ce format logarithmique n'est pas aussi simple que l'addition standard et nécessite généralement des tables de correspondance complexes ou des approximations pour fonctionner correctement. Les chercheurs ont cherché à voir s'ils pouvaient simplifier davantage ces additions, en utilisant des approximations approximatives faciles à construire pour le matériel, sans pour autant ruiner la précision du résultat final.
Les chercheurs ont développé un système complet où l'ensemble du processus d'entraînement et de test d'un réseau de neurones se déroule au sein de ce monde logarithmique. Ils ont remplacé les étapes de multiplication standard par l'addition et ont géré les parties délicates de l'addition logarithmique en utilisant deux raccourcis spécifiques. Un raccourci utilise une petite table de valeurs précalculées, semblable à une fiche de triche, tandis que l'autre utilise une technique simple de décalage de bits, qui est une manière rapide pour les ordinateurs de multiplier par des puissances de deux. Pour tester leur idée, ils ont construit une simulation numérique d'un réseau de neurones et l'ont entraînée sur plusieurs ensembles de données d'images bien connus, incluant des photos de chiffres écrits à la main et de vêtements. Ils ont comparé leur nouvelle méthode logarithmique à la méthode standard à virgule flottante de haute précision qui est actuellement utilisée dans la plupart des ordinateurs puissants.
Les résultats ont été étonnamment encourageants. Lorsque les chercheurs ont utilisé une représentation de 16 bits pour leurs nombres, la méthode logarithmique a atteint une précision de classification située à environ un pour cent de la méthode standard à virgule flottante. Cela signifie que, malgré l'utilisation de mathématiques simplifiées et d'approximations, le réseau a appris à reconnaître les images presque aussi bien que le système traditionnel. Ils ont constaté que même avec une table de correspondance très petite contenant seulement vingt entrées, le système fonctionnait bien, et dans de nombreux cas, le simple raccourci de décalage de bits était suffisant pour maintenir une précision élevée. L'étude suggère que pour de nombreuses tâches courantes, une représentation à virgule fixe de 16 bits dans le domaine logarithmique est suffisante pour approcher les performances de calculs à virgule flottante beaucoup plus complexes.
Ce travail démontre qu'il est possible d'entraîner des réseaux de neurones profonds sans dépendre d'un matériel de multiplication coûteux, à condition que les opérations d'addition soient gérées avec ces approximations spécifiques. Les chercheurs ont montré que la dégradation de la précision est minimale, suggérant que les futures conceptions de matériel pourraient potentiellement éliminer entièrement les multiplicateurs pour les tâches d'entraînement et d'inférence. Cela conduirait à des appareils plus petits, plus rapides et plus économes en énergie, capables d'apprendre et de s'adapter directement en périphérie (edge) sans avoir besoin de renvoyer les données vers un serveur important. Bien que l'étude se soit concentrée sur des types spécifiques de réseaux et de ensembles de données, les conclusions indiquent une voie viable pour rendre l'intelligence artificielle avancée plus accessible et pratique pour les appareils du quotidien.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.