Memory load amplifies quantization noise in transformers
Cet article démontre qu'à mesure que les transformeurs approchent de leur capacité de mémoire, la dégradation causée par la quantification des poids est amplifiée car la réduction des marges pour les faits stockés coïncide avec une augmentation du bruit de quantification principalement pilotée par les gains des couches en aval du réseau.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les systèmes d'intelligence artificielle modernes, souvent appelés modèles de langage, sont entraînés en lisant de vastes quantités de texte pour apprendre comment les mots s'assemblent. Plus ils consomment de données, plus ils deviennent généralement performants pour comprendre et générer le langage humain. Pour rendre ces systèmes massifs pratiques pour un usage quotidien, les ingénieurs les compressent souvent en arrondissant leurs nombres internes à moins de bits, un processus connu sous le nom de quantification. Cela réduit la mémoire nécessaire pour faire fonctionner le modèle, permettant ainsi de l'adapter à des appareils plus petits. Cependant, un schéma déconcertant est apparu : les modèles entraînés sur de plus grandes quantités de données se dégradent souvent plus sévèrement lors de la compression que ceux entraînés sur moins de données. Il semble contre-intuitif que l'apprentissage de davantage d'informations rende un système plus fragile, et pourtant, c'est ce qui se produit. La raison de cette vulnérabilité est restée un mystère jusqu'à présent.
Un chercheur a mis au jour le mécanisme caché derrière cette fragilité en étudiant une version simplifiée d'un modèle de langage conçu pour mémoriser des faits. Il a créé une expérience numérique où un modèle informatique apprenait les biographies de personnes fictives, stockant des détails tels que les dates de naissance, les villes et les employeurs. Comme les informations contenues dans ces biographies synthétiques étaient parfaitement contrôlées, le chercheur pouvait mesurer exactement quelle quantité de données le modèle stockait par rapport à sa taille. Il a ensuite testé la capacité du modèle à se souvenir de ces faits après avoir arrondi ses nombres internes à différents niveaux de précision. Ses travaux révèlent qu'un modèle rempli d'informations subit une double pénalité. Premièrement, à mesure que le modèle se remplit de faits, la marge de sécurité pour chaque mémoire rétrécit, laissant moins de place à l'erreur. Mais le chercheur a découvert un second effet, plus surprenant : le réseau entraîné apprend lui-même à amplifier les minuscules erreurs introduites par l'arrondi. Cette amplification n'est pas un défaut de la méthode de compression, mais une propriété de la structure même du réseau après son apprentissage.
Pour comprendre cela, imaginez le modèle comme une série de couches à travers lesquelles l'information doit passer. Lorsque le chercheur a arrondi les nombres, il a traité les erreurs résultantes comme un bruit aléatoire. Il a retracé la façon dont ce bruit voyageait à travers le réseau jusqu'à la réponse finale. Il a découvert que le réseau agit comme une loupe pour ces erreurs. À mesure que le modèle apprend davantage de faits, il ajuste ses connexions internes d'une manière qui rend la sortie finale beaucoup plus sensible aux petites perturbations dans les poids. Dans ses expériences, à mesure que la quantité d'informations stockées augmentait, le bruit causé par l'arrondi augmentait d'un facteur de deux et demi. Cette croissance n'était pas due au fait que la grille d'arrondi devenait plus grossière, mais parce que les couches en aval du réseau amplifiaient la perturbation. Le chercheur a calculé que cette amplification représente environ la moitié de la précision supplémentaire nécessaire pour maintenir le fonctionnement du modèle à mesure qu'il se charge de données.
L'étude a également montré que cette amplification n'est pas uniforme dans l'ensemble du système. Le chercheur a décomposé la contribution du bruit couche par couche et a constaté que la dernière couche du réseau, qui prépare la réponse pour la sortie, était responsable d'une partie significative de l'amplification. Cependant, les couches intermédiaires jouaient également un rôle croissant à mesure que le modèle se chargeait. En combinant le rétrécissement des marges de sécurité et la croissance de l'amplification des erreurs, le chercheur a pu prédire exactement combien de faits le modèle perdrait après la compression. Leur description mathématique, qui reposait uniquement sur les poids en pleine précision et la géométrie du réseau, a réussi à prédire la fraction de faits perdus sans avoir besoin de réentraîner le modèle ou de le tester sur la version compressée.
Cette découverte remet en question l'hypothèse commune selon laquelle les problèmes de compression concernent uniquement la précision des nombres utilisés. Alors que les méthodes actuelles se concentrent sur l'affinement du processus d'arrondi pour gérer les valeurs aberrantes ou des groupes de poids spécifiques, cette recherche suggère qu'une grande partie du problème est ancrée dans le processus d'entraînement lui-même. Le réseau apprend à lire sa propre connaissance d'une manière qui est hautement sensible à la perturbation. L'auteur note que ses conclusions sont basées sur un modèle spécifique et de petite taille entraîné sur des associations arbitraires, et il appelle à des tests supplémentaires pour voir si cet effet d'amplification se vérifie pour les modèles massifs et réels utilisés aujourd'hui. Si c'est le cas, alors le « gain » du réseau — le degré auquel il amplifie les erreurs — pourrait devenir un nouvel outil de diagnostic. Les ingénieurs pourraient potentiellement observer un modèle en pleine précision et prédire exactement quelle précision il peut se permettre de perdre avant de commencer à oublier ce qu'il a appris, offrant ainsi une voie plus claire vers la construction d'une intelligence artificielle efficace et robuste.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.