SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
SLOPE est une nouvelle méthode de pré-entraînement pour les grands modèles de langage qui combine des poids creux N:M à double élagage avec une stratégie d'adaptateur de bas rang « paresseuse » appliquée uniquement lors des derniers 1 % des itérations d'entraînement, atteignant des accélérations significatives (jusqu'à 1,54×) et des réductions de mémoire (jusqu'à 0,63×) tant lors de l'entraînement que de l'inférence tout en maintenant une précision de modèle comparable à celle des modèles denses.
Le monde moderne de l'intelligence artificielle est de plus en plus défini par les grands modèles de langage, de vastes cerveaux numériques entraînés sur d'énormes bibliothèques de textes pour comprendre et générer le langage humain. Ces systèmes sont puissants, mais ils ont un coût élevé : ils nécessitent des quantités immenses de puissance de calcul pour l'entraînement et de vastes quantités de mémoire pour fonctionner. Pour rendre ces modèles plus rapides et moins coûteux à utiliser, les chercheurs tentent depuis longtemps de les simplifier en supprimant des parties de leur structure interne qui semblent moins importantes, un processus connu sous le nom d'élagage (pruning). Imaginez une bibliothèque massive où vous décideriez de retirer chaque livre qui n'est pas lu souvent ; le bâtiment devient plus petit et plus facile à naviguer, mais si vous retirez trop de livres ou les mauvais, la bibliothèque perd sa capacité à répondre aux questions. Dans le domaine numérique, cette simplification entraîne souvent une perte de précision, où le modèle devient moins fiable. De plus, bien que la suppression de données économise de l'espace, l'ordinateur doit toujours effectuer le travail complexe de vérification de quelles parties conserver et lesquelles écarter à chaque étape de son apprentissage, ce qui annule souvent les avantages de vitesse.
Une équipe de chercheurs a développé une nouvelle approche appelée SLOPE pour résoudre ce compromis persistant entre vitesse, mémoire et précision. Leur méthode permet à ces modèles de langage massifs d'être entraînés et utilisés avec nettement moins de ressources sans sacrifier leur capacité à comprendre le langage. Le cœur de leur innovation réside dans la manière dont ils gèrent le processus d'apprentissage du modèle. Au lieu d'essayer de garder le modèle simple dès le début, ils lui permettent d'apprendre en utilisant une structure standard et simplifiée pendant presque toute la période d'entraînement. Ensuite, dans la toute petite fraction finale du temps d'entraînement, ils introduisent un petit ajout flexible qui aide le modèle à récupérer toute précision perdue. Cet ajout n'est pas un composant lourd et de taille complète, mais une couche légère et efficace qui agit comme un outil de réglage fin, permettant au modèle de retrouver sa vivacité sans avoir besoin de stocker ou de traiter une quantité massive de données supplémentaires.
Les chercheurs ont également abordé un goulot d'étranglement spécifique qui a ralenti les tentatives précédentes de simplification de ces modèles. Dans les opérations informatiques standards, le modèle doit examiner ses données internes dans deux directions différentes : une fois pour prédire le mot suivant et une autre fois pour corriger ses erreurs. Les méthodes de simplification précédentes fonctionnaient bien pour la première direction, mais forçaient l'ordinateur à effectuer un travail supplémentaire et lent lors de l'examen des données dans la seconde direction. La nouvelle méthode modifie l'ordre des opérations afin que la simplification fonctionne efficacement dans les deux directions simultanément. Cela permet à l'ordinateur de traiter les données beaucoup plus rapidement, en utilisant du matériel spécialisé conçu pour gérer ces schémas spécifiques de zéros et de non-zéros. En réorganisant la manière dont les données sont élaguées avant d'être traitées dans la phase de correction, les chercheurs ont veillé à ce que le modèle puisse apprendre tout aussi efficacement tout en parcourant les données à une vitesse beaucoup plus élevée.
Lors de tests sur des modèles allant de centaines de millions à des dizaines de milliards de paramètres, les résultats ont été substantiels. La nouvelle méthode a accéléré le processus d'entraînement jusqu'à 1,25 fois et a rendu le modèle final jusqu'à 1,54 fois plus rapide lors de l'utilisation. Plus important encore, elle a réduit la quantité de mémoire informatique requise pour faire fonctionner ces modèles de plus de moitié dans certains cas. Les chercheurs ont constaté qu'en ajoutant leur couche légère et flexible seulement à la toute fin de l'entraînement, le modèle pouvait atteindre des niveaux de précision très proches de ceux des versions beaucoup plus grandes et non simplifiées. Cette approche évite le piège courant où les modèles simplifiés nécessitent une phase finale coûteuse de réentraînement avec des données de taille complète pour redevenir utiles. Au lieu de cela, le modèle reste efficace tout au long de son cycle de vie, du moment où il commence son apprentissage au moment où il répond à la question d'un utilisateur.
L'étude démontre qu'il est possible d'avoir à la fois l'efficacité et la haute performance en intelligence artificielle, à condition que la simplification soit appliquée avec une stratégie spécifique. Les chercheurs ont montré que le moment où la capacité supplémentaire est ajoutée importe énormément ; introduire une petite dose de flexibilité à la toute fin du processus d'apprentissage produit de meilleurs résultats que d'essayer de maintenir cette flexibilité tout au long du parcours. Cette découverte remet en question l'hypothèse selon laquelle un modèle doit être soit entièrement complexe, soit entièrement simple, suggérant plutôt qu'une approche hybride, où le modèle est principalement simple mais reçoit un boost ciblé à la ligne d'arrivée, offre le meilleur des deux mondes. Ce travail offre une voie claire pour rendre l'intelligence artificielle avancée plus accessible, plus rapide et moins exigeante pour le matériel qui l'alimente.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.