OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction
OPTIMA est une méthode de post-entraînement par élagage (pruning) à un seul passage et évolutive pour les grands modèles de langage qui formule la reconstruction des poids par couche sous forme de programmes quadratiques indépendants par colonne avec une hessienne partagée, atteignant une précision supérieure aux approches heuristiques tout en maintenant l'efficacité computationnelle sur les accélérateurs modernes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les grands modèles de langage sont des programmes informatiques puissants qui ont appris à comprendre et à générer le langage humain en étudiant de vastes quantités de texte. Ils peuvent écrire des histoires, répondre à des questions complexes et résoudre des problèmes, mais ils présentent un inconvénient majeur : ils sont énormes. Ces modèles contiennent des milliards de paramètres, qui sont les nombres internes que le système ajuste pour donner du sens au langage. En raison de leur taille, leur exécution nécessite un matériel puissant et coûteux, ce qui les rend difficiles à utiliser pour des tâches quotidiennes ou sur des appareils plus petits. Pour rendre ces modèles plus pratiques, les chercheurs cherchent des moyens de les réduire sans perdre leur capacité à réfléchir clairement. Une méthode populaire est appelée l'élagage (pruning), qui consiste à supprimer les nombres les moins importants du modèle afin de réduire sa taille. Cependant, ce processus est délicat. Si vous supprimez simplement les nombres, le modèle devient souvent bien moins performant dans sa tâche. Si vous essayez de réparer le modèle en recalculant tous les nombres à la fois pour compenser la perte, les mathématiques deviennent si lourdes qu'il est impossible de les traiter sur des ordinateurs modernes.
Une équipe de chercheurs a développé une nouvelle approche appelée OPTIMA pour résoudre ce problème spécifique. Leur objectif était de trouver un juste milieu entre la méthode rapide mais imprécise consistant à simplement supprimer des nombres et la méthode trop lente consistant à essayer de tout réparer d'un coup. Ils ont réalisé qu'après avoir décidé quels nombres supprimer, la tâche de réparation des nombres restants pouvait être décomposée en de nombreux petits problèmes indépendants. Au lieu d'essayer de résoudre toute la mathématique du modèle en une seule étape géante et impossible, ils ont traité chaque colonne de nombres du modèle séparément. Ils ont découvert que, bien que chaque colonne ait ses propres contraintes spécifiques basées sur les nombres supprimés, elles partageaient toutes une structure sous-jacente commune. Cela leur a permis d'utiliser un outil mathématique spécialisé, connu sous le nom de programme quadratique, pour trouver les valeurs de remplacement parfaites pour chaque colonne. Comme la structure était la même pour chaque colonne, ils pouvaient résoudre des milliers de ces petits problèmes simultanément sur une seule puce informatique, plutôt que les uns après les autres.
Les chercheurs ont testé cette méthode sur plusieurs familles différentes de grands modèles de langage, incluant des modèles populaires comme LLaMA et Gemma. Ils ont appliqué leur technique à des modèles qui avaient déjà été élagués par d'autres méthodes existantes, agissant essentiellement comme un polissage final pour améliorer les résultats. Dans la plupart des cas, cette étape supplémentaire a rendu les modèles nettement plus précis. Par exemple, lorsqu'ils ont testé les modèles sur diverses tâches standards, la nouvelle méthode a amélioré le score moyen de près de quatre points dans certains scénarios difficiles, particulièrement lorsque les modèles étaient rendus très petits. La méthode a bien fonctionné à travers différents types de schémas d'élagage et de tailles de modèles, des plus petits modèles d'un milliard de paramètres jusqu'aux très grands modèles avec des milliards de paramètres. Il est important de noter que, bien que la méthode ait amélioré la précision, elle a mis plus de temps à s'exécuter que les méthodes les plus rapides existantes, nécessitant environ quarante heures pour traiter un modèle de huit milliards de paramètres sur une seule carte graphique haut de gamme. Cependant, les chercheurs ont souligné qu'il s'agit d'un coût unique effectué avant l'utilisation du modèle, et que le modèle résultant s'exécute aussi rapidement que la version élaguée originale.
L'étude a également souligné que cette approche n'est pas une solution miracle pour toutes les situations. Dans quelques cas spécifiques, la nouvelle méthode n'a pas amélioré la performance du modèle et l'a parfois même légèrement dégradée, suggérant que l'interaction entre la méthode d'élagage et l'étape de correction peut être complexe. De plus, les chercheurs ont constaté que la méthode fonctionne mieux lorsque l'élagage initial laisse beaucoup de place à l'amélioration, par exemple lorsque le modèle est rendu très parcimonieux (sparse). Ils ont également observé que le succès de la méthode dépend du type spécifique de modèle et de la manière dont l'élagage a été initialement effectué. Malgré ces limites, ce travail démontre qu'il est possible d'utiliser l'optimisation mathématique rigoureuse pour réparer les modèles élagués de manière à la fois pratique et évolutive. En décomposant un problème massif et impossible en des milliers de petites tâches parallèles, les chercheurs ont montré que nous pouvons garder les grands modèles de langage petits et efficaces sans sacrifier leur intelligence. Cela ouvre la porte à une intelligence artificielle plus capable, capable de fonctionner sur du matériel actuellement trop faible pour la supporter, rapprochant ainsi les outils de langage puissants d'un usage quotidien.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.