MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation
MAPLE est un framework prêt à l'emploi qui optimise l'efficacité des modèles préentraînés de type Mixture-of-Experts (MoE) en réallouant de manière analytique et génétique les budgets d'experts de façon hétérogène à travers les couches en fonction de la sensibilité, atteignant ainsi une précision supérieure et des réductions de latence significatives sans nécessiter de modifications de poids ou de réentraînement.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'intelligence artificielle moderne repose souvent sur de gigantesques cerveaux numériques appelés Transformers, qui traitent le langage en faisant passer l'information à travers une longue chaîne de couches. Imaginez ces couches comme une série de stations de traitement où le modèle apprend à comprendre le contexte, la grammaire et le sens. Ces dernières années, les ingénieurs ont rendu ces modèles plus efficaces en utilisant une conception appelée « Mixture-of-Experts » (Mélange d'Experts). Au lieu que chaque station utilise la même quantité de puissance de calcul, le modèle n'active que quelques sous-réseaux spécialisés, ou « experts », pour chaque fragment de texte qu'il lit. Cela permet au système d'être très vaste et capable sans nécessiter des quantités d'énergie impossibles à fournir pour fonctionner. Cependant, une règle standard a longtemps régi la manière dont ces experts sont utilisés : chaque couche de la chaîne est contrainte d'activer exactement le même nombre d'experts, peu importe si cette couche a réellement besoin de tant d'aide.
Une équipe de chercheurs de l'Université de Bristol a remis en question cette règle d'uniformité, proposant que les différentes couches d'un modèle d'IA aient des besoins très différents. Certaines couches sont hautement sensibles et nécessitent de nombreux experts pour fonctionner correctement, tandis que d'autres sont redondantes et peuvent fonctionner avec beaucoup moins d'entre eux sans perdre en précision. Ils ont développé une nouvelle méthode appelée MAPLE, qui fonctionne comme un outil « plug-and-play ». Cela signifie qu'elle peut être appliquée à des modèles pré-entraînés existants sans nécessiter de réentraînement ni de modification de leurs poids internes. Le système fonctionne en testant d'abord à quel point la performance de chaque couche chute si l'on réduit le nombre d'experts qu'elle utilise. Il utilise ensuite ces mesures pour créer une carte personnalisée, déplaçant le budget de calcul des couches qui peuvent s'en passer vers les couches qui en ont le plus besoin.
Les résultats de cette approche sont frappants. Lorsque les chercheurs ont testé MAPLE sur quatre grands modèles de langage différents, ils ont constaté que la simple redistribution des ressources existantes était plus efficace que de les utiliser toutes de manière uniforme. Dans un test spécifique utilisant un modèle appelé DeepSeek-MoE-16B, la nouvelle méthode a réussi à surpasser le modèle original, pleinement chargé, tout en n'utilisant que 75 % des experts disponibles. Sur plusieurs tests de raisonnement, la précision s'est nettement améliorée ; par exemple, sur une tâche de questions-réponses scientifiques, le score est passé de 65,09 à 71,40, et sur un test de raisonnement logique, il est passé de 48,49 à 51,50. Cela démontre que l'ancienne hypothèse d'uniformité freinait les modèles, et qu'une distribution plus intelligente et inégale de l'effort produit de meilleurs résultats.
Au-delà de l'obtention de réponses plus intelligentes, cette méthode rend également les modèles plus rapides et moins coûteux à exploiter. Parce que moins d'experts sont activés, l'ordinateur a moins de travail à accomplir pour chaque question à laquelle il répond. Lorsque les chercheurs ont implémenté MAPLE dans un système de service réel, ils ont mesuré une réduction de 32,2 % du temps nécessaire pour générer une réponse sur une seule carte graphique. Parallèlement, le système pouvait traiter 47,4 % de requêtes supplémentaires par seconde. Ces gains ont été obtenus sans modifier la structure centrale du modèle ni rejeter ses connaissances acquises ; le système a simplement appris à utiliser ses composants existants plus efficacement. Les chercheurs ont confirmé que cette amélioration n'était pas un coup de chance lié à un test spécifique, mais une découverte robuste qui se maintenait à travers différents types de tâches de raisonnement et même lorsque le modèle était mis à l'échelle vers le haut ou vers le bas.
L'étude a également exploré la manière dont cette méthode gère la tâche complexe du raisonnement multi-étapes, où le modèle doit générer une longue chaîne de pensée pour résoudre un problème. Même dans ces scénarios exigeants, le modèle redistribué a maintenu sa précision tout en réduisant le temps total nécessaire pour résoudre les problèmes de plus de moitié dans certains cas. Les chercheurs ont montré que la méthode est assez flexible pour fonctionner avec différents modèles et que le plan d'allocation qu'elle crée peut être réutilisé pour diverses tâches sans avoir besoin d'être recalculé à chaque fois. En prouvant qu'une approche de type « taille unique » est sous-optimale, ce travail offre une manière pratique et fondée de rendre les grands systèmes d'intelligence artificielle plus efficaces, plus puissants et prêts pour un déploiement dans le monde réel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.