🤖 machine learning

DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices

Cet article présente DECO, une architecture de mélange d'experts épars qui atteint des performances comparables à celles des modèles denses avec seulement 20 % d'activation d'experts et un gain de vitesse d'inférence de 3,00× sur les appareils embarqués, en exploitant un routage basé sur ReLU, un redimensionnement par expert apprenable et une nouvelle fonction d'activation NormSiLU.

Auteurs originaux : Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez un restaurant immense et haut de gamme. Vous souhaitez servir la meilleure nourriture possible (haute performance) au plus grand nombre de clients, mais vous êtes soumis à deux règles strictes :

Coût faible : Vous ne pouvez pas vous permettre d'avoir chaque chef cuisinant chaque plat pour chaque client (faible calcul).
Petite cuisine : Vous n'avez pas assez d'espace pour stocker chaque livre de recettes et chaque ingrédient pour chaque chef (petit stockage).

Pendant longtemps, la norme de l'industrie consistait à embaucher une énorme équipe de chefs (un modèle « Dense ») où chacun essaie de tout cuisiner. Cela a un goût excellent mais est incroyablement coûteux et nécessite une cuisine gigantesque.

Ensuite, les gens ont essayé une approche « Mélange d'Experts » (MoE). C'est comme avoir une énorme équipe de 100 chefs spécialisés, mais pour chaque commande, vous ne réveillez que 20 d'entre eux pour cuisiner. Cela économise du temps de cuisson. Cependant, vous devez toujours garder les recettes et les ingrédients des 100 chefs dans votre cuisine. Si votre cuisine est petite (comme un téléphone ou un ordinateur portable), vous manquez d'espace, et le temps passé à courir en arrière et en avant pour récupérer les ingrédients du bon chef ralentit tout.

Voici DECO.

Les auteurs de cet article ont créé un nouveau design de restaurant appelé DECO. Leur objectif était de construire une cuisine « éparses » (où seuls quelques chefs travaillent à la fois) qui a un goût aussi bon que la cuisine géante « dense », mais qui tient dans un tout petit espace et fonctionne rapidement.

Voici comment ils l'ont fait, en utilisant des analogies simples :

1. Le Serveur Intelligent (Le Routeur)

Dans un restaurant MoE normal, le serveur (le routeur) est un peu rigide. Il pourrait dire : « Pour chaque table, exactement 2 chefs doivent cuisiner. »

L'innovation de DECO : Ils ont donné au serveur un outil flexible et différentiable (appelé routage basé sur ReLU). Désormais, le serveur peut examiner la commande spécifique et décider : « Ce plat a besoin de 3 chefs » ou « Celui-ci n'en a besoin que d'un ». C'est une décision fluide basée sur la nourriture, pas une règle rigide.
Le facteur d'échelle : Parfois, un chef est naturellement plus fort ou plus bruyant qu'un autre. DECO donne au serveur un ensemble de boutons de volume réglables (mise à l'échelle apprenable) pour chaque chef. Si le Chef A est naturellement plus calme, le serveur monte son volume afin que sa contribution soit équilibrée avec celle des chefs plus bruyants.

2. Les Chefs Spécialisés (Les Experts)

Les chefs de DECO sont conçus différemment pour être plus stables.

Le Tablier "NormSiLU" : Les auteurs ont remarqué que lorsque les chefs utilisent un tablier standard (fonction d'activation), ils sont parfois confus ou arrêtent complètement de travailler (signaux qui s'évanouissent). Ils ont inventé un nouveau tablier appelé NormSiLU. Imaginez cela comme un uniforme spécial qui calibre l'énergie du chef avant qu'il ne commence à cuisiner. Cela maintient sa production stable et l'empêche de s'épuiser ou de devenir trop silencieux.
Pas de Gardiens : La plupart des restaurants utilisent un chef « gardien » qui décide si le chef principal doit même commencer à cuisiner. DECO a constaté que pour son serveur flexible, il est en fait préférable de supprimer le gardien. Les chefs travaillent mieux lorsqu'ils peuvent simplement commencer à cuisiner sur le signal du serveur, sans une couche supplémentaire de « permission ».

3. Le Résultat : Le "Triangle Idéal"

L'article affirme que DECO réalise un « graal » de trois choses simultanément :

Haute Performance : Cela a un goût aussi bon que le restaurant géant et coûteux (modèles Denses).
Coût Faible : Il n'utilise que 20 % des chefs à tout moment, économisant d'énormes quantités d'énergie.
Petit Stockage : Parce que le design est si efficace, la « surface au sol » totale de la cuisine (paramètres totaux) est suffisamment petite pour tenir sur des appareils de bord comme les téléphones, sans avoir besoin d'échanger constamment les ingrédients en et hors du stockage.

4. La Preuve

Tests de Goût : Lorsqu'ils ont testé DECO contre d'autres modèles, il a égalé les performances des modèles « Denses » géants et surpassé les autres modèles « Epars », tout en utilisant la même quantité de données d'entraînement et d'ingrédients totaux.
Vitesse : Ils ont construit un moteur personnalisé (noyau d'accélération) pour faire fonctionner ce restaurant. Sur du matériel réel (comme une carte graphique haut de gamme et un appareil Jetson), DECO était 3 fois plus rapide que la méthode standard d'exécution de ces modèles.

Le Problème (Limites)

Les auteurs sont honnêtes sur ce qu'ils n'ont pas encore testé. Ils n'ont pas essayé ce design de restaurant pour le « fine-tuning » (enseigner aux chefs de nouvelles compétences spécifiques après l'entraînement principal) ou l'apprentissage par renforcement (les enseigner par essais et erreurs). Ils soupçonnent qu'il pourrait y avoir une certaine instabilité là-bas, ils construisent donc actuellement une version plus grande pour tester ces scénarios spécifiques.

En résumé : DECO est une réinvention intelligente du fonctionnement des modèles d'IA. Il prouve que vous n'avez pas besoin d'une cuisine géante et gonflée pour obtenir une excellente nourriture. Avec le bon serveur, les bons uniformes et une approche flexible, vous pouvez obtenir les mêmes résultats de haute qualité avec une cuisine minuscule, rapide et efficace.

Résumé technique : DECO – Mélange d'experts avec parcimonie et performances comparables aux modèles denses sur les appareils de périphérie

Énoncé du problème
Bien que les architectures de Mélange d'Experts (MoE) permettent de mettre à l'échelle la capacité des modèles sans augmenter proportionnellement le calcul, elles souffrent traditionnellement d'une empreinte paramétrique totale massive. Cela crée des goulots d'étranglement significatifs en matière de stockage et d'accès à la mémoire, entravant le déploiement efficace sur les appareils de périphérie, qui nécessitent des performances élevées, un faible coût de calcul et une surcharge de stockage minimale. Les recherches existantes sur les MoE privilégient souvent les performances et le faible calcul, mais négligent l'objectif de « surcharge de stockage ». De plus, de nombreux modèles MoE obtiennent leurs résultats en s'entraînant sur substantiellement plus de tokens que les modèles denses de base, sous le même budget de calcul, plutôt qu'en correspondant au nombre exact de tokens. L'article pose la question suivante : Un modèle MoE parcimonieux peut-il atteindre des performances comparables à un modèle dense, étant donné le même budget paramétrique total et le même nombre de tokens d'entraînement ?

Méthodologie
Les auteurs proposent DECO (DEnse-COmparable), une architecture MoE parcimonieuse conçue pour égaler les performances des Transformers denses dans des contraintes identiques. L'architecture repose sur trois piliers de conception fondamentaux :

Conception du routeur :
- Routage basé sur ReLU : Contrairement au routage TopK non différentiable conventionnel, DECO emploie un routage basé sur ReLU. Cela permet des ratios d'activation flexibles dépendant du token et une apprendabilité fluide.
- Mise à l'échelle du routeur par expert apprenable : Pour résoudre les déséquilibres d'échelle de sortie entre les experts partagés et routés et accommoder l'hétérogénéité des experts, DECO remplace les facteurs d'échelle scalaires fixes par des facteurs d'échelle vectorisés apprenables ( $\alpha$ ). Cela calibre la contribution des experts routés individuels.
Conception des experts :
- Activation NormSiLU : Les auteurs identifient que le couplage d'un routage basé sur ReLU avec des experts activés par SiLU standard entraîne une augmentation des ratios d'activation et une disparition des magnitudes de sortie. Pour résoudre cela, ils introduisent NormSiLU, qui applique une normalisation à double étape avant l'opérateur SiLU :
  - Normalisation de la moyenne inter-experts : Centre les poids de projection ascendante des experts autour de zéro.
  - Normalisation RMS intra-experts : Maintient des magnitudes d'activation cohérentes.
    Cela stabilise les tendances d'activation, réduit le besoin d'une régularisation de parcimonie agressive et assure une utilisation robuste des paramètres.
- Experts MLP non à porte : Contrairement à la préférence standard pour les MLP à porte (SwiGLU), DECO utilise des experts MLP non à porte. Les résultats empiriques montrent que les experts non à porte présentent des tendances de ratios d'activation plus stables lorsqu'ils sont associés à un routage basé sur ReLU, tandis que les variantes à porte souffrent de dynamiques d'activation instables et en hausse, nécessitant une régularisation lourde.
Régularisation de parcimonie adaptative :
- DECO emploie une régularisation de parcimonie adaptative basée sur l'entropie du routeur. Contrairement aux coefficients statiques, la force de régularisation ( $\lambda$ ) est mise à l'échelle dynamiquement en fonction du niveau de parcimonie actuel par rapport à l'objectif, assurant un ratio d'activation stable centré précisément au niveau souhaité.

Résultats clés
Des expériences ont été menées sur quatre échelles de paramètres (de 0,11 Md à 1,18 Md) avec un nombre de tokens d'entraînement fixe (environ 40 fois le nombre de paramètres) et un ratio d'activation d'experts routés de 20 %.

Comparabilité dense : DECO atteint une parité de performance avec les modèles de base Transformers denses (utilisant des FFN SwiGLU) en termes de Perplexité (PPL) sur l'ensemble de validation C4 et de précision moyenne sur les benchmarks de raisonnement de bon sens, malgré l'activation de seulement 20 % des experts.
Supériorité sur les modèles de base MoE : DECO surpasse les modèles de base MoE établis (TopP, DeepSeek-V3, ReMoE, BlockFFN) de la même échelle et du même ratio d'activation.
Insights des ablations :
- La mise à l'échelle par expert apprenable améliore significativement les performances par rapport à une mise à l'échelle fixe ou scalaire, résolvant l'hétérogénéité observée dans les normes de sortie des experts.
- NormSiLU est critique ; la suppression de ses étapes de normalisation entraîne une hausse des ratios d'activation et une disparition des sorties SiLU, dégradant les performances.
- Les experts non à porte sont supérieurs aux experts à porte spécifiquement dans le contexte du routage basé sur ReLU.
Accélération matérielle : Un noyau d'accélération spécialisé exploitant CUTLASS et les cœurs tensoriels a été implémenté. Sur du matériel réel (NVIDIA RTX 4090 et Jetson AGX), DECO a réalisé un accélération de 3,00× par rapport à l'inférence dense standard en exploitant l'activation parcimonieuse pour réduire la surcharge d'accès à la mémoire.

Signification et revendications
L'article revendique que DECO réalise avec succès le « triangle idéal » du déploiement MoE sur périphérie : haute performance, faible coût de calcul et faible surcharge de stockage. Sa signification réside dans la démonstration que les modèles MoE parcimonieux peuvent égaler les performances denses sans nécessiter de tokens d'entraînement excessifs ni d'empreintes paramétriques massives.

Les auteurs attribuent ce succès à une révision fondamentale de la conception MoE qui aligne le mécanisme de routage (basé sur ReLU), l'activation des experts (NormSiLU) et la structure des experts (non à porte) pour créer une dynamique d'entraînement stable. Ils notent que la comparabilité avec les modèles denses est conditionnelle, reposant sur des facteurs tels que le ratio d'activation, la granularité des experts et l'hétérogénéité des données. L'article suggère que les ensembles de données à haute entropie et multi-domaines sont particulièrement adaptés à cette architecture parcimonieuse, car le modèle peut activer efficacement des sous-ensembles de paramètres spécialisés pour différentes tâches.

Limites
Les auteurs reconnaissent qu'ils n'ont pas encore évalué DECO lors des étapes de fine-tuning supervisé (SFT) ou d'apprentissage par renforcement (RL), où les architectures MoE peuvent faire face à des défis uniques comme l'instabilité du routeur. De plus, les lois d'échelle pour le seuil de ratio d'activation requis pour la comparabilité dense à travers des tailles de modèles plus grandes et des distributions de données diverses nécessitent une investigation supplémentaire.