Résumé Technique : MobileMoE : Mise à l'échelle du Mélange d'Experts sur Appareil

Énoncé du Problème

Bien que les architectures de Mélange d'Experts (MoE) soient devenues la norme pour mettre à l'échelle les modèles de langage (LLM) vers des centaines de milliards de paramètres sur des serveurs cloud, leur potentiel à des échelles inférieures au milliard pour le déploiement sur appareil reste largement inexploré. Les LLM existants sur appareil (par exemple, MobileLLM, MobileLLM-Pro) sont massivement denses, nécessitant une augmentation du nombre de paramètres actifs et de la puissance de calcul pour l'inférence afin d'améliorer la qualité. Cela crée un goulot d'étranglement pour l'IA de périphérie (edge AI), où les appareils font face à des contraintes strictes en matière de mémoire (DRAM) et de calcul (autonomie de la batterie, latence). Bien que les capacités de DRAM des smartphones récents aient augmenté (par exemple, 12–16 Go), une méthodologie rigoureuse pour mettre à l'échelle les architectures MoE sous ces contraintes mobiles spécifiques — en équilibrant la taille totale du modèle, les paramètres actifs et le coût d'inférence — n'a pas encore été établie.

Méthodologie

1. Loi de mise à l'échelle du MoE sur Appareil

Les auteurs formulent une loi de mise à l'échelle généralisée du MoE sur appareil pour optimiser conjointement l'architecture sous contraintes de mémoire et de calcul. La fonction de perte $L$ est modélisée comme une fonction des paramètres actifs ($N_{act}$), de la taille des données d'entraînement ($D$), d'une transformation monotone du nombre d'experts ($\hat{E}$), et des choix architecturaux ($x$, incluant la granularité des experts $g$ et les experts partagés $s$).

L'objectif d'optimisation minimise la perte sous réserve de :

• Contraintes de Calcul : FLOPs d'entraînement ($F_{train} = 6N_{act}D$) et FLOPs d'inférence par token ($F_{inf} = 2N_{act}$).
• Contraintes de Mémoire : Empreinte mémoire totale $M(N_{total}, T)$, qui inclut les poids quantifiés (en $b_w$-bits) et le cache KV (en $b_{kv}$-bits) à une longueur de contexte $T$.

2. Conception Architecturale par Diviser pour Régner

En utilisant la loi de mise à l'échelle, les auteurs identifient un « point idéal » optimal pour le MoE sur appareil grâce à trois études d'ablation contrôlées :

• Nombre d'Experts ($E$) : Une sparsité modérée est optimale. Augmenter $E$ réduit la perte mais avec des rendements décroissants au-delà de $E=8$. $E=8$ est sélectionné comme le point idéal pratique pour les appareils contraints par la mémoire.
• Granularité des Experts ($g$) : Des experts à granularité fine (divisant chaque expert en $g$ sous-experts) permettent des chemins de routage plus diversifiés. L'étude trouve $g=8$ comme la granularité optimale en termes de calcul, offrant une réduction significative de la perte par rapport aux experts à granularité grossière sans engendrer de surcharge excessive.
• Expert Partagé ($s$) : L'intégration d'un expert partagé, toujours actif (un chemin dense), complète les spécialistes routés. La configuration avec un expert partagé ($s=\checkmark$) atteint une perte inférieure à celle de la contrepartie uniquement routée sous un calcul fixe.

Architecture Résultante : La famille MobileMoE dérivée se compose de trois échelles (S, M, L) avec des paramètres actifs de 0,3 Md, 0,5 Md et 0,9 Md, et des paramètres totaux de 1,3 Md, 2,8 Md et 5,3 Md, respectivement. La conception utilise $E=8$, $g=8$ (64 experts routés à granularité fine) et un expert partagé avec un routage top-4.

3. Recette d'Entraînement en Quatre Étapes

Pour réaliser les avantages architecturaux, un pipeline d'entraînement complet est employé sur des jeux de données open-source :

1. Pré-entraînement : ~6T de tokens avec un mélange riche en contenu web pour assurer une couverture linguistique large et une spécialisation des experts. Les techniques incluent un équilibrage sans perte auxiliaire, une perte z du routeur (router z-loss) et des noyaux MLP groupés (GMM) pour l'efficacité.
2. Mi-entraînement : ~500 Md de tokens se concentrant sur des données de haute qualité spécifiques à un domaine (mathématiques, code, connaissances) pour étendre le contexte à 8k et affiner la spécialisation des experts.
3. Affinement par Instructions (SFT) : ~80 M d'échantillons à travers divers domaines en utilisant une distribution de tokens sans perte (dropless token dispatching) pour préserver les signaux d'instructions structurés.
4. Entraînement Conscient de la Quantification (QAT) : Quantification des poids en INT4 (taille de groupe 32) avec des activations dynamiques en INT8. Crucialement, les poids du routeur sont maintenus en FP32 pour assurer la stabilité du routage, ajoutant une surcharge mémoire négligeable.

4. Inférence Efficace sur Appareil

Pour combler l'écart vers le déploiement, les auteurs implémentent un noyau MoE fusionné personnalisé dans ExecuTorch. Ce noyau :

• Convertit la distribution d'experts sparse en GEMM groupés denses en réorganisant les tokens.
• Fusionne toutes les sous-opérations (routage, distribution, projections, activation, dispersion) en un seul opérateur pour amortir la surcharge de lancement de noyau et de quantification.
• Permet une inférence efficace sur les CPU de smartphones grand public (Snapdragon 8 Elite, Apple A18 Pro) et les GPU.

Résultats Clés

Performance sur les Benchmarks

Sur 14 benchmarks fondamentaux (bon sens, connaissances, sciences, lecture, raisonnement), MobileMoE établit une nouvelle frontière de Pareto :

• Efficacité vs Modèles Denses : MobileMoE-S/M égalent ou dépassent les LLM denses sur appareil de premier plan (par exemple, MobileLLM-Pro, Llama 3.2 1B) en utilisant 2–4× moins de FLOPs d'inférence pour des empreintes mémoire comparables.
• Efficacité vs Modèles MoE : MobileMoE-M égalise la précision de l'état de l'art OLMoE-1B-7B avec ~60 % de paramètres actifs et totaux en moins. MobileMoE-L dépasse OLMoE-1B-7B avec 30 % de paramètres actifs en moins et une empreinte mémoire réduite de 23 %.
• Efficacité des Tokens : MobileMoE-L atteint des performances supérieures avec seulement ~6T de tokens de pré-entraînement, surpassant les bases denses entraînées sur 1,5–2× plus de tokens (par exemple, Llama 3.2 1B à 9T).

Profilage d'Exécution sur Appareil

Déployé sur Samsung Galaxy S25 et iPhone 16 Pro avec des poids INT4 :

• Latence : MobileMoE-S réalise un préremplissage 1,8–3,8× plus rapide et un décodage 2,2–3,4× plus rapide par rapport à la base dense MobileLLM-Pro pour une mémoire de poids INT4 comparable.
• Mémoire : À un contexte de 8k, MobileMoE-S consomme jusqu'à 22 % de RAM de pointe en moins que la base dense. MobileMoE-L tient dans 5 Go de DRAM à un contexte de 8k, confirmant la faisabilité pour les smartphones modernes.
• Précision : MobileMoE-L délivre une précision nettement supérieure (Moyenne 57,8 contre 45,5 pour MobileLLM-Pro) avec un coût d'exécution modéré seulement, qui diminue à mesure que la longueur du contexte augmente.

Importance et Revendications

L'article revendique présenter la première famille MoE active inférieure au milliard optimisée spécifiquement pour le déploiement sur périphérie, dérivée d'une nouvelle loi de mise à l'échelle sur appareil. Son importance réside dans trois contributions principales :

1. Fondement Théorique : Il fournit un cadre rigoureux pour la conception de MoE sous contraintes conjointes de mémoire et de calcul, identifiant une sparsité modérée ($E=8$), des experts à granularité fine ($g=8$) et des experts partagés comme la configuration optimale pour les appareils mobiles.
2. Efficacité de l'Entraînement : Il démontre que les architectures MoE peuvent atteindre des performances sur appareil de l'état de l'art avec significativement moins de tokens d'entraînement (~6T) par rapport aux contreparties denses, validant l'efficacité d'apprentissage du MoE à des échelles inférieures au milliard.
3. Déploiement Pratique : Il comble le « dernier kilomètre » vers le déploiement mobile en fournissant la première inférence MoE efficace sur des smartphones grand public. Les résultats confirment que le MoE n'est pas seulement une architecture à l'échelle cloud, mais une voie pratique et efficace pour l'IA de périphérie de nouvelle génération, permettant des applications à faible latence, respectueuses de la vie privée et rentables sur les smartphones et les appareils portables.

Les auteurs concluent que, bien que les modèles existants sur appareil restent majoritairement denses, MobileMoE démontre que le MoE offre une alternative supérieure pour la périphérie, établissant une nouvelle frontière de Pareto qui équilibre précision, mémoire et latence.