🤖 machine learning

When Does Sparse MoE Help in Vision? The Role of Backbone Compute Leverage in Sparse Routing

Cet article examine les conditions dans lesquelles le routage de mélanges d'experts (MoE) clairsemé améliore la classification visuelle, révélant que les gains positifs de précision dépendent d'une fraction substantielle de calcul étant routée et d'une sélection multi-experts, tout en identifiant l'acheminement selon l'axe des lots comme un mode de défaillance critique dans les configurations CNN par échantillon.

Auteurs originaux : Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez une usine massive et ultra-rapide qui trie des milliers d'objets différents chaque seconde. Pour rendre cette usine plus rapide et plus intelligente, vous décidez d'embaucher une équipe de 8 experts spécialisés (un « Mélange d'Experts » ou MoE). Au lieu que chaque expert examine chaque objet individuellement, vous souhaitez qu'un gestionnaire intelligent (le « routeur ») n'envoie chaque objet qu'à l'un ou deux experts les mieux adaptés pour le traiter. Cela semble être un excellent moyen d'économiser de l'énergie et du temps, n'est-ce pas ?

Ce document pose une question très précise : Dans quels cas cette approche d'« équipe de spécialistes » fonctionne-t-elle réellement mieux que d'avoir un seul travailleur généraliste géant qui fait tout ?

Les auteurs ont découvert que la réponse dépend entièrement de la proportion du travail total de l'usine qui est réellement confiée à ces spécialistes.

Voici le détail utilisant des analogies simples :

1. Le problème « Tête vs Corps »

Considérez un modèle de vision par IA comme un corps humain.

Le Squelette (Corps) : C'est le gros œuvre. Ce sont les muscles et le squelette qui traitent l'image brute (comme la reconnaissance des formes et des contours). Dans la plupart des modèles de vision par ordinateur, cette partie effectue 99 % du travail.
La Tête (Cerveau) : C'est l'étape finale où le modèle décide : « Est-ce un chat ou un chien ? ». Cette partie effectue généralement moins de 1 % du travail.

La grande découverte du document :
Si vous ne laissez l'« équipe de spécialistes » (le MoE) gérer que la Tête (la décision finale), c'est comme embaucher une équipe de 8 chirurgiens du cerveau pour décider quoi manger pour le déjeuner. Même s'ils sont parfaits, ils ne vous font gagner qu'une infime fraction du temps total car le « Corps » (le gros œuvre) effectue encore presque tout le travail.

Résultat : Lorsque les spécialistes ne gèrent que la décision finale (moins de 1 % du travail), le système devient en réalité plus lent et moins précis. La surcharge liée à la gestion de l'équipe est trop élevée par rapport à la minuscule quantité de travail qu'ils économisent.

2. Le raccourci « Depthwise »

Pour résoudre ce problème, les auteurs ont essayé une disposition d'usine différente appelée Convolutions Séparables en Profondeur.

Analogie : Imaginez que l'usine standard utilise de lourdes convoyeurs larges qui déplacent tout en même temps. La disposition « Depthwise » utilise des convoyeurs étroits et efficaces qui déplacent les objets un par un.
L'effet : Cela modifie les mathématiques de sorte que la « Tête » (la décision finale) devient une part beaucoup plus importante du travail total — près de 50 % dans certains cas.
Le résultat : Maintenant, lorsque vous envoyez des objets à votre équipe de spécialistes, vous économisez réellement une quantité massive de travail. Dans ce scénario, le système MoE brille. Il devient à la fois plus rapide et plus précis car les spécialistes gèrent une part significative de la production de l'usine.

3. La règle « Un contre Plusieurs »

Le document a constaté que la simple présence de spécialistes ne suffit pas ; vous devez également leur permettre de collaborer.

L'expérience : Sur le grand jeu de données ImageNet, les auteurs ont testé deux scénarios avec exactement la même configuration, en ne changeant qu'une seule chose :
- Scénario A : Le gestionnaire envoie l'objet à un expert.
- Scénario B : Le gestionnaire envoie l'objet à deux experts qui votent pour la réponse.
Le résultat : Lorsque l'objet était envoyé à un seul expert, le système échouait (la précision baissait). Lorsqu'il était envoyé à deux experts, le système réussissait (la précision augmentait).
À retenir : À grande échelle, vous avez besoin d'un « comité » (plusieurs experts) pour bien faire le travail, pas d'un seul spécialiste.

4. L'erreur du « Regroupement » (Batching)

Le document a également examiné d'autres méthodes populaires (comme le « Soft MoE ») qui échouaient dans les tâches de vision.

L'analogie : Imaginez un enseignant qui corrige des copies.
- L'erreur : L'enseignant saisit une pile entière de 64 copies d'élèves différents, les mélange toutes ensemble et tente de corriger la copie « moyenne ». Cela détruit les détails uniques du travail de chaque élève.
- La solution : Le document a montré que si l'enseignant corrige la copie de chaque élève individuellement (même en utilisant une méthode souple et flexible), les résultats s'améliorent considérablement.
À retenir : Dans la classification d'images, vous devez traiter chaque image comme un individu unique. Vous ne pouvez pas les moyenner avant de les envoyer aux experts.

Résumé des conclusions

Le document conclut que le « MoE Épars » (utilisation d'une équipe de spécialistes) est un outil puissant, mais uniquement sous des conditions spécifiques :

Les spécialistes doivent faire le gros œuvre : Vous ne pouvez pas les utiliser uniquement pour la toute dernière étape. Ils doivent gérer une grande part (environ 30-50 %) du travail de calcul total.
Vous avez besoin d'un « Comité » : À grande échelle, envoyer un objet à plusieurs experts (k ≥ 2) est nécessaire pour réussir.
Ne mélangez pas le lot : Vous devez traiter les images individuellement, et non comme un groupe mélangé.

L'essentiel :
Si vous essayez d'utiliser une équipe de spécialistes pour un tout petit travail dans une usine géante, vous créerez simplement un goulot d'étranglement. Mais si vous restructurez l'usine pour que les spécialistes gèrent la majeure partie du travail, et que vous leur permettez de travailler en petits comités, vous obtenez un système à la fois plus intelligent et plus efficace.

Note : Le document mentionne également que, bien que leur système soit mathématiquement efficace (moins de calculs), leur implémentation logicielle actuelle est lente en temps réel en raison de la façon dont le code informatique est écrit. Ils suggèrent qu'avec un meilleur génie logiciel (fusion du code), la vitesse correspondrait aux mathématiques.

Résumé Technique : Quand les MoE Épars Aident-ils en Vision ?

1. Énoncé du Problème

Les réseaux de type Mélange d'Experts (MoE) offrent une voie théorique vers des compromis favorables entre précision et coût de calcul en acheminant les entrées via des sous-réseaux spécialisés. Bien que le routage épars ait connu une mise à l'échelle réussie dans les modèles de langage et certaines applications de vision, le déploiement pratique dans la classification d'images se heurte à deux obstacles persistants :

Déséquilibre de Calcul : Dans les architectures de vision standard, le backbone convolutif partagé domine le coût de calcul total (FLOPs). Par conséquent, la tête de classification (où le MoE est souvent placé) ne représente qu'une fraction négligeable du calcul total (souvent <0,1 %). Même avec un routage parfait, l'opportunité structurelle de réduire le coût de bout en bout est minime, ce qui émousse l'incitation à affiner les mécanismes de routage.
Effondrement des Experts : Les routeurs ont tendance à s'effondrer sur un sous-ensemble d'experts, compromettant la spécialisation que le MoE est censé atteindre.

L'article examine les conditions spécifiques selon lesquelles le routage top- $k$ épars avec des contraintes de capacité strictes génère réellement des gains de précision dans la classification d'images, dépassant ainsi l'hypothèse selon laquelle le MoE serait universellement bénéfique.

2. Méthodologie

Les auteurs proposent une étude empirique contrôlée pour isoler les variables déterminant la performance du MoE en vision.

Architecture et Routage

Backbones : L'étude utilise des backbones convolutifs standards et des convolutions séparables en profondeur (DW). Les convolutions en profondeur sont utilisées non seulement pour l'efficacité, mais pour rapprocher le rapport des FLOPs tête-vers-backbone de la parité, augmentant ainsi la fraction du calcul total pouvant être routée ( $\rho$ ).
Routeur Épars : Les entrées sont acheminées via un routeur appris combinant des logits appris et un terme de similarité de clé ( $\cos(Kh, e_i)$ ).
Contraintes de Capacité Stricte : Pour prévenir l'effondrement des experts, les auteurs imposent des limites de capacité strictes par lot (suivant Switch Transformer), garantissant une répartition équilibrée entre les $E$ experts durant l'entraînement.
Objectif d'Entraînement : La perte combine l'entropie croisée avec des régularisateurs d'équilibre de charge et d'entropie. Un calendrier de température (linéaire ou sigmoïde) est utilisé pour recuire la distribution de routage.

Conception Expérimentale

L'étude emploie un protocole multi-jeux de données (CIFAR-10/100, Tiny-ImageNet, ImageNet-1K) avec les expériences contrôlées suivantes :

Balayage $\rho$ (CIFAR-10) : Un balayage de la taille cachée sur des backbones standards et en profondeur pour varier la fraction routée des FLOPs totaux ( $\rho$ ) tout en maintenant les autres facteurs constants.
Ablation de la Largeur de Routage (ImageNet-1K) : Une expérience variant uniquement la sélection top- $k$ ( $k=1$ vs $k=2$ ) tout en maintenant l'architecture, l'initialisation et $\rho$ fixes.
Diagnostic de Répartition : Une comparaison entre le Soft MoE standard (qui répartit sur la dimension du lot) et une variante par échantillon proposée (qui applique un softmax sur les experts par image) pour isoler les modes d'échec de la répartition.
Intégration au Backbone : Le placement de couches MoE directement au sein des convolutions du backbone (Couches 3/4 de ResNet-18) pour tester des régimes à fort $\rho$ .

3. Résultats Clés

Le Modèle de Levier de Calcul

L'observation centrale est un modèle de « levier de calcul » : des écarts de précision positifs entre le MoE et les bases denses nécessitent qu'une fraction substantielle $\rho$ des FLOPs totaux soit routée.

Faible $\rho$ (Tête uniquement) : Lorsque la tête routée représente une fraction négligeable du calcul total (par exemple, $\rho < 1\%$ sur ImageNet avec des backbones standards), le routage épars dégrade systématiquement les performances, quel que soit le type de backbone.
Fort $\rho$ (En profondeur/Backbone) : Lorsque des convolutions en profondeur sont utilisées pour augmenter $\rho$ (par exemple, à $\sim49\%$ sur CIFAR) ou lorsque le MoE est intégré dans le backbone ( $\rho \approx 38\%$ sur ImageNet), des écarts de précision positifs émergent.

Nécessité du Routage Multi-Experts à Grande Échelle

À l'échelle d'ImageNet, un $\rho$ élevé est nécessaire mais pas suffisant.

Une ablation contrôlée sur ImageNet-1K avec une architecture et un $\rho$ fixes a montré que le passage de $k=1$ (expert unique) à $k=2$ (multi-experts) inversait l'écart de précision de $-2,08\%$ à $+1,17\%$ sur les cinq graines.
Cela indique qu'à grande échelle, router simplement une grande fraction de calcul est insuffisant ; le modèle doit exploiter plusieurs experts simultanément pour réaliser des gains.

Stabilité du Routage et Modes d'Échec

Calendrier de Température : Un recuit linéaire agressif de la température peut provoquer un effondrement du routage en phase tardive. Des calendriers sigmoïdes ou des températures minimales plus élevées ( $\tau_{min}$ ) sont nécessaires pour la stabilité.
Mécanisme de Répartition : Le Soft MoE standard, qui moyenne les tokens sur la dimension du lot, s'effondre de manière catastrophique dans les configurations CNN par échantillon car il mélange des images non liées. Une variante par échantillon (softmax sur les experts par image) sauve les performances sur CIFAR-100 mais échoue à surpasser les bases denses sur Tiny-ImageNet et ImageNet-1K, suggérant qu'un ensemencement pondéré sans routage strict est insuffisant à grande échelle.

Efficacité vs Latence

FLOPs : L'étude confirme que les backbones en profondeur permettent des réductions significatives de FLOPs (jusqu'à 22,7 % sur CIFAR-10) tout en maintenant ou améliorant la précision.
Latence : L'implémentation non fusionnée souffre d'une latence horloge élevée due aux surcoûts de lancement de noyaux par expert (boucles Python et appels CUDA séquentiels). Bien que les FLOPs soient plus faibles, la latence est nettement supérieure à celle des bases denses (par exemple, 36 ms contre 0,25 ms sur CIFAR-100). Les auteurs notent que des noyaux MoE fusionnés pourraient théoriquement combler cet écart, mais leur implémentation actuelle sert de borne supérieure sur le coût de production.

4. Contributions

Observation Empirique du Levier de Calcul : Établit que des écarts de précision MoE positifs en vision nécessitent une fraction routée substantielle $\rho$ . Les backbones en profondeur facilitent cela en rapprochant $\rho$ de la parité.
Isolation des Variables : Deux expériences contrôlées démontrent que :
- La famille de backbone (standard vs en profondeur) n'est pas la variable active ; c'est plutôt la fraction routée $\rho$ qui détermine le résultat.
- À l'échelle d'ImageNet, le routage multi-experts ( $k \ge 2$ ) est une condition nécessaire en plus d'un $\rho$ élevé.
Validation Multi-Jeux de Données : Fournit des résultats statistiquement significatifs sur CIFAR-10/100, Tiny-ImageNet et ImageNet-1K, montrant que l'optimisation conjointe avec des convolutions en profondeur génère des écarts positifs à plus petite échelle et lorsque le MoE est intégré au backbone.
Analyse de Stabilité du Routage : Identifie le calendrier de température comme un levier critique pour prévenir l'effondrement et diagnostique la répartition sur l'axe du lot comme le mode d'échec dominant du Soft MoE dans les CNN par échantillon.

5. Importance et Revendications

L'article prétend fournir une explication rigoureuse et contrôlée de quand le MoE épars aide en vision, contredisant l'idée que le MoE est une amélioration universelle à intégrer. Les auteurs soutiennent que l'échec du MoE dans de nombreux déploiements de vision n'est pas dû au mécanisme de routage lui-même, mais au déséquilibre structurel de calcul où le composant routé est trop petit pour justifier la surcharge ou la complexité du routage.

L'étude conclut que pour la classification d'images :

Une fraction substantielle des FLOPs totaux doit être routée pour observer des bénéfices.
À grande échelle (ImageNet), router une grande fraction est nécessaire mais requiert une sélection multi-experts ( $k \ge 2$ ) pour être suffisant.
Les convolutions séparables en profondeur sont un facilitateur pratique pour cette condition en déplaçant la distribution des FLOPs.

Les auteurs restent modestes concernant les performances absolues, notant que leurs modèles utilisent des recettes d'entraînement de base (augmentations standards, sans AdamW/CutMix) par rapport aux bases denses de l'état de l'art. Leur contribution principale est l'amélioration relative du MoE par rapport à des bases denses appariées dans des conditions contrôlées, isolant l'effet du routage des confusions liées aux recettes d'entraînement. Ils reconnaissent que les pénalités de latence actuelles dépendent de l'implémentation et que des noyaux fusionnés sont requis pour une efficacité de déploiement pratique.