MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping

MoDES est un cadre d'inférence sans entraînement qui accélère les modèles de langage multimodaux à mélange d'experts (MLLMs) en introduisant un mécanisme de commutation d'experts dynamique et adaptatif, basé sur une pondération globale et un seuillage dual, permettant de réduire considérablement la surcharge computationnelle tout en préservant, voire en améliorant, les performances sur divers benchmarks.

L'essentiel

🌟 Le Problème : Un Orchestre Trop Bruyant

Imaginez que les grands modèles d'intelligence artificielle (comme ceux qui voient des images et parlent) sont de gigantesques orchestres.
Pour répondre à une question, l'orchestre entier joue. Mais dans les modèles modernes (appelés "MoE" ou Mixture of Experts), il y a des centaines de musiciens (des "experts") qui ne jouent pas tous en même temps. À chaque note (chaque mot ou pixel), un chef d'orchestre (le "routeur") choisit seulement quelques musiciens pour jouer.

Le souci ? Même si on ne fait jouer que quelques musiciens, le chef d'orchestre passe encore beaucoup de temps à vérifier tous les musiciens disponibles pour décider qui jouer. C'est comme si vous deviez ouvrir la porte de 100 pièces pour en choisir une seule, même si vous savez que la plupart sont vides. Cela rend l'IA lente et gourmande en énergie.

🚀 La Solution : MoDES (Le Chef d'Orchestre Intuitif)

Les chercheurs ont créé MoDES, un nouveau système qui agit comme un chef d'orchestre ultra-intelligent et rapide. Au lieu de vérifier tout le monde, il saute directement les musiciens inutiles avant même de commencer.

Voici comment il fonctionne, avec deux astuces magiques :

1. La Carte des "Super-Héros" (GMLG)

Dans un orchestre, certains musiciens sont plus importants que d'autres selon le moment de la chanson.

• L'ancienne méthode : Le chef regardait juste qui était le plus fort à l'instant T pour décider qui jouer.
• La méthode MoDES : Le chef sait que certains musiciens sont cruciaux au début de la chanson (les couches profondes de l'IA) et d'autres sont plus importants à la fin. Il a une carte de l'importance globale.
• L'analogie : C'est comme si vous saviez que pour construire une maison, les fondations (les couches du début) sont vitales. Si vous sautez un maçon sur les fondations, la maison s'effondre. Mais si vous sautez un peintre à la fin, ce n'est pas grave. MoDES sait exactement où il peut faire des économies sans casser la maison.

2. La Différence entre "Texte" et "Image" (DMT)

C'est ici que MoDES devient vraiment brillant pour les images et les vidéos.

• Le problème : Les mots (texte) et les images (vision) se comportent différemment. Les images sont souvent très redondantes (beaucoup de pixels disent la même chose), tandis que les mots sont très précis.
• L'ancienne méthode : On traitait tout de la même façon, comme si un pixel et un mot étaient identiques.
• La méthode MoDES : Elle utilise deux seuils différents.
  • Pour les images, elle dit : "On peut sauter beaucoup de musiciens, l'orchestre ne s'en rendra pas compte !" (C'est comme enlever des instruments de fond dans une chanson pop).
  • Pour le texte, elle dit : "Attention, chaque mot compte, on ne saute que très peu de musiciens."
• L'analogie : C'est comme si vous aviez deux règles de tri. Pour les photos, vous jetez 80% des détails inutiles. Pour un contrat juridique, vous ne jetez que 10% des mots.

⚡ Le Résultat : Plus Vite, Sans Perte de Qualité

Grâce à ces deux astuces, MoDES fait des miracles :

1. Vitesse : L'IA réfléchit beaucoup plus vite (jusqu'à 2 fois plus vite pour préparer la réponse).
2. Précision : Contrairement aux anciennes méthodes qui faisaient des erreurs en sautant trop de musiciens, MoDES garde une précision incroyable.
   • Exemple : Sur un modèle très puissant, en sautant 88% des experts (ce qui est énorme !), MoDES garde 97% de la performance originale. Les anciennes méthodes, elles, s'effondraient et perdaient beaucoup de sens.

🏁 En Résumé

Imaginez que vous devez traverser une ville bondée.

• Les anciennes méthodes vous disaient : "Regardez chaque rue, mais ne marchez que sur les trottoirs." (Toujours lent).
• MoDES vous dit : "Je connais la ville. Pour les zones résidentielles (images), je peux prendre des raccourcis à travers les jardins. Pour le centre-ville (texte), je reste sur les routes principales. Et je sais exactement quelles rues sont des impasses inutiles pour les éviter totalement."

MoDES, c'est l'IA qui apprend à être paresseuse intelligemment : elle ne fait que le travail nécessaire, là où c'est nécessaire, pour aller plus vite sans se tromper.

Résumé technique

Titre : MoDES : Accélération des Modèles de Langage Multimodaux à Grands Experts (MLLMs) par Saut Dynamique d'Experts

1. Problématique

Les modèles de langage multimodaux (MLLMs) basés sur l'architecture Mixture-of-Experts (MoE) excellent dans les tâches vision-langage, mais ils souffrent d'une inefficacité computationnelle élevée lors de l'inférence. Bien que des méthodes de "saut d'experts" (expert skipping) aient été proposées pour les modèles de langage unimodaux (LLMs) afin de désactiver les experts redondants, leur application directe aux MLLMs entraîne une dégradation significative des performances.

Les auteurs identifient deux causes principales à cet échec :

1. Négligence de la contribution globale : Les méthodes existantes se basent uniquement sur les probabilités de routage locales (au sein d'une couche). Or, les experts des couches profondes ont une contribution globale différente de celle des couches superficielles. Ignorer cette hiérarchie conduit à un saut excessif des experts critiques dans les premières couches.
2. Écart modalité (Modality Gap) : Les tokens textuels et visuels se comportent différemment en traversant les réseaux d'experts. Les experts mettent à jour les tokens textuels de manière plus significative que les tokens visuels. Les méthodes unimodales ne tiennent pas compte de cette hétérogénéité, traitant tous les tokens de manière identique.

2. Méthodologie : Le Framework MoDES

MoDES est un cadre sans réentraînement (training-free) conçu pour adapter dynamiquement le saut d'experts aux spécificités des MLLMs. Il repose sur deux mécanismes clés :

• Gating Local Modulé Globalement (GMLG - Globally-Modulated Local Gating) :

  • Pour corriger le problème de la contribution globale, MoDES introduit un facteur de pondération $\alpha^{(l)}$ pour chaque couche $l$.
  • Ce facteur est obtenu par un calibrage hors ligne (offline calibration) en mesurant la divergence KL entre la sortie du modèle original et celle d'un modèle où les experts d'une couche spécifique sont désactivés.
  • Le score d'importance d'un expert est alors calculé comme le produit de la probabilité de routage locale ($\pi$) et de ce facteur global ($\alpha$) : $s = \alpha \cdot \pi$. Cela permet de préserver les experts des couches critiques (souvent superficielles) tout en étant plus agressif dans les couches moins influentes.

• Seuillage Dual-Modalité (DMT - Dual-Modality Thresholding) :

  • Pour adresser l'écart modalité, MoDES applique des seuils de décision distincts pour les tokens textuels ($\tau_t$) et visuels ($\tau_v$).
  • Un expert est sauté si son score d'importance tombe en dessous du seuil correspondant à la modalité du token courant. Cela permet de sauter plus d'experts pour les tokens visuels (qui sont plus redondants) que pour les tokens textuels.

• Algorithme de Recherche de Frontière (Frontier Search) :

  • Pour déterminer les seuils optimaux $(\tau_t, \tau_v)$ qui maximisent l'efficacité tout en respectant une contrainte de performance, les auteurs proposent un algorithme de recherche intelligent.
  • En exploitant les propriétés de monotonie de la perte de performance et de l'efficacité par rapport aux seuils, cet algorithme réduit la complexité de recherche de $O(ND^2)$ (recherche exhaustive) à $O(ND)$.
  • Cela réduit le temps de calibration de plusieurs jours à quelques heures.

3. Contributions Clés

1. Premier cadre sans réentraînement spécifiquement conçu pour le saut d'experts dans les MLLMs, tenant compte de la structure hiérarchique des couches et de la nature multimodale des données.
2. Mécanisme GMLG qui intègre l'importance globale des couches, évitant la dégradation des performances causée par le saut aveugle des experts des couches initiales.
3. Stratégie DMT qui adapte dynamiquement le taux de saut selon la modalité (texte vs image/vidéo), exploitant la redondance supérieure des experts pour les tokens visuels.
4. Algorithme d'optimisation efficace permettant de trouver les paramètres optimaux en quelques heures seulement, rendant la méthode pratique pour des modèles de plusieurs dizaines de milliards de paramètres.

4. Résultats Expérimentaux

Les auteurs ont évalué MoDES sur 3 familles de modèles (Kimi-VL, Qwen3-VL-MoE, InternVL-3.5) et 13 benchmarks (compréhension d'images et de vidéos).

• Performance : MoDES surpasse systématiquement les méthodes de l'état de l'art (NAEE, MC-MoE, DiEP).
  • Pour Qwen3-VL-MoE-30B-A3B-Instruct, avec un taux de saut de 88 %, MoDES maintient 97,33 % de la performance du modèle original, contre seulement 86,66 % pour les meilleures méthodes concurrentes (un gain de +10,67 %).
  • Même à des taux de saut élevés (>80 %), MoDES préserve plus de 95 % de la précision originale, là où les autres méthodes chutent drastiquement.
• Vitesse d'Inférence :
  • Le temps de préremplissage (prefilling) est accéléré d'un facteur 2,16x.
  • Le temps de décodage est accéléré d'un facteur 1,26x.
• Efficacité du calibrage : La recherche de frontière réduit le temps de configuration de >2 jours à <2 heures pour des modèles de 20-30 milliards de paramètres.

5. Signification et Impact

Ce travail démontre que l'optimisation de l'inférence des MLLMs MoE ne peut pas se contenter d'adapter des solutions unimodales. En reconnaissant explicitement l'importance hiérarchique des couches et les différences comportementales entre les modalités, MoDES permet d'atteindre des gains d'efficacité massifs sans sacrifier la précision.

Cela ouvre la voie au déploiement de modèles multimodaux massifs sur du matériel plus accessible, en réduisant considérablement les coûts de calcul et la latence, tout en maintenant des capacités de compréhension visuelle et linguistique de haut niveau. Le code est disponible publiquement, favorisant la reproductibilité et l'adoption par la communauté.