Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

Résumé Technique : Quels ratés d'experts valent la peine d'être attendus ?

Énoncé du problème
Les modèles de langage de type Mixture-of-Experts (MoE), tels que Qwen3-Next-80B-A3B, offrent une grande capacité mais nécessitent de stocker tous les experts en mémoire, dépassant ainsi la VRAM des GPU grand public (par exemple, 24 Go). Le déchargement (offloading) des experts vers la mémoire CPU ou les SSD permet de faire fonctionner ces modèles sur du matériel grand public, mais introduit de la latence lorsque des experts victimes de « cache-miss » (ceux qui ne sont pas actuellement en mémoire GPU) sont nécessaires. Les solutions traditionnelles consistent à récupérer chaque raté (latence élevée), à calculer sur le CPU (arithmétique lente) ou à utiliser le préchargement (risque de mauvaise prédiction). Des approches alternatives modifient le calcul en substituant un expert manquant par un expert résident. Cependant, il reste incertain quels types de substitutions causent une perte de qualité significative dans des modèles possédant des centaines d'experts par couche, si un indicate unique peut guider les politiques de cache, et quand un cache doit admettre un expert qui est de manière répétée substitué.

Méthodologie
L'étude se concentre sur Qwen3-Next-80B-A3B (512 experts par couche, en sélectionnant 10) avec environ 25 % des experts résidents en mémoire GPU. La recherche utilise trois outils distincts pour évaluer les politiques de substitution :

1. Émulation : Une implémentation PyTorch qui calcule exactement les sorties du modèle pour toutes les politiques sur les mêmes séquences de jetons, idéalisant la latence de récupération pour isoler l'impact de la substitution sur la qualité (mesurée par la perplexité sous contrainte de l'enseignant/teacher-forced perplexity).
2. Simulateur de Logit de Routeur : Un outil C++ qui rejoue les logits du routeur pour comparer rapidement les politiques sans calculer le modèle complet, estimant le temps par jeton et les états du cache.
3. Moteur (Engine) : Une implémentation modifiée de llama.cpp qui effectue une véritable récupération d'expert, une substitution et une mise en cache sur des GPU grand public (RTX 3090).

L'étude définit la masse de porte substituée ($m$) comme la somme pondérée normalisée du poids de la porte des experts substitués. Elle teste plusieurs politiques :

• Récupérer chaque raté : La référence de base (baseline).
• Règle du 0,15 : Récupère de manière synchrone les experts manqués s'ils sont le premier choix du routeur ou si leur poids de porte est $\ge 0,15$ ; elle substitue les autres.
• Règle du Premier Choix : Ne récupère que le premier choix manqué ; substitue tous les autres.
• Admission en Arrière-plan : Une règle qui accumule le poids de la porte des experts substitués au fil du temps et les admet dans le cache une fois qu'un seuil (par exemple, 0,5) est atteint.

Contributions Clés et Résultats

1. Source de la Perte de Qualité : En émulation, la majeure partie de la perte de qualité provient de la substitution de quelques experts fortement pondérés (premiers choix ou ceux ayant des poids de porte élevés), plutôt que du nombre pur de substitutions. Pour Qwen3-Next, la règle 0,15 a substitué 7,5 % des appels (contre 8,5 % en récupérant chaque raté) mais a réduit l'augmentation de la perplexité de 5,67 % à 0,35 %. Cela suggère que la protection des experts à poids élevé est critique, même si de nombreux experts à faible poids sont substitués.
2. La Masse comme Métrique Comparative : L'étude propose l'« Hypothèse de la Masse » : parmi les politiques qui récupèrent toujours le premier choix, une masse de porte substituée plus élevée est corrélée à des augmentations de perplexité plus élevées sur les mêmes entrées. Dans le moteur, cette corrélation était forte (Pearson $r \approx 0,92$) à travers différentes politiques sur les mêmes données. Cependant, la masse n'a pas prédit quels entrées spécifiques perdraient en qualité, ni ne s'est maintenue lors de la comparaison de politiques qui substituaient les premiers choix.
3. Composition des Substitutions : Une expérience (Expérience B) faisant varier la composition des substitutions à masse égale a montré qu'une infime quantité de substitutions lourdes causait plus de perte qu'un grand nombre de substitutions légères, bien que la règle de décision statistique prévue n'ait pas produit de jugement définitif en raison de la faible masse réalisée dans la condition principale.
4. Politique d'Admission en Arrière-plan : Une règle qui admet un expert dans le cache une fois que sa masse substituée accumulée atteint un seuil de 0,5 a réduit la perplexité de 0,3 à 1,5 %, les gains les plus significatifs se produisant immédiatement après les changements de sujet.
5. Performance des Politiques Sélectionnées : Deux politiques ont été sélectionnées sur la base de ces résultats :
   • Priorité Qualité (Quality-First) : Règle 0,15 + Éviction basée sur la fréquence + Admission en arrière-plan ($\beta=0,5$).
   • Priorité Vitesse (Speed-First) : Règle du Premier Choix + Éviction basée sur la fréquence + Admission en arrière-plan ($\beta=0,5$).
     Sur deux hôtes, ces politiques étaient 2,5 à 3,0 fois plus rapides par jeton que la récupération de chaque raté, avec une augmentation de la perplexité de seulement 0,7 à 1,5 %. Comparée à la règle 0,15 seule, la politique Priorité Qualité a réduit davantage la perplexité (d'environ 0,5 à 0,8 %) avec un léger coût temporel, tandis que la politique Priorité Vitesse a réduit le temps d'environ 5 % sans augmentation statistiquement significative de la perplexité.
6. Comparaison avec le llama.cpp Standard : Sur une machine disposant d'environ 16 Go de RAM disponible, le moteur utilisant la règle 0,15 a décodé 2,8 à 3,0 fois plus vite que le llama.cpp standard configuré pour utiliser la même VRAM, avec une augmentation de la perplexité de seulement 1,6 %.

Signification et Revendications
L'article affirme fournir la première mesure directe de quelles substitutions d'experts expliquent la perte de qualité dans les MoE possédant des centaines d'experts par couche. Il établit que :

• Stratégie de Substitution : Protéger les experts à poids élevé (via la règle 0,15) est plus efficace que de simplement réduire le nombre total de substitutions.
• Utilité de la Métrique : La masse de porte substituée est une métrique utile pour comparer les politiques sur les mêmes entrées, mais n'est pas un prédicteur de perte entre différentes entrées.
• Efficacité Pratique : Il est possible de faire fonctionner de grands MoE sur des GPU grand public avec une dégradation de qualité minimale (augmentation de la perplexité de 0,7 à 1,5 %) tout en obtenগত des accélérations de 2,5 à 3,0 fois par rapport aux stratégies de déchargement standard.

Limites et Modestie
L'auteur déclare explicitement que ses conclusions sont modestes et conditionnelles :

• Portée : Les résultats sont principalement basés sur Qwen3-Next-80B-A3B et la perplexité sous contrainte de l'enseignant. Le test de génération (GSM8K et HumanEval) n'a soutenu les prédictions que partiellement ; par exemple, la corrélation entre la masse et l'accord sur HumanEval a échoué.
• Causalité : L'étude ne sépare pas les effets du rang de l'expert de ceux de son poids, et ne prétend pas que le poids de la porte lui-même cause la perte.
• Comparaisons : Les politiques n'ont pas été comparées au préchargage (prefetching) ou à des méthodes de plus basse précision.
• Généralisabilité : Les ratios de vitesse et les valeurs de perplexité spécifiques sont rapportés pour les hôtes matériels spécifiques mesurés et peuvent ne pas s'appliquer à d'autres machines.
• Statut Expérimental : Hormis le test de génération et l'Expérience B, les analyses sont exploratoires. Le papier rapporte des prédictions échouées (par exemple, concernant les corrélations de masse au niveau des problèmes) et des conclusions qui se sont inversées à mesure que la taille de l'échantillon augmentait (par exemple, la corrélation entre la masse et la perte).

En résumé, ce travail démontre que des politiques de substitution intelligente et d'admission en arrière-plan peuvent atténuer considérablement la latence du déchargement des grands MoE sur du matériel grand public, à condition de donner la priorité aux experts à poids élevé.