💻 computer science

Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster

Cet article propose une stratégie de liste d'experts locale à la séquence qui fixe un petit ensemble d'experts par séquence afin de réduire considérablement l'empreinte mémoire et les transferts d'experts lors du service de modèles MoE, atteignant un débit proche de la résidence complète avec nettement moins de poids résidents en appliant cette contrainte de manière cohérente pendant l'entraînement et l'inférence.

Auteurs originaux : ChaeWoo Son

Publié 2026-08-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : ChaeWoo Son

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les systèmes d'intelligence artificielle modernes qui génèrent du texte reposent souvent sur une conception appelée « mélange d'experts » (mixture of experts). Imaginez une vaste bibliothèque de travailleurs spécialisés possédant des connaissances pointues, où chaque travailleur est un expert dans un sujet précis et étroit. Lorsqu'un système doit répondre à une question, il n'active pas tous les travailleurs à la fois. Au lieu de cela, il sélectionne seulement une petite poignée des experts les plus pertinents pour ce moment précis. Cette approche permet au système d'être incroyablement vaste et capable tout en utilisant relativement peu de puissance de calcul pour chaque mot produit. Cependant, il existe un goulot d'étranglement important dans la manière dont ces systèmes sont exécutés sur des ordinateurs standards. Même si seuls quelques experts sont utilisés à un instant donné, la mémoire de l'ordinateur doit contenir l'intégralité de la bibliothèque d'experts, prête à l'emploi, car le système ne sait pas à l'avance lesquels seront nécessaires ensuite. Cette exigence force la taille totale de la mémoire à correspondre à la taille de la bibliothèque entière, plutôt qu'au petit groupe utilisé, ce qui rend difficile l'exécution de ces modèles puissants sur des appareils dotés d'une mémoire limitée.

Des chercheurs ont tenté de résoudre ce problème en stockant les experts inutilisés sur un disque dur et en les chargeant en mémoire uniquement lorsqu'ils sont nécessaires. Mais cela crée un nouveau problème : comme le système choisit les experts de manière éparpillée et imprévisible, il se retrouve à devoir récupérer constamment de nouveaux experts, ce qui ralentit le processus. Une équipe dirigée par le chercheur indépendant ChaeWoo Son a posé une question différente : au lieu d'essayer de rendre l'ordinateur plus rapide pour récupérer des experts dispersés, pourraient-ils modifier le système pour qu'il s'en tienne naturellement à un petit groupe constant d'experts pour la durée d'une seule conversation ? Ils voulaient voir s'ils pouvaient entraîner le système pour qu'il devienne « local à la séquence », signifiant qu'une fois qu'une conversation commence, la même petite équipe d'experts gère l'intégralité du fil de discussion, permettant à l'ordinateur de ne garder que cette équipe en mémoire.

Les chercheurs ont d'abord tenté d'enseigner ce comportement directement au système. Ils ont essayé d'entraîner le modèle à favoriser les experts qu'il avait déjà utilisés dans la conversation actuelle, espérant que cette habitude deviendrait une partie permanente de son intelligence. Ils ont constaté que si cette astuce fonctionnait pendant l'entraînement, le comportement ne persistait pas. Dès que la pression de l'entraînement était levée, le système revenait à ses anciennes habitudes éparpillées. Même lorsqu'ils ont tenté de renforcer ce comportement en faisant en sorte que le système apprenne de ses propres choix biaisés, le processus est devenu instable et la qualité du texte en a souffert. L'étude a conclu que le système n'apprenait pas une nouvelle compétence, mais réagissait simplement à une règle temporaire. Les chercheurs ont réalisé que tenter de forcer le système à intérioriser ce comportement était la mauvaise approche.

Au lieu de chercher à changer le cerveau du système, les chercheurs ont décidé de changer les règles du jeu. Ils ont imposé une règle stricte et permanente qui s'appliquait aussi bien pendant l'entraînement que lors de l'utilisation réelle du système. Sous cette nouvelle règle, chaque conversation se voit assigner une petite équipe fixe d'experts basée sur les premiers mots du texte. Une fois cette équipe sélectionnée, le système n'est pas autorisé à passer à quelqu'un d'autre pour le reste de la conversation. Cette règle agit comme un budget : l'ordinateur n'a besoin de garder que cette petite équipe spécifique dans sa mémoire rapide, tandis que le reste de la bibliothèque peut rester sur le support de stockage plus lent. Comme l'équipe est fixe pour toute la conversation, l'ordinateur n'a pas besoin de permuter constamment les experts.

Les résultats de cette approche ont été frappants. Lorsque les chercheurs ont appliqué cette règle à un modèle de test et lui ont accordé une courte période de réentraînement pour s'adapter aux nouvelles contraintes, le système a performé presque aussi bien qu'en l'absence de la règle, mais avec une réduction massive de l'utilisation de la mémoire. Dans leurs tests, ils ont pu ne conserver qu'un quart du total des experts en mémoire et atteindre presque la même vitesse que s'ils avaient conservé tous les experts. Le système a réduit le nombre de fois où il devait récupérer des données sur le support de stockage lent d'un facteur trente-deux par rapport à l'ancienne méthode. Bien que la qualité du texte ait légèrement chuté — d'environ cinq pour cent dans le scénario de réduction de mémoire le plus extrême — ce compromis a permis au modèle de fonctionner sur du matériel beaucoup plus petit et plus accessible.

L'étude a également révélé une intuition inattendue sur la manière dont ces systèmes apprennent. Les chercheurs ont découvert que plus un modèle est entraîné sans ces contraintes de mémoire, plus il devient difficile de le forcer à adopter ce schéma efficace par la suite. La tendance naturelle du système à disperser son attention semble se renforcer avec le temps, rendant l'adaptation aux limites de mémoire plus coûteuse après coup. Cela suggère que si nous voulons que ces modèles soient efficaces sur les appareils du quotidien, nous devrons peut-être leur apprendre à être efficaces dès le début, plutôt que d'essayer de corriger le problème après qu'ils aient déjà appris à être éparpillés.

Ce travail ne prétend pas avoir résolu le problème pour toutes les situations possibles, et les chercheurs ont pris soin de noter que leurs tests ont été effectués sur des données synthétiques et des modèles plus petits. Ils ont observé que si une conversation change brusquement de sujet au milieu, l'équipe d'experts fixe pourrait éprouver des difficultés, bien que leurs tests aient montré que même avec un changement de sujet, le système pouvait s'adapter avec une légère pénalité de qualité. L'étude sert de preuve de concept montrant qu'en traitant la contrainte de mémoire comme une règle plutôt que comme un objectif d'apprentissage, nous pouvons rendre ces modèles massifs beaucoup plus pratiques à utiliser. Cela déplace l'attention de la construction de matériel plus rapide vers la conception de règles plus intelligentes pour l'utilisation des ressources du système, ouvrant la voie à une intelligence artificielle puissante capable de fonctionner sur des appareils qui sont actuellement trop petits pour la contenir.

Résumé Technique : Predatory MoE : Servir un mélange d'experts avec un répertoire d'experts local à la séquence

Énoncé du Problème

Les modèles de mélange d'experts (MoE) en accès ouvert atteignent une haute capacité en n'activant qu'une petite fraction de leurs paramètres totaux par jeton (token). Cependant, dans les configurations à mémoire limitée et à accélérateur unique, le service de ces modèles nécessite généralement de garder tous les experts résidents en mémoire, ce qui signifie que l'empreinte mémoire dépend du nombre total de paramètres plutôt que du nombre de paramètres actifs.

Les solutions standards consistent à décharger les experts inactifs vers la mémoire hôte ou le disque et à les récupérer à la demande. Les systèmes existants s'adaptent à la demande de routage au fur et à mesure qu'elle survient (par exemple, en utilisant des caches LRU ou du préchargement prédictif). Cependant, un routage sans contrainte est souvent « hostile » aux caches bornés : les routeurs au niveau du jeton peuvent sélectionner n'importe quel expert à n'importe quel jeton, provoquant des transferts de poids fréquents. Dans le banc d'essai de 32 experts de l'auteur, un modèle sans contrainte a accédé en moyenne à 28 experts sur 32 pour une séquence de 256 jetons. L'article demande si le motif de la demande de routage lui-même peut être modifié pour devenir local à la séquence, de sorte que chaque séquence soit servie par un petit répertoire fixe d'experts, permettant à la mémoire résidente de suivre un budget de répertoire plutôt que le nombre total d'experts.

Méthodologie

L'article étudie deux approches principales pour parvenir à la localité de séquence : l'instiller dans les poids du modèle ou l'imposer comme une règle de routage.

1. Tentative d'apprentissage de la localité de séquence

L'auteur a d'abord exploré si la localité de séquence pouvait être instaurée comme un objectif d'apprentissage en utilisant un biais de sélection « le riche devient plus riche » (un biais d'amplification). Ce biais favorisait les experts déjà utilisés au sein d'une séquence pour le reste de cette séquence.

Résultats : Bien que le biais ait réduit la taille de l'ensemble de travail pendant l'activité, la localité résultante n'était pas persistante.
- Sensibilité temporelle : Le biais ne remodelait le routage de manière durable que lorsqu'il était appliqué dès le début de l'entraînement ; l'appliquer tardivement n'entraînait que des effets de sélection immédiats sans adaptation ultérieure.
- Réversion : Si le biais était supprimé en milieu d'entraînement, la poursuite d'un entraînement non biaisé provoquait un retour à un motif dispersé, restaurant la taille originale de l'ensemble de travail.
- Échec de la distillation : Les tentatives pour intérioriser le biais via l'auto-distillation (entraîner le routeur à imiter ses propres sélections biaisées) ont produit une cible mouvante qui a déstabilisé le routage et dégradé la qualité du modèle.
Conclusion : La localité de séquence se comportait comme une propriété de la procédure de routage, et non comme une propriété des poids appris.

2. La règle de routage par répertoire (Roster Routing Rule)

Sur la base de l'échec des approches basées sur l'apprentissage, l'auteur a imposé la localité de séquence comme une règle de routage appliquée de manière identique pendant l'entraînement et le service.

Mécanisme :
- Chaque séquence maintient un décompte courant des sélections d'experts par couche.
- Un répertoire $R$ est formé par les $m$ experts les plus utilisés.
- Phase d'exploration : Jusqu'à ce que $m$ experts distincts soient utilisés, aucun biais n'est appliqué.
- Phase de barrière : Une fois le répertoire plein, les membres reçoivent un bonus de sélection $+\delta$ , et les non-membres reçoivent un malus $-\delta$ . Les non-membres doivent surmonter un déficit de score de $2\delta$ pour entrer dans le répertoire, remplaçant ainsi le membre le moins utilisé.
- Épinglage (Service) : Au déploiement, le répertoire est gelé après un court préfixe (par exemple, 20 % de la séquence). Le décodage ultérieur est restreint à ce répertoire épinglé.
Retrofitting (Adaptation) : Pour les modèles pré-entraînés, l'auteur propose une phase de fine-tuning de 600 étapes sous la règle déployée (avec l'épinglage actif). Cela permet aux experts de s'adapter aux schémas de trafic créés par la règle sans nécessier que le routeur apprenne lui-même la localité.

Principales Contributions

Analyse empirique de la localité par apprentissage : Une analyse contrôlée démontrant que la localité de séquence résiste à l'apprentissage en tant qu'objectif persistant en raison de la sensibilité temporelle, de la réversion sous un entraînement continu et de l'instabilité auto-référentielle de la distillation du routeur.
Règle de routage par budget de répertoire : Un mécanisme qui traite la localité comme une contrainte procédurale avec un équilibre explicite (le budget $m$ ), plutôt que comme un comportement émergent. Cette règle maintient des dynamiques d'entraînement stables et garde les ensembles de travail par séquence proches du budget $m$ .
Recette de Retrofit : Une méthode pour adapter les modèles pré-entraînés à la règle du répertoire via un bref fine-tuning (600 étapes). Ce processus permet d'égaler la performance des modèles entraînés de zéro sous la règle, éliminant ainsi le coût de qualité lié à l'attachement de la règle à un modèle pré-entraîné.
Analyse de service : Une simulation pilotée par des traces montrant que le motif de la demande résultant réduit considérablement les transferts d'experts par rapport aux stratégies de mise en cache standard sous des budgets de mémoire équivalents.

Résultats

Compromis Qualité et Budget

Entraînement de zéro : L'entraînement sous la règle du répertoire avec $m=4$ (sur 8 experts) a entraîné un ensemble de travail de $\approx 4,18$ avec seulement une augmentation de la perplexité de $+0,27 \%$ par rapport à la référence.
Retrofitting : L'application de la règle à un modèle pré-entraîné sans fine-tuning a provoqué un saut important de la perplexité ( $+32 \%$ ). Cependant, un fine-tuning de 600 étapes sous la règle épinglée a réduit ce coût à $+0,9 \%$ (pour $m=4$ ) et $+5,0 \%$ (pour $m=8$ dans un modèle à 32 experts).
Échelle : Dans le banc d'essai à 32 experts, le fine-tuning a réduit le coût de l'épinglage de $m=8$ (réduction de 75 % de la mémoire) à une perplexité de $+5,0 \%$ , contre un multiplicateur de perplexité de $\sim 9\times$ pour une attache sans ajustement (zero-shot).
Érosion de la servabilité : L'auteur a observé qu'un entraînement non contraint érode progressivement l'aptitude d'un modèle au service par répertoire. Même après la convergence de la perplexité, la poursuite de l'entraînement augmente le coût du service sous un répertoire épinglé, suggérant que les contraintes de service devraient être exposées durant l'entraînement.

Performance de Service (Simulation pilotée par traces)

Sous des budgets de mémoire équivalents (25 % des poids des experts résidents) :

Réduction des transferts : Le modèle servi par répertoire a réduit les transferts d'experts jusqu'à 32 $\times$ par rapport à un service par cache LRU pour un modèle sans contrainte.
Débit (Throughput) : Le modèle servi par répertoire a récupéré 94 % du débit de décodage en pleine résidence, alors que le modèle sans contrainte servi par LRU n'a atteint que 33 %.
Latence : L'approche par répertoire a réduit le temps de blocage (stall time) à presque zéro (0,01 ms/jeton) contre 30,3 ms/jeton pour la référence LRU.

Signification et Revendications

L'article affirme que la localité des experts par séquence est plus naturellement gérée comme une partie de la procédure de routage (spécifiée, budgétée et présente pendant l'entraînement) que comme un comportement que le modèle est appelé à apprendre.

Impact pratique : La méthode proposée permet de servir de grands modèles MoE avec une fraction de la mémoire des experts résidente (par exemple, 25 %) tout en récupérant un débit proche de la pleine résidence, au prix d'une augmentation modeste de la perplexité (par exemple, +5,0 %).
Portée et limites : L'auteur précise explicitement que ses résultats quantitatifs proviennent d'un banc d'essai synthétique à domaine unique (jusqu'à 32 experts). Il ne prétend pas que les résultats se généralisent directement aux modèles de production à grande échelle ou au service par lots multi-flux sans validation supplémentaire.
Travaux futurs : L'article trace une voie pour la validation, incluant l'analyse des traces de routage des MoE existants en accès ouvert et le fine-tuning de petits MoE en accès ouvert sur des données réelles pour tester la recette de retrofit et l'hypothèse d'« érosion ».
Extrapolation : Bien que l'auteur fournisse des estimations arithmétiques suggérant que pour un modèle de 2,4 billions de paramètres, le service par répertoire pourrait réduire l'empreinte à l'échelle d'une station de travail (environ 97 Go pour $m=32$ ), il souligne qu'il s'agit d'estimations d'ordre de grandeur basées sur des hypothèses non vérifiées concernant les schémas de routage du monde réel et les spécificités architecturales.

En résumé, l'article propose un changement de paradigme : passer de l'ingénierie de systèmes pour servir des demandes de routage hostiles à l'ingénierie de la demande de routage elle-même pour la rendre servable, démontant qu'une « règle de répertoire » procédurale combinée à un bref fine-tuning peut obtenir des gains significatifs de mémoire et de débit dans des contextes contrôlés.