🤖 machine learning

WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware

Cet article introduit WiSP, un système de gestion de l'ensemble de travail sensible au routage pour les modèles Mixture-of-Experts sur du matériel à faibles ressources qui pagine dynamiquement les poids des experts et optimise l'allocation de la VRAM entre les experts et le cache KV afin d'améliorer considérablement le débit de décodage sans modifier le moteur de service sous-jacent.

Auteurs originaux : Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : l'IA « trop grande pour tenir »

Imaginez que vous possédez une immense bibliothèque de livres (le modèle d'IA) qui contient des centaines de milliards de pages. Vous voulez lire une histoire spécifique sur une liseuse minuscule et portable (une carte graphique standard, ou GPU).

Le problème est que la liseuse n'a pas assez de mémoire pour contenir toute la bibliothèque à la fois. Cependant, pour chaque phrase que vous lisez, vous n'avez besoin que de quelques pages spécifiques provenant de quelques livres précis. Le reste de la bibliothèque reste inutilisé.

Les solutions actuelles tentent de résoudre cela en gardant toute la bibliothèque dans un entrepôt (la mémoire principale de l'ordinateur) et en se précipitant à l'entrepôt pour récupérer les pages dont vous avez besoin chaque fois que vous tournez une page. C'est lent car le trajet vers l'entrepôt (le transfert de données) prend beaucoup de temps.

La solution WiSP : le « Bibliothécaire Intelligent »

Les auteurs ont créé un système appelé WiSP (Working-Set Paging). Au lieu de se précipiter à l'entrepôt pour chaque page, WiSP agit comme un bibliothécaire intelligent qui observe ce que vous lisez et garde une petite pile de livres curatée, susceptibles d'être nécessaires, directement sur votre bureau (la mémoire du GPU).

Voici comment cela fonctionne en trois parties simples :

1. La « Pile Intelligente » (Expert Paging)

Dans les modèles d'IA appelés « Mixture-of-Experts » (MoE), le modèle possède de nombreux différents « experts » (des sous-modèles spécialisés), mais il n'en utilise que quelques-uns pour chaque mot généré.

L'ancienne méthode : Le système récupère tous les experts pour une couche, même s'il n'en utilise que deux. Cela gaspille de l'espace et du temps.
La méthode WiSP : WiSP ne garde sur votre bureau que les experts spécifiques que vous utilisez réellement. Si vous avez besoin d'un nouvel expert, il en échange rapidement un de la pile contre le nouveau en le récupérant à l'entrepôt.
Le résultat : Comme il ne déplace que les minuscules morceaux dont vous avez réellement besoin, c'est beaucoup plus rapide. Le papier a constaté que sur de petits ordinateurs, cela permet à l'IA de fonctionner jusqu'à 2 fois plus vite que l'ancienne méthode.

2. Le « Bureau Partagé » (Memory Allocation)

Votre bureau (la mémoire du GPU) est très petit. Deux choses se disputent l'espace :

La Pile d'Experts : Les livres que vous devez lire en ce moment.
Les Notes de Contexte (KV Cache) : Les notes que vous avez écrites sur l'histoire jusqu'à présent, pour ne pas oublier ce qui s'est passé.

Si vous remplissez trop votre bureau de livres, vous n'avez plus de place pour vos notes. Si vous remplissez trop votre bureau de notes, vous ne pouvez plus attraper les livres dont vous avez besoin.

La solution WiSP (MV-WSA) : C'est une règle intelligente qui décide de la manière de diviser l'espace de votre bureau. Elle demande constamment : « Est-il plus utile d'avoir plus de livres sur le bureau, ou plus de notes ? »
Elle ajuste la répartition de manière dynamique. Si vous écrivez une longue histoire, elle vous donne plus de place pour les notes. Si vous changez de sujet rapidement, elle vous donne plus de place pour les livres. Cela garantit que vous ne manquerez jamais d'espace pour l'un ou l'autre.

3. Le mythe de la « Boule de Cristal » (Pourquoi la prédiction n'a pas aidé)

Les chercheurs se sont demandé : « Et si nous utilisions une boule de cristal (prédiction par l'IA) pour deviner quel livre vous aurez besoin ensuite, et le récupérer avant que vous ne le demandiez ? »

La surprise : Ils ont découvert que dans ce cas précis (lecture d'une phrase à la fois), la prédiction ne rend pas le processus plus rapide.
Pourquoi ? La « route » (connexion de données) entre l'entrepôt et le bureau est trop étroite. Même si vous devinez parfaitement, le camion ne peut transporter qu'une certaine quantité à la fois. Le goulot d'étranglement n'est pas de deviner le bon livre, c'est la vitesse du camion.
La véritable valeur : La « boule de cristal » est toujours utile, mais pas pour la vitesse. Elle aide le bibliothécaire à savoir exactement quelle taille la pile doit avoir pour vous spécifiquement. Cela permet au système de réduire la pile à la taille parfaite, libérant ainsi plus d'espace sur le bureau pour vos notes.

L'essentiel à retenir

Le papier soutient que faire fonctionner de grands modèles d'IA sur de petits ordinateurs est un problème de gestion de la mémoire, et non seulement un problème de calcul.

WiSP est un outil qui agit comme un bibliothécaire intelligent, gardant uniquement les livres nécessaires sur le bureau et les échangeant efficacement.
Il ne modifie pas le modèle d'IA lui-même ; il gère simplement mieux la mémoire.
Il rend l'IA nettement plus rapide sur les petits appareils en évitant de perdre du temps à déplacer des données inutiles.
Il nous apprend que dans ce scénario spécifique, gérer efficacement votre espace de travail est plus important que d'essayer de prédire l'avenir.

Le système fonctionne si bien qu'il peut même faire fonctionner de massifs modèles d'IA sur une seule carte informatique qui, auparavant, ne pouvait absolument pas les gérer, sans changer la qualité des réponses fournies par l'IA.

Résumé Technique : WiSP – Une vue par ensemble de travail pour le service de modèles Mixture-of-Experts sur matériel à très faibles ressources

Énoncé du problème
Les modèles Mixture-of-Experts (MoE) modernes, tels que Qwen3-30B-A3B et Mixtral-8×7B, placent la majorité de leurs paramètres dans les couches d'experts, pourtant seule une petite fraction de ces experts est active pour un jeton donné. Sur les GPU grand public dotés d'une VRAM limitée, ces modèles ne peuvent souvent pas tenir entièrement en mémoire. La solution standard, l'offloading CPU statique au niveau des couches (par exemple, --cpu-offload-gb dans vLLM), maintient l'utilisation de la mémoire basse mais transfère tous les experts d'une couche via le bus PCIe à chaque passage direct (forward pass). Cette approche échoue à exploiter la parcimonie des modèles MoE, annulant de fait leurs avantages en matière d'efficacité.

Les auteurs cadrent le service MoE à faibles ressources comme un problème de gestion d'ensemble de travail (working-set management). Dans ce régime, la mémoire GPU est le magasin rapide limité, et la mémoire hôte est le magasin de sauvegarde. Deux flux distincts de demande de mémoire entrent en compétition pour le même budget de VRAM :

Poids des experts : Un flux dépendant du routage où seul un sous-ensemble d'experts est nécessaire par jeton.
Cache KV : Un flux dépendant du jeton, requis pour la génération autoregressive.

Les systèmes existants traitent souvent ces éléments comme des problèmes distincts ou ciblent des configurations de centres de données à haute occurrence (high-batch) où le calcul peut être superposé au transfert de données. Cependant, dans le cadre d'un service interactif à faible concurrence (par exemple, des assistants de codage locaux), le calcul est minimal par étape, ce qui fait de la bande passante PCIe le principal goulot d'étranglement plutôt que le calcul ou la précision de la prédiction.

Méthodologie : WiSP (Paging de l'ensemble de travail)
Le document présente WiSP, un système qui traite l'ensemble d'experts résidents comme un cache sur le comportement de routage du modèle, géré conjointement avec le cache KV. WiSP se compose de deux composants principaux :

Paginateur d'experts sensible au routage (Routing-Aware Expert Pager) :
- Mécanisme : WiSP se branche sur un moteur de service non modifié (par exemple, vLLM) en exploitant un crochet d'indirection de carte d'expert existant (π). Au lieu de charger des couches complètes, il maintient un petit espace de travail GPU contenant uniquement l'« ensemble de travail » des experts susceptibles d'être réutilisés.
- Opération : À chaque étape, le paginateur récupère uniquement les experts routés manquants depuis la mémoire hôte (H2D) et évince les experts les moins récemment utilisés (LRU) pour faire de la place.
- Garanties : Étant donné que les noyaux (kernels) et les poids sous-jacents restent inchangés (seule la cartographie est redirigée), WiSP produit des sorties octet par octet identiques à celles du moteur de base. Il ne nécessite aucun nouveau noyau, changement de quantification ou réentraînement du modèle.
MV-WSA (Allocation de l'ensemble de travail à valeur marginale) :
- Le problème d'allocation : Puisque les poids des experts et le cache KV partagent le même budget de VRAM, augmenter l'ensemble d'experts résidents réduit la capacité du cache KV, et vice versa.
- Stratégie : MV-WSA détermine la répartition optimale ( $f$ ) entre le budget des experts et le budget du cache KV. Elle vise à égaliser le bénéfice de latence marginal par octet entre les deux réservoirs.
- Plancher d'admission : Crucialement, l'allocateur impose une taille minimale de cache KV ( $\kappa_{min}$ ) requise pour admettre le niveau de concurrence actuel. Si la répartition optimale non contrainte affame le cache KV, le système limite la répartition pour garantir que le planificateur puisse s'initialiser et fonctionner.
- Modes d'implémentation :
  - Configurateur hors ligne : Analyse une trace représentative pour définir une répartition fixe au démarrage.
  - Contrôleur en ligne : Redimensionne dynamiquement les deux réservoirs pendant le service lors de « barrières de drainage » (points où aucune requête active ne détient de blocs mémoire), déplaçant physiquement les octets entre l'espace de travail des experts et le réservoir KV sans dépasser le budget total.

Principales conclusions sur le préchargement (prefetching)
Une conclusion empirique centrale du document est que le préchargement basé sur le routage apporte peu ou pas de bénéfice dans le décodage à flux unique et faible concurrence.

Goulot d'étranglement : Les performances sont limitées par la bande passante PCIe, et non par la précision de la prédiction. Dans un décodage de batch-1, le calcul par étape est trop faible pour masquer les transferts PCIe derrière lui.
Résultat : Le préchargage spéculatif dégrade souvent les performances (réduisant le débit d'environ 50 % dans les tests) car il entre en compétition pour la bande passante et évince des experts nécessaires pour l'étape suivante immédiate.
Recadrage : Le signal de routage est précieux non pas pour masquer la latence, mais pour l'allocation de la mémoire. Il aide à identifier la taille minimale de l'ensemble résident « sûr », permettant de dimensionner correctement le cache d'experts par utilisateur et d'allouer la VRAM libérée au cache KV.

Résultats
Les auteurs évaluent WiSP sur diverses architectures MoE (LLM, VLM, Hybride SSM-MoE et modèles de diffusion) en utilisant une NVIDIA H100 (avec certaines expériences simulant des budgets de mémoire plus faibles).

Gains de débit : Sous des budgets de VRAM identiques où le modèle ne tient pas en mémoire, WiSP atteint jusqu'à 1,95× le débit de décodage par rapport à l'offloading CPU statique. Le gain est maximal aux budgets de mémoire intermédiaires où WiSP peut mettre en cache une partie significative de l'ensemble d'experts réutilisés, tandis que la version de base transfère tout.
Capacité KV : En réduissant l'empreinte des experts, WiSP augmente directement la capacité du cache KV. Les expériences montrent qu'en réduisant le plafond des experts, on peut augmenter la concurrence maximale de plus de 40 % pour un même budget de mémoire totale.
Performance d'allocation :
- Hors ligne : Le configurateur MV-WSA performe bien sur le préfill et le décodage, restant à quelques pourcent près d'un oracle par flux de travail en simulation, tandis que les répartitions fixes (ex: 50/50) sont environ 20 % moins performantes.
- En ligne : Le contrôleur de redimensionnement double dynamique améliore le débit de 1,20× par rapport à la meilleure répartition statique hors ligne en s'adaptant aux changements de charge de travail (ex: passage de tours à long contexte à des rafales d'appels d'outils).
Généralité : WiSP sert avec succès des modèles qui ne tiennent pas sur un seul GPU (ex: Jamba-v0.1, MiniMax-M2) et fonctionne sur diverses modalités incluant les modèles Vision-Langage (Kimi-VL) et les modèles de diffusion (DiT-MoE, LLaDA-MoE), tout en maintenant des sorties octet par octet identiques.

Signification et affirmations
Le document affirme que WiSP fournit un cadre unifié pour le service MoE à faibles ressources en traitant la résidence des experts et le cache KV comme un problème unique d'allocation d'ensemble de travail.

Changement de paradigme de conception : Il soutient que pour le service à faible concurrence, l'accent doit passer de « comment précharger les experts plus rapidement » à « comment allouer la VRAM de manière optimale entre les experts et le cache KV ».
Impact pratique : WiSP permet de servir des modèles MoE de taille frontalière sur du matériel de consommation sans sacrifier la correction des sorties ou nécessiter de matériel spécialisé (comme Intel AMX).
Limites : Les auteurs notent explicitement que WiSP est conçu pour le régime où le modèle ne tient pas en VRAM ; si le modèle tient, la résidence statique reste plus rapide car le paging ajoute une indirection inutile. De plus, l'optimisation du préchargement s'est avérée inefficace pour le décodage à flux unique, bien qu'elle puisse être pertinente pour les sessions de haute occurrence ou les agents multi-tours où le chevauchement de calcul est possible.

Le travail conclut que, dans le décodage à flux unique limité par la mémoire, le signal de routage est un levier de mémoire (déterminant la taille de l'ensemble de travail) plutôt qu'un levier de vitesse (masquant la latence), faisant de l'allocation intelligente le principal moteur de performance.