🤖 machine learning

Efficient, VRAM-Constrained xLM Inference on Clients

Ce papier présente le sharding pipeliné, une technique de planification hybride CPU-GPU novatrice qui améliore considérablement la vitesse d'inférence et réduit les exigences en VRAM pour les modèles de langage et de vision-langage de grande taille sur les systèmes clients, atteignant des gains de débit allant jusqu'à 30 fois et une réduction de la VRAM de 10 fois par rapport à des bases agressives.

Auteurs originaux : Aditya Ukarande, Deep Shekhar, Marc Blackstein, Ram Rangan

Publié 2026-04-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aditya Ukarande, Deep Shekhar, Marc Blackstein, Ram Rangan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Dilemme de la « Petite Valise »

Imaginez que vous possédez une bibliothèque massive et incroyablement intelligente (un Grand Modèle de Langage ou une IA) que vous souhaitez transporter dans votre sac à dos. Le problème est que votre sac à dos (la VRAM ou mémoire vidéo de votre ordinateur) est très petit.

Si vous essayez de bourrer toute la bibliothèque dans le sac, cela ne rentrera pas. Si vous essayez de laisser la bibliothèque à la maison et de n'apporter que quelques pages, l'IA devient lente ou stupide car elle doit faire des allers-retours à la maison pour récupérer plus d'informations.

Les solutions actuelles vous obligent souvent à jeter des parties de la bibliothèque (rendant l'IA moins précise) ou exigent que vous possédiez un sac à dos géant et coûteux que la plupart des gens ne possèdent pas.

La Solution : « Pipelined Sharding » (L'Équipe de Déménagement Intelligente)

Les auteurs, travaillant pour NVIDIA, ont créé un nouveau système appelé Pipelined Sharding. Imaginez cela comme une équipe de déménagement ultra-organisée et surdouée qui sait exactement comment emballer et déplacer votre bibliothèque entre votre maison (la CPU ou mémoire principale) et votre sac à dos (la GPU ou mémoire vidéo) sans que vous ayez à lever le petit doigt.

Voici comment cela fonctionne, décomposé en trois étapes simples :

1. L'« Essai Routier » (Profilage)

Avant que l'équipe de déménagement ne commence, elle effectue un rapide « essai routier » sur votre ordinateur spécifique. Elle vérifie :

Quelle est la vitesse de votre CPU ?
Quelle est la largeur du couloir entre votre maison et votre sac à dos (la connexion PCIe) ?
Quelle est la capacité réelle de votre sac à dos ?

Elle ne devine pas ; elle mesure. Cela crée un « profil » des forces et des faiblesses uniques de votre ordinateur.

2. La Stratégie « Trois-Plans » (Planification)

Sur la base de l'essai routier, le système prépare trois stratégies de déménagement différentes pour chaque situation possible :

Plan A (Le Sprinter) : Si vous avez un énorme sac à dos et un couloir rapide, l'équipe met tout dans le sac à dos et court vite.
Plan B (Le Relais) : Si le sac à dos est petit mais que vous avez de nombreux aides puissants (threads CPU), l'équipe divise le travail. Certains livres restent à la maison et sont lus par les aides, tandis que d'autres sont dans le sac à dos. Ils se passent les livres d'avant en arrière de manière efficace.
Plan C (Le Chevauchement) : Si le couloir est large, l'équipe commence à transporter le prochain lot de livres pendant que le lot actuel est lu. Cela masque le temps nécessaire pour déplacer les choses.

Le système ne choisit pas un seul plan pour toujours. Il observe ce que vous faites en ce moment. Lisez-vous une courte phrase (mode interactif) ou tout un chapitre (mode par lots) ? Il choisit le meilleur plan pour cet instant précis.

3. L'Emballage « Sous-Couche » (Sharding)

Au lieu de déplacer des chapitres entiers d'un coup, cette équipe décompose la bibliothèque en sections minuscules (sous-couches).

La Section VIP : Les parties les plus importantes (comme le mécanisme « Attention », qui aide l'IA à se concentrer sur ce qui compte) sont toujours gardées dans le sac à dos car elles sont nécessaires en permanence.
La Section de Stockage : Les parties moins critiques restent à la maison et ne sont sorties que lorsque c'est absolument nécessaire.

Cette approche « sous-couche » permet au système de faire tenir des modèles massifs dans des sacs à dos minuscules qui ne pouvaient pas les contenir du tout auparavant.

La Mise à Niveau de la Vision : « VLMOpt » (Le Objectif de Caméra)

Le document traite également des modèles de langage visuel (VLM), qui sont des IA capables de « voir » des images.

Le Problème : Les photos haute résolution sont comme de gigantesques et lourdes peintures. Essayer de charger une image 4K dans un petit sac à dos fait planter le système.
La Solution : Ils ont ajouté un tour de magie spécial appelé VLMOpt.
1. Déchargement : Ils gardent les lourds « outils de peinture » (poids) à la maison et n'apportent que les coups de pinceau spécifiques nécessaires pour le moment présent.
2. Flash Attention : Ils utilisent une nouvelle façon de regarder l'image qui ne nécessite pas de se souvenir de chaque pixel à la fois, économisant ainsi d'énormes quantités d'espace.
3. Pas de Chevauchement : Ils s'assurent que la partie « peinture » et la partie « lecture » de l'IA n'essaient pas de s'asseoir dans le sac à dos en même temps. Ils se relaient, de sorte que le sac à dos ne devient jamais trop plein.

Les Résultats : Qu'est-il Arrivé Exactement ?

Le document a testé cela sur de vrais ordinateurs (des ordinateurs portables aux postes de bureau haut de gamme) avec divers modèles d'IA. Voici ce qu'ils ont trouvé, en s'en tenant strictement à leurs affirmations :

Vitesse : Pour une utilisation interactive (comme discuter avec une IA), le système a rendu l'IA 6,7 fois plus rapide pour commencer à parler et 30 fois plus rapide pour générer des mots par rapport aux méthodes précédentes.
Faire Tenir l'Impossible : Ils ont pu exécuter un modèle d'IA massif de 77 Go sur un ordinateur ne disposant que de 2 Go de mémoire vidéo. C'est comme faire tenir un immeuble de 77 étages dans une boîte à chaussures.
Traitement par Lots : Lors du traitement de nombreuses demandes à la fois (mode par lots), le système était jusqu'à 8,2 fois plus rapide.
Jeux Vidéo : Lors de l'exécution d'une IA parallèlement à un jeu vidéo (comme Cyberpunk 2077), le système a trouvé un « point idéal » où le jeu et l'IA fonctionnaient tous deux fluidement sans se faire planter mutuellement.
Vision : Pour l'IA « Cosmos-Reason1 » (qui examine des images), ils ont réduit la mémoire nécessaire par un facteur 10, permettant l'analyse d'images haute résolution sur des appareils qui ne pouvaient pas le gérer auparavant.

La Conclusion

Ce document introduit un « planificateur intelligent » qui agit comme un chef d'orchestre maître pour les ressources de votre ordinateur. Il ne rend pas l'IA moins précise (elle est « sans perte ») ; au lieu de cela, il détermine le moyen le plus efficace de faire circuler les données entre votre mémoire principale et votre mémoire vidéo.

En faisant cela, il permet aux développeurs d'exécuter de gigantesques et intelligentes IA sur des ordinateurs portables ordinaires et des PC de jeu, même si ces ordinateurs ont une mémoire vidéo très limitée. Il transforme un problème « trop gros pour tenir » en une solution « tout juste ce qu'il faut » en s'adaptant constamment aux conditions actuelles de l'ordinateur.

1. Énoncé du problème

Le papier aborde le défi critique consistant à exécuter des modèles d'IA à haute précision et à grande échelle (collectivement appelés xLM, incluant les LLM denses, les LLM à mélange d'experts (MoE) et les modèles Vision-Langage (VLM)) sur des systèmes côté client (bureautiques et portables) disposant d'une mémoire vidéo (VRAM) limitée.

La contrainte : Les GPU clients disposent souvent de beaucoup moins de VRAM que la mémoire totale requise par les modèles modernes à haute précision (par exemple, un modèle de 77 Go sur un GPU de 16 Go).
Les limites des solutions existantes :
- Quantification/Élagage : Ces techniques réduisent la taille du modèle mais sacrifient la précision, ce qui est inacceptable pour les applications haute fidélité.
- Délégation statique : L'ordonnancement hybride existant (par exemple, dans llama.cpp) repose souvent sur une configuration manuelle (par exemple, spécifier le nombre de couches GPU) et échoue à s'adapter dynamiquement aux conditions système variables (threads CPU, bande passante PCIe) ou aux phases d'inférence (préremplissage vs décodage).
- Absence d'universalité : Aucun produit existant ne gère efficacement simultanément les modes interactifs, le traitement par lots, les VLM haute résolution et les architectures denses/MoE sous des budgets VRAM stricts.

2. Méthodologie

Les auteurs proposent une technique novatrice d'ordonnancement hybride guidée par des profils de référence, appelée Pipelined Sharding (fragmentation en pipeline), combinée à un ensemble d'optimisations spécifiques à la vision appelées VLMOpt.

A. Pipelined Sharding (Innovation principale)

Il s'agit d'une technique d'ordonnancement entièrement automatique qui décompose le graphe d'inférence au niveau de la sous-couche (par exemple, en divisant les blocs Attention et FFN) plutôt qu'au simple niveau de la couche. Elle opère en trois phases :

Phase d'installation (Profilage) :
- Une suite de tests de référence s'exécute sur le matériel client spécifique pour profiler les performances du noyau (FLOPS) pour diverses tailles de tenseurs, niveaux de quantification et nombres de threads CPU.
- Crucialement, le profilage s'effectue sous charge concurrente (simulant le trafic PCIe et la contention du contrôleur mémoire) pour générer des estimations de temps précises pour l'exécution hybride CPU-GPU.
- Cela crée une petite base de données de profils (~170 Ko) utilisée pour l'estimation des coûts.
Phase de planification (Génération de l'ordonnancement) :
- Le système définit un ensemble de "Niveaux de jetons" (par exemple, 1, 4, 16, 64 jetons par itération) représentant différentes charges d'inférence.
- Pour chaque niveau, il génère trois plans d'ordonnancement distincts basés sur le budget VRAM actuel et les conditions système :
  - GPU uniquement : Toutes les sous-couches non verrouillées s'exécutent sur le GPU ; les poids sont transmis via PCIe. Optimal pour les charges de calcul élevées (grands lots/contexts) où la latence PCIe est masquée par le calcul.
  - Statique : Les sous-couches prioritaires (Attention, Cache KV) sont verrouillées dans la VRAM ; les sous-couches à faible priorité (FFN) s'exécutent sur le CPU. Minimise le trafic PCIe mais repose sur le calcul CPU.
  - Dynamique : Une approche hybride où les poids des sous-couches GPU sont transmis depuis la mémoire système (sysRAM) tandis que le CPU exécute les sous-couches précédentes. Cela chevauche les transferts PCIe avec le calcul.
- Un estimateur de temps basé sur le Roofline utilise la base de données de profils pour prédire la latence de chaque plan et sélectionne le plan optimal pour le niveau de jetons spécifique.
Phase d'inférence (Exécution) :
- Pendant l'inférence, le système détermine le nombre de "nouveaux jetons" pour le lot actuel.
- Il consulte l'ordonnancement optimal précalculé pour ce niveau de jetons et l'exécute.
- Cela permet au système de s'adapter de manière transparente entre le mode interactif (Taille de lot = 1, faible nombre de jetons) et le mode par lots (Taille de lot > 1, grand nombre de jetons).

B. VLMOpt (Optimisation Vision-Langage)

Pour prendre en charge les VLM haute résolution (spécifiquement le modèle Cosmos-Reason1), les auteurs ont implémenté trois optimisations dans llama.cpp :

Délégation CPU des tenseurs vision : Les poids du modèle vision sont verrouillés dans la mémoire CPU et transmis au GPU uniquement lorsque nécessaire, réduisant l'empreinte VRAM.
Flash Attention pour la vision : Implémentation de Flash Attention dans l'encodeur vision pour réduire la complexité mémoire $O(N^2)$ des scores d'attention pour les images haute résolution.
Évitement du chevauchement VRAM : Restructuration de l'exécution pour s'assurer que l'encodage vision se termine et libère la VRAM avant que le décodage langagier ne commence, garantissant que l'utilisation maximale de la VRAM est le maximum des deux parties plutôt que leur somme.

3. Contributions clés

Algorithme Pipelined Sharding : Un ordonnanceur hybride automatique novateur qui s'adapte aux conditions système (threads CPU, bande passante PCIe) et aux états d'inférence (contexte vs décodage) sans réglage manuel.
Implémentation VLMOpt : Une suite d'optimisations permettant l'inférence VLM haute résolution sur du matériel client avec des exigences VRAM considérablement réduites.
Implémentation open-source en C++ : La solution est implémentée dans llama.cpp (un framework axé sur le C++), la rendant accessible aux développeurs de jeux et aux ingénieurs en IA physique.
Évaluation complète : Tests rigoureux sur des LLM denses, des LLM MoE et des VLM sur divers matériels clients (portables aux postes de travail haut de gamme).

4. Résultats

L'évaluation démontre des améliorations de performances significatives par rapport à des bases de référence agressives (llama.cpp et vLLM réglés manuellement) :

Mode interactif (Taille de lot = 1) :
- TTFT (Temps jusqu'au premier jeton) : Amélioration allant jusqu'à 6,7×.
- TPS (Jetons par seconde) : Amélioration allant jusqu'à 30× (par exemple, pour le modèle 77Go Qwen235B).
- Faisabilité : Permet à des modèles massifs (par exemple, 77 Go) de s'exécuter de manière interactive sur des GPU disposant de seulement 2 Go de VRAM (atteignant >5 TPS, le seuil de vitesse de lecture humaine).
Mode par lots (Taille de lot > 1) :
- Améliorations du débit allant jusqu'à 8,2× par rapport aux bases de référence.
- L'ordonnanceur déplace efficacement le travail vers le GPU à mesure que la taille du lot augmente, évitant les goulots d'étranglement CPU.
Performance VLM (Cosmos-Reason1) :
- Réduction VRAM : Réduction de la demande en VRAM par un facteur 10× (de ~20 Go à ~2 Go), permettant une inférence haute résolution (1440p) sur des systèmes clients où elle était auparavant impossible.
- Latence : Gain de vitesse allant jusqu'à 1,78× sur la latence de bout en bout (E2EL) par rapport aux bases de référence avec des budgets VRAM équivalents.
Co-exécution : Dans des scénarios exécutant un jeu (Cyberpunk 2077) et un LLM simultanément, la solution permet au jeu de conserver davantage d'actifs en VRAM, améliorant à la fois les FPS du jeu et les TPS du LLM en évitant la contention des ressources.

5. Importance

Ce travail comble le fossé entre les exigences de haute précision de l'IA moderne et les contraintes matérielles des appareils clients grand public.

Inférence sans perte : Il prouve que des modèles à haute précision peuvent s'exécuter sur du matériel client sans sacrifier la fidélité du modèle par la quantification ou l'élagage.
Démocratisation : En permettant des VLM haute résolution et de grands modèles MoE sur des portables et des postes de travail standards, il permet aux développeurs de créer des assistants "IA physique" et des IA intégrées aux jeux avancés sans dépendre d'une infrastructure cloud coûteuse.
Adaptabilité : L'approche basée sur les niveaux de jetons et les profils fournit un cadre robuste pour l'évolution future du matériel, garantissant que les performances d'inférence évoluent avec les ressources disponibles (threads CPU, bande passante PCIe) plutôt que d'être statiquement liées à une configuration fixe.

En résumé, le papier présente une solution prête pour la production, automatisée, qui rend la prochaine génération d'IA côté client réalisable, efficace et sans perte.