Résumé Technique : TileQ - Quantification Efficace de Rang Faible des Mélanges d'Experts avec Pavage 2D

1. Énoncé du Problème

Les modèles de type Mélange d'Experts (MoE) sont devenus un paradigme dominant pour la mise à l'échelle des grands modèles de langage (LLM) en activant de manière éparses des sous-réseaux spécialisés dits « experts ». Bien que cette architecture réduise les coûts de calcul lors de l'inférence, elle introduit un goulot d'étranglement mémoire critique : l'ensemble complet des paramètres des experts doit rester résident en mémoire, même si seule une petite sous-ensemble est active par token. Cette empreinte mémoire importante limite sévèrement le déploiement sur du matériel aux ressources contraintes et augmente les coûts d'inférence dans le cloud.

Les méthodes existantes de quantification post-entraînement (PTQ), en particulier les approches de rang faible, offrent une voie de compression. Cependant, les méthodes actuelles de l'état de l'art présentent trois limitations majeures lorsqu'elles sont appliquées aux modèles MoE :

1. Dégradation de la Précision : Les schémas de quantification simples subissent des baisses de performances sévères à des largeurs de bits extrêmement faibles (par exemple, 2 bits).
2. Surcharge Mémoire : Les PTQ de rang faible traditionnels entraînent souvent une surcharge mémoire supplémentaire non négligeable due au stockage des facteurs de rang faible pour chaque expert indépendamment ou à l'utilisation de stratégies de partage 1D qui n'exploitent pas pleinement la redondance entre les experts.
3. Latence d'Inférence : Les méthodes de quantification haute précision introduisent souvent une latence significative. Dans les modèles MoE, où les experts sont petits et épars, la surcharge de gestion de matrices de rang faible disjointes pour chaque expert peut dégrader la vitesse d'inférence de plus de 50 %, annulant les bénéfices de l'épissure.

De plus, les méthodes basées sur le fine-tuning (comme LoRA) dégradent la généralisation du modèle et sont inadaptées à une adaptation rapide aux tâches sans réentraînement. L'objectif est d'atteindre une haute précision et des ratios de compression élevés avec une latence d'inférence minimale, sans fine-tuning.

2. Méthodologie : TILEQ

Les auteurs proposent TILEQ, une méthode de PTQ sans fine-tuning qui emploie une quantification structurée de rang faible par pavage 2D. L'innovation centrale réside dans le partage des facteurs de rang faible à la fois sur les dimensions d'entrée et de sortie des experts MoE, plutôt que de traiter les experts indépendamment ou de partager uniquement le long d'une seule dimension.

2.1. Quantification Structurée de Rang Faible par Pavage 2D

La méthode approxime la matrice de poids $W_k$ de chaque expert $k$ en arrangeant tous les $K$ experts dans une disposition pavée 2D. Cela permet le partage des facteurs de rang faible $U$ et $V$ à travers la grille.

Le processus implique cinq étapes clés :

1. Mise à l'Échelle : Une matrice de mise à l'échelle diagonale est appliquée à la matrice de poids de chaque expert basée sur des données de calibration pour aligner les vecteurs singuliers avec les espaces de caractéristiques d'entrée/sortie.
2. Extraction : Des facteurs SVD de rang approximatif $r_0$ ($U_k, V_k$) sont extraits pour chaque expert mis à l'échelle. Ceux-ci sont vectorisés et normalisés pour créer des embeddings de caractéristiques.
3. Clustering : Un algorithme de biclustering (K-Means) est appliqué aux embeddings normalisés pour assigner chaque expert à une coordonnée de grille idéale $(m, n)$ dans une grille de tuiles $M \times N$. Cela regroupe les experts ayant des sous-espaces singuliers similaires.
4. Placement par Pavage 2D : Pour résoudre les conflits où plusieurs experts mappent vers la même tuile, une stratégie d'allocation spatiale gourmande est utilisée. Cela minimise la distance entre la position de cluster idéale d'un expert et sa position physique réelle dans la tuile. Les experts sont ensuite placés dans une grande matrice bloc $W_{big}$.
5. Quantification : La grande matrice pavée $W_{big}$ subit une décomposition de rang faible globale (approximée via un Sketching Gaussien pour éviter le SVD coûteux). Les facteurs de rang faible partagés résultants ($U, V, \Sigma$) sont stockés, et l'erreur résiduelle pour chaque expert est quantifiée en utilisant des méthodes sensibles à la Hessienne (GPTQ/GPTVQ) et des techniques de rotation (LOPRO).

Insight Technique Clé : En structurant les experts dans une grille 2D, TILEQ permet aux experts de la même ligne de partager une base gauche (espace de sortie) et aux experts de la même colonne de partager une base droite (espace d'entrée). Cela réduit considérablement la surcharge de stockage par rapport aux méthodes de partage 1D ou élément par élément.

2.2. Inférence Sparse de Rang Faible Fusionnée Efficace

Pour résoudre le goulot d'étranglement de la latence, TILEQ introduit LoTileMoE, un algorithme d'inférence qui fusionne plusieurs calculs d'experts de rang faible en une opération en un seul passage.

• Mécanisme : Au lieu d'effectuer une dispatch sparse irrégulière, par token, pour chaque expert, l'algorithme projette l'ensemble du lot d'entrée sur le facteur gauche partagé $(U\Sigma)$ une seule fois. Il reformate ensuite cette projection en un tenseur 3D, applique des poids de routage pour sélectionner les tuiles actives, et effectue une multiplication matricielle par lot unique avec le facteur droit partagé $V$.
• Optimisation : La méthode évite de construire explicitement de grands tenseurs 3D intermédiaires en utilisant un tampon d'accumulation in-place. Cela remplace les accès mémoire irréguliers par des opérations tensorielles denses et régulières (GEMM) hautement optimisées sur le matériel moderne (GPU/TPU).
• Complexité : L'approche réduit la complexité de la gestion de $K$ petits GEMM séparés à deux grands GEMM bien formés, améliorant considérablement l'utilisation du matériel et réduisant la surcharge de lancement de noyaux.

3. Contributions Clés

1. PTQ de Rang Faible par Pavage 2D : Une méthode de quantification novatrice, sans fine-tuning, qui exploite la similarité des experts via le pavage 2D pour permettre des représentations partagées efficaces à la fois sur les dimensions d'entrée et de sortie, atteignant des ratios de compression supérieurs aux méthodes de partage 1D ou indépendantes.
2. Algorithme d'Inférence Fusionné : Une technique d'inférence optimisée (LoTileMoE) qui fusionne les calculs d'experts de rang faible en une opération en un seul passage, éliminant la surcharge de latence associée au dispatch d'experts sparse dans les modèles MoE.
3. Efficacité de Performance : La méthode atteint une précision de quantification de l'état de l'art tout en réduisant l'utilisation mémoire supplémentaire de rang faible jusqu'à 10 fois et la latence d'inférence à environ 5 % de la surcharge de base, sans nécessiter de fine-tuning.

4. Résultats Expérimentaux

Les auteurs ont évalué TILEQ sur plusieurs modèles MoE représentatifs, notamment Qwen1.5-MoE-A2.7B, Qwen3-30B-A3B, Qwen3-Next-80B-A3B, Mixtral-8$\times$7B et Deepseek-MoE-16B.

• Précision : TILEQ démontre une robustesse dans des configurations de bits extrêmement faibles (2 bits et 3 bits).
  • Sur Mixtral-8$\times$7B à 2 bits, TILEQ atteint une perplexité de 4,78, surpassant nettement GPTQ (15,3) et GPTVQ (5,28).
  • À 3 bits, TILEQ approche les performances FP16 (par exemple, perplexité 4,10 contre 3,87 pour FP16 sur Mixtral) et atteint des scores MMLU comparables aux modèles non quantifiés.
  • Il surpasse systématiquement les bases de comparaison telles que GPTQ, GPTVQ, MOEQUANT et LOPRO sur diverses tâches en aval (ARC, PIQA, Winogrande, MMLU, HellaSwag).
• Efficacité Mémoire : TILEQ réduit la surcharge mémoire supplémentaire requise pour les facteurs de rang faible jusqu'à 90 % (réduction de 10 fois) par rapport aux méthodes par expert. Par exemple, sur Qwen3-30B-A3B, il atteint une réduction de 8 fois de la surcharge mémoire par rapport à la quantification de rang faible par expert.
• Latence d'Inférence :
  • Préremplissage (Prefill) : TILEQ réduit la latence à moins de 5 % en remplaçant le dispatch sparse irrégulier par des GEMM structurés.
  • Décodage (Decode) : Bien que limité par la mémoire, TILEQ maintient une faible latence (environ 5-10 % de surcharge) en utilisant des dispositions de poids contiguës et un accès vectorisé, tandis que les méthodes élément par élément et partagées 1D souffrent d'augmentations de latence de 15 à 75 %.
• Études d'Ablation : Les expériences confirment que le mécanisme de pavage 2D est le principal moteur de la performance, car son retrait augmente les exigences de largeur de bits de 8 fois tout en maintenant une précision similaire. La méthode est évolutive sur des modèles avec des épissures et des tailles d'experts variables.

5. Importance et Revendications

L'article revendique que TILEQ fournit une solution évolutive et compatible avec le matériel pour le déploiement de modèles MoE sous des contraintes strictes de mémoire et de calcul. En structurant conjointement les experts dans une disposition de pavage 2D et en fusionnant les opérations d'inférence, TILEQ surmonte les compromis entre précision, compression et latence qui affectent les méthodes PTQ de rang faible existantes.

Les auteurs soulignent que TILEQ sert d'extension légère et polyvalente aux cadres PTQ existants (comme GPTQ), permettant le déploiement de modèles MoE épars de nouvelle génération sans nécessiter de fine-tuning ou de réentraînement coûteux en calcul. La méthode est particulièrement significative pour les scénarios nécessitant une quantification ultra-basse en bits (2-3 bits) où les méthodes traditionnelles échouent à maintenir la fidélité.