ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs

Résumé Technique : ARCQuant

Énoncé du Problème
Le déploiement des grands modèles de langage (LLM) est de plus en plus contraint par la bande passante mémoire et la latence de calcul. Bien que la quantification post-entraînement (PTQ) soit une optimisation standard, parvenir à une quantification agressive des poids en 4 bits et des activations en 4 bits (W4A4) tout en maintenant la fidélité du modèle reste un défi de taille. Les récentes avancées matérielles, spécifiquement l'architecture NVIDIA Blackwell, introduisent un support natif pour les formats à micro-mise à l'échelle (microscaling) à grain fin comme le NVFP4. Cependant, les stratégies de PTQ existantes sont mal adaptées à ces formats :

• Les méthodes basées sur la rotation (ex: transformations de Hadamard) redistribuent les magnitudes aberrantes (outliers) à travers les dimensions, perturbant l'isolation par bloc à grain fin inhérente au NVFP4 et gonflant les plages dynamiques locales.
• Les approches à précision mixte (ex: Atom, MicroMix) tentent de préserver les canaux sensibles dans une précision supérieure (INT8/FP16). Cependant, celles-ci violent l'exigence matérielle d'un calcul à précision unifiée. Le NVFP4 nécessite une taille de bloc de 16, tandis que les formats à plus haute précision utilisent souvent 32, ce qui crée une incompatibilité structurelle empêchant l'utilisation des instructions Tensor Core optimisées et dégrade le débit.

Méthodologie : ARCQuant
Pour lever ces barrières algorithmiques et matérielles, les auteurs proposent ARCQuant (Augmented Residual Channels Quantization). L'innovation centrale est un cadre qui maintient un chemin de données NVFP4 strictement unifié tout en compensant les erreurs de quantification par un mécanisme de résidu augmenté.

1. Identification Adaptative des Outliers : En utilisant des données de calibration, la méthode identifie les canaux aberrants dominants. Elle réordonne les canaux selon les maximums absolus et sélectionne un sous-ensemble $S$ où l'écart de précision entre le NVFP4 cible (mantisse E2M1) et un format de référence FP8 est significatif.
2. Quantification à Deux Étapes :
   • Étape Primaire : La matrice d'activation d'entrée est réordonnée et quantifiée via une quantification NVFP4 par bloc standard.
   • Étape de Résidu : Pour les canaux aberrants identifiés, la méthode calcule le résidu (la différence entre la valeur originale et la valeur quantifiée primaire). Ces résidus sont ensuite quantifiés séparément dans un second ensemble de canaux NVFP4.
3. Multiplication de Matrices Augmentée : Les résidus quantifiés sont concaténés avec les activations quantifiées primaires le long de la dimension de réduction ($K$). De même, les poids correspondants sont dupliqués pour correspondre à cette augmentation.
4. Exécution GEMM Unifiée : L'ensemble du processus est mappé dans une opération de multiplication de matrices étendue unique $(N, K_{in} + S, M)$. Cela permet au processus de compensation d'être exécuté à l'aide de noyaux GEMM CUTLASS standards et hautement optimisés sans modifier le chemin de données matériel ou nécessiter d'instructions à précision mixte. La linéarité de l'accumulation garantit que le calcul primaire et les corrections de résidus sont additionnés directement dans l'accumulateur de haute précision.
5. Implémentation du Kernel : Les auteurs implémentent un kernel CUDA fusionné qui intègre le réordonnancement des canaux, la RMSNorm, la quantification primaire et la quantification de résidu. Cela minimise la latence et produit des données dans un agencement de canaux entrelacés prêt pour le GEMM.

Principales Contributions

• Premier Cadre PTQ Optimisé pour NVFP4 : ARCQuant est le premier cadre spécifiquement conçu pour le NVFP4 qui utilise des canaux de résidus augmentés pour contourner les contraintes de précision mixte du matériel, atteignant une précision de niveau W4A8 dans des contraintes strictes de W4A4.
• Analyse de la Borne d'Erreur Théorique : Les auteurs fournissent une analyse rigoureuse montrant que la borne d'erreur dans le pire des cas de leur mécanisme NVFP4 à deux étapes est comparable à celle d'un mécanisme MXFP8 à une seule étape. Plus précisément, le surcoût d'alignement du processus à deux étapes ($\approx 1,266$) est inférieur à celui du MXFP8 ($< 2$), validant théoriquement le comblement de l'écart de précision.
• Implémentation Haute Performance : L'article détaille l'implémentation de kernels personnalisés qui mappent l'accumulation complexe de résidus vers des appels GEMM standards, garantissant la portabilité et l'efficacité sur les architectures Blackwell.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur les familles de modèles LLaMA 3.1 et Qwen2.5 (allant de 7B à 70B) et évaluées sur des GPU NVIDIA RTX 5090 et RTX PRO 6000.

• Précision : ARCQuant surpasse systématiquement les stratégies d'adaptation NVFP4 existantes (incluant RTN, SmoothQuant, QuaRot et MicroMix). Sur LLaMA 3.1-8B et Qwen2.5-7B, il dépasse les bases de référence W4A8 en termes de perplexité et de scores MMLU, comblant efficacement l'écart avec la précision FP16 complète. Sur Qwen2.5-32B, il atteint une compression quasi sans perte.
• Spécificités NVFP4 : Contrairement aux méthodes basées sur la rotation qui provoquaient une régression de performance sur NVFP4, ARCQuant parvient à supprimer les erreurs d'outliers sans perturber l'isolation par bloc.
• Efficacité : La méthode permet des accélérations significatives par rapport au FP16 (jusqu'à 3,5× sur RTX 5090 pour Llama 3.1-8B) et des réductions de mémoire (1,5×–2,8×). Le surcoût introduit par l'augmentation de résidu est minime (environ 4,9 % d'augmentation de latence totale), et il surpasse nettement les alternatives W4A8 et MXFP8 en termes de débit.
• Généralisabilité : L'approche démontre une robustesse à travers différentes tailles de modèles (incluant les architectures denses 70B et MoE 8x7B) et montre une extensibilité aux formats INT4 et MXFP4.

Signification et Revendications
L'article affirme qu'ARCQuant offre une voie évolutive et compatible avec le matériel pour une inférence efficace des LLM en résolvant le défi des outliers sans compromettre l'isolation par bloc ou l'uniformité matérielle. Les auteurs insistent sur le principe de « troquer des dimensions de calcul minimales contre une fidélité accrue », permettant l'utilisation d'une quantification 4-bit agressive sur le matériel de nouvelle génération tout en maintenant la précision des formats à plus haute précision. Le travail est présenté comme une solution pratique qui tire parti des capacités spécifiques de l'architecture NVIDIA Blackwell pour surmonter les limitations des stratégies PTQ actuelles.