BATQuant: Outlier-resilient MXFP4 Quantization via Learnable Block-wise Optimization

Each language version is independently generated for its own context, not a direct translation.

🌟 Le Problème : Le "Géant" qui a peur des petits espaces

Imaginez que vous avez un géant (un modèle d'intelligence artificielle très puissant, comme ceux qui écrivent des histoires ou analysent des images). Ce géant est énorme, il occupe toute la place dans votre maison (votre ordinateur ou téléphone). Pour le faire entrer dans un petit appartement (votre téléphone), vous devez le "réduire".

C'est ce qu'on appelle la quantification. On prend les nombres très précis du géant (qui utilisent beaucoup de mémoire) et on les transforme en nombres plus simples et plus petits (comme passer d'une mesure en millimètres à une mesure en centimètres).

Le hic ?
Le géant a des "taches" bizarres sur son manteau : ce sont des valeurs aberrantes (des nombres énormes qui sortent du lot).

L'ancienne méthode (Rotation) : C'était comme essayer de faire tourner le géant sur lui-même pour cacher ces taches. Mais dans le nouveau format de stockage (appelé MXFP4, une sorte de boîte de rangement très compacte), cette rotation a un effet désastreux : elle fait passer les taches d'un endroit à l'autre, créant de nouvelles taches partout et cassant la boîte de rangement. Le géant trébuche et ne fonctionne plus bien.
Le résultat : L'IA devient bête, elle hallucine (elle voit des choses qui n'existent pas) ou oublie des détails importants.

💡 La Solution : BATQuant (Le "Tacticien de Blocs")

Les chercheurs de Huawei ont créé BATQuant. Imaginez que BATQuant est un architecte très minutieux qui ne cherche pas à faire tourner le géant, mais à le réorganiser pièce par pièce.

Voici comment ça marche, avec des analogies simples :

1. La Transformation Affine par Blocs (Le "Tri par Boîtes")

Au lieu de mélanger tout le contenu du géant d'un coup (comme le faisaient les anciennes méthodes), BATQuant le divise en petites boîtes (des blocs de 32 éléments).

L'analogie : Imaginez que vous rangez une bibliothèque. Au lieu de mélanger tous les livres pour essayer de les aplatir, vous prenez chaque étagère (chaque bloc) séparément. Vous ajustez la hauteur des livres uniquement sur cette étagère.
Pourquoi c'est mieux ? Si un livre est géant (une valeur aberrante) sur l'étagère 5, il ne va pas polluer l'étagère 6. Chaque boîte garde son propre équilibre. Cela évite que les "taches" se propagent partout.

2. La Décomposition GPK (Le "Kit de Construction Modulaire")

Apprendre à ajuster chaque boîte individuellement prendrait trop de temps et d'espace de stockage (comme avoir un manuel d'instructions unique pour chaque livre).

L'analogie : BATQuant utilise une astuce géniale appelée GPK. C'est comme si vous aviez un manuel de base commun (le "Global") que tout le monde utilise, et un petit post-it personnalisé (le "Privé") pour chaque étagère spécifique.
Le résultat : Vous économisez énormément d'espace (comme ranger un immense manuel dans une petite pochette) tout en gardant la capacité de régler chaque étagère avec précision.

3. Le "Cisaillement Apprenant" (Le "Filtre Intelligent")

Parfois, même après le tri, il reste un livre trop gros qui dépasse de la boîte.

L'analogie : BATQuant utilise un couteau intelligent qui apprend à couper exactement ce qui dépasse, mais seulement si nécessaire. Il ne coupe pas au hasard ; il ajuste la taille de la coupe en fonction de ce qu'il voit dans chaque boîte. Cela empêche les valeurs extrêmes de casser le système.

🏆 Les Résultats : Le Géant dans sa nouvelle maison

Grâce à cette méthode, les chercheurs ont testé BATQuant sur des modèles très avancés (comme Qwen3, capable de voir des images et de raisonner).

Avant : Avec les anciennes méthodes, en essayant de compresser au maximum (4 bits), le modèle perdait jusqu'à 10-15 % de son intelligence. Il faisait des erreurs grossières (comme compter un point d'intersection qui n'existait pas).
Avec BATQuant :
- Le modèle garde 96,43 % de son intelligence originale, même dans la configuration la plus compressée !
- Il est capable de lire des numéros de train sur une photo ou de résoudre des problèmes de mathématiques complexes sans se tromper.
- C'est comme si le géant, une fois rangé dans son petit appartement, continuait à se comporter comme s'il était dans un palace.

🚀 En résumé

BATQuant, c'est l'art de ne pas mélanger les cartes.
Au lieu de secouer tout le paquet pour essayer de le compresser (ce qui crée le chaos), on prend chaque petit groupe de cartes, on l'ajuste parfaitement, et on utilise une astuce de rangement pour ne pas prendre trop de place.

C'est une percée majeure qui permet de faire tourner des intelligences artificielles très puissantes sur des appareils plus petits et plus rapides, sans sacrifier leur capacité à "réfléchir" ou à "voir" le monde.

Each language version is independently generated for its own context, not a direct translation.

Résumé Technique : BATQuant

1. Problématique

L'adoption des formats de point flottant micro-échelle (MXFP), en particulier MXFP4, est devenue cruciale pour le déploiement efficace des Modèles de Langage (LLM) et des Modèles de Langage Multimodaux (MLLM) sur les accélérateurs matériels modernes. Ces formats utilisent une mise à l'échelle par blocs (généralement 32 éléments) pour gérer les distributions à longue traîne des activations.

Cependant, les méthodes de quantification post-entraînement (PTQ) existantes, conçues principalement pour les formats entiers (INT), échouent catastrophiquement sur MXFP4. Les techniques basées sur la rotation globale (comme QuaRot ou SpinQuant), qui fonctionnent bien en INT4, provoquent un effondrement des performances en MXFP4 pour deux raisons fondamentales :

Transfert d'énergie inter-blocs : Les rotations orthogonales globales transfèrent l'énergie des valeurs aberrantes (outliers) d'un bloc de quantification à un autre, créant de nouveaux outliers locaux qui perturbent les facteurs d'échelle spécifiques à chaque bloc.
Distributions bimodales : Les transformations de Hadamard utilisées dans ces méthodes induisent souvent des distributions bimodales au sein des blocs, ce qui gaspille la plage de quantification limitée du format MXFP4 et augmente l'erreur de quantification.

2. Méthodologie : BATQuant

Pour résoudre ces problèmes, les auteurs proposent BATQuant (Block-wise Affine Transformation), une approche qui aligne strictement les transformations sur la granularité du matériel MXFP.

A. Transformation Affine par Bloc (Block-wise Affine Transformation)
Contrairement aux rotations globales, BATQuant restreint la transformation à l'intérieur de chaque bloc de quantification (taille $g=32$ ).

Principe : Au lieu d'une matrice globale, la méthode apprend une matrice affine diagonale par blocs ( $P = \text{diag}(P_1, P_2, \dots, P_k)$ ).
Avantage : Cela empêche le transfert d'énergie des outliers entre les blocs, garantissant que le facteur d'échelle de chaque bloc capture précisément sa dynamique locale. De plus, les contraintes d'orthogonalité sont assouplies pour permettre une optimisation affine qui façonne mieux la distribution des activations.

B. Décomposition Kronecker Globale et Privée (GPK)
L'apprentissage d'une matrice affine complète pour chaque bloc entraînerait un surcoût de stockage prohibitif. Pour y remédier, BATQuant introduit la décomposition GPK :

Chaque matrice de bloc $P_i$ est décomposée en un produit de Kronecker d'une matrice globale partagée ( $A$ ) et d'une matrice privée spécifique au bloc ( $B_i$ ) : $P_i = B_i \otimes A$ .
Efficacité : Cette approche réduit drastiquement le nombre de paramètres (plus de 74 % de réduction par rapport aux méthodes naïves) tout en maintenant une complexité de multiplication matricielle faible grâce à des astuces de vectorisation.

C. Écrêtage Apprenable par Bloc (Block-wise Learnable Clipping)
Pour supprimer les outliers résiduels qui pourraient encore dominer la plage de quantification, une stratégie d'écrêtage adaptatif est intégrée. Les seuils d'écrêtage ( $\beta^{min}, \beta^{max}$ ) sont appris dynamiquement pour chaque bloc en fonction de ses statistiques locales, utilisant une fonction sigmoïde pour contraindre les ratios d'écrêtage.

D. Intégration dans l'Architecture

Côté Poids : Les transformations sont fusionnées hors ligne (offline) dans les couches linéaires.
Côté Activations : Les transformations et l'écrêtage sont appliqués en ligne (online) lors de l'inférence.
Le système est compatible avec les modules MLP et Self-Attention des architectures Transformer (y compris les caches KV).

3. Contributions Clés

BATQuant : Un cadre robuste pour la quantification MXFP4 qui élimine le transfert d'énergie inter-blocs et résout le problème des distributions bimodales grâce à des transformations affines par bloc.
GPK : Une technique de décomposition innovante pour réduire l'empreinte mémoire des paramètres apprenables sans sacrifier la précision.
Écrêtage Adaptatif : Une méthode fine pour supprimer les outliers résiduels au niveau du bloc.
Validation Étendue : Une évaluation complète sur des modèles LLM (Qwen3-8B) et MLLM (Qwen3-VL-8B), couvrant des tâches de raisonnement, de compréhension multimodale et de perception visuelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur des configurations agressives, notamment W4A4KV16 (poids 4-bit, activations 4-bit, cache KV 16-bit) et W4A8KV16.

Performance Multimodale (Qwen3-VL-8B) :
- En configuration W4A4KV16, BATQuant atteint un taux de récupération de 96,43 % par rapport au modèle en précision complète (BF16), surpassant nettement l'état de l'art (FlatQuant à 94,79 %).
- En configuration W4A8KV16, la méthode atteint 99,29 % de récupération, avec une dégradation inférieure à 1 %.
Performance LLM (Qwen3-8B) :
- Sur les tâches de raisonnement (GSM8K, MATH-500), BATQuant maintient une stabilité là où les méthodes basées sur la rotation (SpinQuant, QuaRot) s'effondrent.
- En W4A4KV16, BATQuant récupère 92,45 % de la performance sur les benchmarks de raisonnement, contre moins de 86 % pour les meilleures méthodes concurrentes.
Visualisation : Les graphiques montrent que BATQuant produit des distributions d'activation unimodales et compactes, contrairement aux distributions bimodales observées avec les méthodes par blocs (BRQ) ou les rotations globales.

5. Signification et Impact

BATQuant représente une avancée majeure pour le déploiement de modèles de grande taille sur du matériel de nouvelle génération supportant le format MXFP4.

Résolution du problème d'incompatibilité : Il démontre que les techniques de rotation globales sont fondamentalement inadaptées à la granularité fine du MXFP, et que l'alignement strict avec la granularité matérielle est la clé.
Efficacité : En permettant une quantification 4-bit (poids et activations) avec une perte de performance minimale, il ouvre la voie à l'exécution de modèles multimodaux complexes sur des périphériques aux ressources limitées.
Généralisation : La méthode prouve sa robustesse aussi bien sur des tâches de langage pur que sur des tâches visuelles complexes (OCR, raisonnement géométrique), où la préservation des détails fins est critique.

En conclusion, BATQuant établit un nouvel état de l'art pour la quantification MXFP4, offrant une solution pratique et efficace pour l'ère des grands modèles multimodaux sur accélérateurs matériels spécialisés.