🤖 machine learning

TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization

Ce papier présente TORQ, un cadre de quantification post-entraînement sans entraînement qui utilise des rotations orthogonales à deux niveaux pour résoudre théoriquement les déséquilibres structurels dans la quantification des activations MXFP4, réduisant ainsi considérablement l'écart de précision entre l'inférence en 4 bits et les modèles de pleine précision sur les grands modèles de langage.

Auteurs originaux : Zukang Xu, Xing Hu, Dawei Yang

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zukang Xu, Xing Hu, Dawei Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de ranger une bibliothèque massive et chaotique de livres (les « activations » à l'intérieur d'une IA intelligente) dans de minuscules boîtes d'expédition uniformes (le format « MXFP4 ») afin qu'elles puissent être expédiées rapidement et à moindre coût.

L'article soutient que simplement enfoncer ces livres dans les boîtes ne fonctionne pas bien. Les livres sont trop désordonnés, et les boîtes ont une forme très spécifique et rigide. Cela cause deux problèmes principaux, que les auteurs appellent TORQ (Rotation Orthogonale à Deux Niveaux).

Voici comment l'article explique le problème et leur solution, en utilisant des analogies simples :

Le Problème : Deux Façons Dont L'Emballage Échoue

1. Le Problème du « Voisin Bruyant » (Déséquilibre de Variance Inter-bloc)
Imaginez que votre bibliothèque est divisée en groupes de 32 livres. Dans le système actuel, chaque groupe reçoit une seule « étiquette de taille » (un facteur d'échelle) pour l'ensemble du groupe.

Le Problème : Dans la plupart des groupes, les livres sont petits et légers. Mais dans quelques groupes, il y a une seule encyclopédie géante et lourde.
Le Résultat : À cause de ce seul livre lourd, l'étiquette pour tout le groupe doit être réglée sur « Extra Grand ». Cela signifie que tous les petits livres légers de ce même groupe sont maintenant forcés dans une boîte géante. Ils sont écrasés, perdus, ou réduits à zéro parce que la boîte est trop grande pour contenir leurs petits détails. Quelques groupes « bruyants » ruinent la précision pour tout le monde.

2. Le Problème de l'« Étagère Vide » (Déséquilibre d'Utilisation du Codebook Intra-bloc)
Les boîtes d'expédition (MXFP4) sont livrées avec une liste pré-imprimée de tailles spécifiques qu'elles peuvent contenir (un « codebook »). Ces tailles sont espacées comme les barreaux d'une échelle : petit, moyen, grand, extra-grand.

Le Problème : Les données réelles de l'IA sont comme une foule de personnes où 90 % sont très petites et seulement 10 % sont grandes.
Le Résultat : Presque toutes les données tombent sur les barreaux « petits » de l'échelle. Les barreaux « moyens » et « grands » restent complètement vides et inutilisés. C'est comme avoir un entrepôt rempli de caisses géantes, mais vous n'utilisez que les toutes petites, tandis que les grandes prennent la poussière. C'est un gaspillage massif d'espace et de potentiel.

La Solution : TORQ (La Grande Réorganisation)

Au lieu d'essayer de forcer les livres désordonnés à s'adapter aux boîtes, les auteurs proposent de faire tourner les livres avant qu'ils ne soient emballés. Pensez-y comme mélanger un jeu de cartes pour que les cartes lourdes et les cartes légères soient mélangées uniformément, et que les personnes grandes et les personnes petites soient réparties.

Ils le font en deux étapes :

Étape 1 : Le Mélange Macro (Réparer le « Voisin Bruyant »)

L'Analogie : Imaginez que vous avez 100 groupes de livres. Certains groupes sont lourds, d'autres sont légers. Les auteurs utilisent un tour de mathématiques (basé sur le théorème de Schur-Horn) pour échanger des livres entre les groupes.
L'Objectif : Ils déplacent les livres « lourds » des groupes lourds vers les groupes légers, et vice versa.
Le Résultat : Maintenant, chaque groupe a à peu près le même poids total. Aucun groupe unique n'est dominé par un seul livre géant. Cela permet à l'« étiquette de taille » de chaque groupe d'être réglée sur une taille moyenne parfaite, préservant les détails des petits livres.

Étape 2 : Le Mélange Micro (Réparer l'« Étagère Vide »)

L'Analogie : Maintenant que les groupes sont équilibrés, regardez à l'intérieur d'un groupe. Les livres sont toujours regroupés dans la section « petite ». Les auteurs font tourner les livres à l'intérieur du groupe.
L'Objectif : Ils font tourner les livres pour qu'ils se répartissent uniformément sur toute l'échelle des tailles. Au lieu que 90 % des livres soient « petits », ils sont maintenant distribués de sorte que certains touchent les barreaux « moyens » et d'autres les barreaux « grands ».
Le Résultat : Ils utilisent chaque barreau de l'échelle. Aucun espace n'est gaspillé. Le « codebook » est pleinement utilisé.

Le Résultat

En effectuant cette rotation en deux étapes avant que l'IA ne soit compressée (un processus appelé Quantification Post-Entraînement, ce qui signifie qu'ils n'ont pas besoin de réapprendre l'IA), ils obtiennent des résultats étonnants :

Précision : Ils ont réussi à réduire l'IA à une précision de 4 bits (de minuscules boîtes) sans perdre beaucoup de sa « puissance cérébrale ». Dans les tests, leur méthode (TORQ) était bien plus intelligente que les méthodes précédentes, obtenant des scores proches de l'IA complète, non compressée.
Vitesse et Taille : Parce que les boîtes sont plus petites, l'IA fonctionne plus vite et occupe moins de mémoire sur des appareils comme les téléphones ou les serveurs.
Pas de Travail Supplémentaire : La « rotation » est calculée une fois puis intégrée dans les poids de l'IA. Lorsque l'IA fonctionne, elle ne ressent aucun ralentissement supplémentaire ; la rotation se produit automatiquement dans le cadre des mathématiques.

En bref : L'article dit : « N'essayez pas de serrer une foule désordonnée et inégale dans une boîte rigide. Au lieu de cela, mélangez doucement la foule pour que tout le monde soit réparti uniformément, et ensuite mettez-les dans la boîte. Cela fait fonctionner la boîte parfaitement. »

Résumé Technique : TORQ – Rotation Orthogonale à Deux Niveaux pour la Quantification MXFP4

1. Énoncé du Problème

Alors que les Grands Modèles de Langage (LLM) se dirigent vers un déploiement pratique, le format Microscaling FP4 (MXFP4) s'est imposé comme une norme critique pour l'inférence en faible précision, grâce à son équilibre entre dynamique élevée et efficacité matérielle. Cependant, l'application directe du MXFP4 à la quantification des activations des LLM entraîne une dégradation sévère de la précision. L'article identifie que les méthodes de quantification basées sur la rotation, conçues principalement pour les formats entiers (par exemple INT4), échouent à adresser la structure topologique unique des formats à point flottant par bloc (Block Floating Point - BFP) comme le MXFP4.

Grâce à une analyse théorique, les auteurs révèlent que la chute de performance découle de deux déséquilibres structurels entre les distributions d'activation réelles et le format à point flottant par bloc MXFP4 :

Déséquilibre Extrême de la Variance Inter-blocs : Sous un microscaling à blocs fixes, la variance des activations est très inégale. Une minorité de blocs à haute variance domine l'erreur de quantification totale. Ces blocs forcent le facteur d'échelle partagé (exposant) à augmenter pour accommoder les valeurs aberrantes, ce qui entraîne un grossissement excessif de la résolution pour la majorité des activations de faible magnitude au sein du même bloc, conduisant souvent à la mise à zéro de plus de 90 % des éléments.
Déséquilibre d'Utilisation du Codebook Intra-bloc (Effondrement du Codebook) : Les activations réelles suivent souvent une distribution à queue lourde concentrée près de zéro, ce qui ne correspond pas au codebook à progression géométrique du MXFP4 (e2m1). Cela entraîne un « effondrement du codebook », où la vaste majorité des valeurs tombent dans l'intervalle de quantification minimum, laissant les mots de code à haute capacité pour les grandes valeurs inutilisés. Les statistiques montrent que ~50 % de la plage des mots de code est activée par seulement ~10 % des données.

2. Méthodologie : Cadre TORQ

Pour répondre à ces défis, les auteurs proposent TORQ (Rotation Orthogonale à Deux Niveaux pour la Quantification MXFP4), un cadre de quantification post-entraînement (PTQ) sans réentraînement. Au lieu d'ajuster passivement les paramètres de quantification, TORQ fait tourner activement le système de coordonnées des activations pour aligner les caractéristiques de distribution avec les propriétés structurelles du MXFP4. La méthode décompose l'optimisation en deux sous-problèmes mathématiquement orthogonaux :

A. Rotation d'Équilibre Macroscopique (Inter-blocs)

Objectif : Éliminer la domination des blocs à haute variance en redistribuant uniformément l'énergie d'activation sur tous les blocs.
Base Théorique : Fondée sur le théorème de Schur-Horn et la théorie de l'optimisation convexe. Les auteurs prouvent que, sous un modèle d'erreur convexe, l'égalisation de la variance entre les blocs minimise l'Erreur Quadratique Moyenne (MSE) globale.
Mécanisme : Une transformation orthogonale est construite pour garantir que les éléments diagonaux de la matrice de covariance transformée soient uniformes (c'est-à-dire que toutes les variances de bloc deviennent égales). Cela agit comme un mécanisme de « suppression douce des valeurs aberrantes », empêchant les blocs à haute variance de faire augmenter les facteurs d'échelle partagés et préservant la précision des éléments de faible magnitude.
Implémentation : Un algorithme itératif de rotation de Givens efficace est utilisé pour construire la matrice de rotation, assurant une convergence en temps $O(B^2)$ .

B. Rotation d'Alignement Microscopique (Intra-blocs)

Objectif : Atténuer l'« effondrement du codebook » en remodelant la distribution d'activation intra-bloc pour exploiter toute la capacité du codebook MXFP4.
Base Théorique : Guidée par le principe de l'entropie maximale. L'objectif est de faire « couler » la distribution d'activation uniformément vers chaque intervalle de mot de code dans l'espace FP4 normalisé.
Mécanisme : La méthode définit une Perte d'Équilibre d'Occupation du Codebook, qui mesure l'écart entre l'utilisation empirique des mots de code et une distribution uniforme.
Optimisation : Une stratégie de descente de coordonnées alternée est employée :
- Étape S : Met à jour les facteurs d'échelle de bloc pour mapper les valeurs d'activation maximales au mot de code MXFP4 maximum.
- Étape R : Met à jour la matrice de rotation orthogonale intra-bloc en utilisant des rotations de Givens. Une heuristique sélectionne les paires de colonnes présentant un déséquilibre élevé et une complémentarité statistique, puis recherche l'angle de rotation optimal par énumération finie (exploitant la nature constante par morceaux de la fonction de perte).

Efficacité de l'Inférence

TORQ est conçu pour une surcharge minimale. Les matrices de rotation inverses sont fusionnées dans les poids des couches linéaires adjacentes lors de la phase de calibration hors ligne. Par conséquent, la phase d'inférence en ligne engendre un coût de calcul supplémentaire négligeable, la rotation étant effectivement absorbée dans la multiplication matricielle des poids.

3. Contributions Clés

Formalisation du Problème : L'article est le premier à identifier et formaliser systématiquement les deux défis structurels entravant la performance du MXFP4 : le Déséquilibre de Variance Inter-blocs et le Déséquilibre d'Utilisation du Codebook Intra-bloc.
Cadre à Double Niveau : Il propose TORQ, le premier cadre de rotation à double niveau explicitement conçu pour les structures à point flottant par bloc. En intégrant l'équilibre de variance macroscopique et l'alignement de codebook microscopique, il réalise une minimisation systématique de l'erreur de quantification.
Fondement Théorique : Les auteurs fournissent des preuves rigoureuses montrant que l'équilibre de variance est approximativement optimal sous des modèles d'erreur convexes et que l'équilibre d'occupation des mots de code approxime la minimisation de l'erreur de quantification sous la structure géométrique du MXFP4.
Pipeline PTQ Efficace : Un pipeline sans réentraînement est établi, ne nécessitant que des données de calibration minimales (par exemple, 128 échantillons) et démontrant une compatibilité matérielle avec une empreinte paramétrique négligeable.

4. Résultats Expérimentaux

Des expériences ont été menées sur des LLM courants (séries LLaMA3 et Qwen3) allant de 8 à 70 milliards de paramètres, couvrant à la fois les architectures Denses et à Mélange d'Experts (MoE). L'évaluation comprenait la perplexité sur WikiText2 et la précision en zéro-shot sur des tâches telles que ARC, HellaSwag, MMLU, GSM8K et HumanEval.

Supériorité de Performance : TORQ surpasse significativement les méthodes actuelles de l'État de l'Art (SOTA) (incluant RTN, GPTQ, QuaRot, OSTQuant, FlatQuant et BRQ).
- Sur Qwen3-32B, TORQ a réduit la perplexité WikiText à 8,43 (contre 274,93 pour RTN et 14,62 pour OSTQuant), se rapprochant de la référence BF16 de 7,61.
- La précision moyenne sur les tâches en zéro-shot pour Qwen3-32B est passée de 38,40 % (RTN) à 73,63 % (TORQ), correspondant presque à la référence BF16 de 74,82 %.
- Sur LLaMA3-70B, TORQ a atteint une perplexité de 3,49 (contre 3180,43 pour RTN) et une précision moyenne de 76,28 %.
Capacités de Raisonnement : TORQ a démontré une forte récupération de l'« intelligence profonde » dans des tâches de raisonnement complexes. Sur GSM8K pour Qwen3-8B, la précision a été restaurée à 86,82 % (contre 67,37 % pour GPTQ), et la précision HumanEval a atteint 61,15 %.
Généralisabilité : La méthode s'est avérée efficace sur différents formats de microscaling (MXINT4, NVFP4) et architectures MoE (Qwen3-30B-A3B), confirmant son caractère agnostique au format.
Efficacité : La calibration TORQ est nettement plus rapide que les méthodes concurrentes (par exemple, ~10 fois plus rapide que FlatQuant pour Qwen3-32B). Des accélérations d'inférence de 3,5x par rapport au BF16 ont été observées sur Qwen3-30B-A3B, avec une utilisation de la mémoire réduite de 56,9 Go à 15,3 Go.

5. Importance et Revendications

L'article revendique que TORQ comble efficacement le fossé entre la quantification à virgule flottante sur 4 bits et l'inférence pleine précision, résolvant la dégradation de précision inhérente à la quantification des activations MXFP4. En déplaçant le paradigme d'optimisation de l'ajustement local des paramètres vers la « transformation orthogonale consciente de la structure », TORQ fournit la première solution systématique pour la quantification des activations MXFP4.

Les auteurs positionnent ce travail comme posant une fondation cruciale pour l'application des formats à virgule flottante en faible précision dans le déploiement efficace des LLM. Ils reconnaissent des limitations, telles que l'accent actuel mis sur les statistiques du premier ordre (ignorant les moments d'ordre supérieur comme le kurtosis) et l'utilisation de tailles de blocs fixes, notant que des stratégies adaptatives pour ces facteurs restent une direction pour les travaux futurs. Cependant, les résultats actuels établissent un nouveau paradigme d'optimisation pour la quantification des activations à virgule flottante en faible précision.