🔢 mathematics

High-Rate Quantized Matrix Multiplication I

Ce papier étudie le compromis fondamental en théorie de l'information entre le taux de quantification et la distorsion pour la multiplication matricielle générique sans calibration statistique préalable, tout en analysant et en dérivant des approximations heuristiques pour des schémas de quantification populaires tels que absmax INT et la virgule flottante.

Auteurs originaux : Or Ordentlich, Yury Polyanskiy

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Or Ordentlich, Yury Polyanskiy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'envoyer un film massif et haute définition à travers un tunnel minuscule et étroit. Le film représente les mathématiques complexes à l'intérieur d'un grand modèle de langage (comme ceux qui alimentent les chatbots), et le tunnel représente la mémoire et la vitesse de traitement de l'ordinateur. Si vous essayez de pousser le film complet et non compressé à travers, le tunnel s'encrasse et l'ordinateur ralentit jusqu'à l'arrêt.

Pour résoudre ce problème, les ingénieurs utilisent la quantification. Imaginez cela comme prendre ce film haute définition et le compresser en une version basse résolution et pixelisée. Ce n'est pas parfait, mais il passe beaucoup plus vite à travers le tunnel, et l'image reste suffisamment reconnaissable pour être regardée.

Ce papier, écrit par Or Ordentlich et Yury Polyanskiy, est comme un rapport de physique théorique sur la compression. Au lieu de simplement tester différents outils de compression pour voir lequel fonctionne le mieux en pratique, les auteurs se demandent : "Quelle est la limite absolue et mathématique de la façon dont nous pouvons compresser ces données avant qu'elles ne deviennent de la mauvaise qualité ?"

Voici une décomposition de leurs découvertes utilisant des analogies simples :

1. Les deux types de « compression »

Les auteurs soulignent une confusion entre la façon dont les mathématiciens et les ingénieurs parlent du « taux » (la quantité de données que nous conservons).

Le point de vue du mathématicien : Imaginez prendre un bloc entier de pixels et les compresser tous ensemble en un seul code ingénieux. C'est la méthode la plus efficace, mais elle est incroyablement difficile à réaliser en temps réel.
Le point de vue de l'ingénieur : Imaginez regarder chaque pixel individuellement et dire : « Tu es un peu trop lumineux, alors je vais simplement t'arrondir à la couleur standard la plus proche. » C'est ainsi que fonctionnent les puces d'IA actuelles (en utilisant des formats comme INT8 ou FP8). C'est rapide et facile, mais les auteurs soutiennent que ce n'est pas aussi efficace que la limite théorique.

2. L'hypothèse du « haut taux »

L'article se concentre sur un scénario où la compression n'est pas trop extrême (comme transformer un film en un dessin au trait). Ils supposent que nous conservons suffisamment de détails pour que le « bruit » (les erreurs introduites par l'arrondi) soit faible.

L'analogie : Imaginez essayer de mesurer une table avec une règle. Si votre règle a de minuscules graduations précises (haut taux), l'erreur n'est qu'une infime fraction de millimètre. Si vous utilisez une règle avec de grands espaces (bas taux), l'erreur est massive. Les auteurs supposent que nous utilisons la règle précise, ce qui leur permet d'utiliser des mathématiques simples pour prédire les erreurs.

3. Le « Parfait » versus le « Réel »

Les auteurs ont calculé la Limite Fondamentale : la meilleure précision possible que vous pourriez espérer atteindre si vous aviez un outil de compression magique capable de voir l'image entière d'un coup.

Le résultat : Ils ont constaté que pour un système parfait, l'erreur chute très rapidement à mesure que vous ajoutez plus de bits (plus de détails).
La réalité : Ils ont ensuite examiné les outils populaires utilisés en IA aujourd'hui, comme les formats INT (entier) et FP (virgule flottante).
- Le problème : Ces outils utilisent souvent une méthode d'échelle « taille unique » (comme utiliser la même règle pour un éléphant géant et une souris minuscule). Si les données contiennent quelques énormes nombres et beaucoup de petits, la règle s'étire pour s'adapter aux grands, faisant apparaître les petits comme des points flous.
- La solution : Ils ont découvert que si vous faites pivoter les données (comme tourner une image pour que les bords irréguliers s'alignent avec la grille) avant de les compresser, le « flou » devient beaucoup plus uniforme et prévisible. Il s'agit d'une technique appelée rotation aléatoire.

4. La surprise de la « rétrécissement »

Une découverte intéressante concerne le « rétrécissement ».

L'analogie : Si vous compressez une photo puis essayez de la décompresser, la meilleure estimation de l'original n'est pas simplement la photo décompressée ; c'est en fait une version légèrement « rétrécie » de celle-ci.
L'avis du papier : Bien que cet effet de « rétrécissement » existe, les auteurs ont constaté que dans le monde de haute qualité (haut taux) qu'ils étudient, le bénéfice est si minime que nous pouvons l'ignorer en toute sécurité pour garder les mathématiques simples.

5. Tester les outils

Les auteurs ont testé leurs théories contre des données réelles provenant d'un modèle d'IA populaire (Llama 3).

INT vs FP : Ils ont constaté que pour les formats entiers standards (INT), faire pivoter les données en premier est crucial. Sans rotation, l'erreur peut être énorme. Avec rotation, l'erreur chute près de la limite théorique.
Virgule flottante (FP) : De manière surprenante, pour les formats à virgule flottante, faire pivoter les données est en fait nuisible. Les auteurs expliquent que la façon dont ces formats gèrent les nombres traite naturellement les « bords irréguliers » mieux, donc faire tourner les données ne fait qu'embrouiller les choses.
NestQuant : Ils ont examiné une nouvelle méthode sophistiquée appelée NestQuant (qui utilise des formes géométriques complexes appelées « treillis » au lieu de cubes simples). Ils ont constaté qu'elle fonctionne nettement mieux que les outils standards, se rapprochant de cette limite théorique « magique ».

L'essentiel

Ce papier fournit un plan directeur pour l'avenir de la compression en IA. Il nous dit :

Il existe une limite mathématique stricte à la façon dont nous pouvons compresser les mathématiques de l'IA.
Les outils actuels (comme INT8 et FP8) sont bons, mais ils laissent souvent des « bits de précision » sur la table car ils ne tiennent pas compte de la forme des données.
La rotation est un tour de force puissant, mais c'est une arme à double tranchant : elle aide les mathématiques entières mais nuit aux mathématiques à virgule flottante.
Les méthodes plus récentes et plus complexes (comme NestQuant) commencent à combler l'écart entre ce que nous faisons et ce qui est mathématiquement possible.

En bref, le papier dit : « Nous connaissons la limite de vitesse de l'autoroute. Les voitures actuelles roulent vite, mais si nous ajustons le moteur (en utilisant la rotation ou de meilleurs treillis), nous pouvons nous rapprocher beaucoup plus de cette limite de vitesse sans accident. »

Résumé technique : Multiplication de matrices quantifiées à haut débit I

Énoncé du problème
Ce papier aborde le problème de la multiplication de matrices quantifiées (MatMul), une opération critique pour le déploiement efficace des grands modèles de langage (LLM). Les auteurs se concentrent sur un cadre « MatMul générique » où les deux matrices (poids et activations) doivent être quantifiées sans connaissance statistique a priori spécifique (calibration) des facteurs. Le défi central consiste à caractériser le compromis fondamental en théorie de l'information entre le taux de quantification (bits par entrée, $R$ ) et la distorsion résultante (erreur) dans le produit matriciel. Le papier distingue la définition information-théorique du « taux » (où un vecteur de $N$ entrées est encodé globalement en $NR$ bits) de la définition pratique utilisée en IA (où chaque entrée est quantifiée individuellement ou par petits groupes).

Méthodologie et cadre théorique
L'analyse repose sur la théorie de la quantification à haut débit, en supposant que le bruit de quantification est significativement plus faible que le signal ( $R$ est suffisamment grand). Sous cette hypothèse, l'erreur de quantification est modélisée comme un bruit additif, indépendant et uniformément distribué. Les auteurs négligent également les effets de « rétrécissement linéaire », qui sont d'ordre $O(2^{-4R})$ , afin de simplifier l'analyse de la distorsion.

Le papier formalise le problème en utilisant un schéma de quantification de taux $R$ impliquant des encodeurs et un décodeur, pouvant utiliser une randomisation partagée (pièces publiques). Il évalue les performances dans deux cadres :

Cas du pire : Les matrices $A$ et $B$ ont des normes $\ell_2$ bornées, mais aucune hypothèse distributionnelle n'est faite.
Cas moyen (Gaussien) : Les entrées de $A$ et $B$ sont indépendantes et identiquement distribuées (i.i.d.) selon une loi gaussienne.

Contributions et résultats clés

Limites fondamentales pour la MatMul générique :
Le papier établit que pour des matrices génériques, la plus petite distorsion espérée pour l'entrée $(i,j)$ du produit $A^\top B$ est caractérisée par :
$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$
où $a_i$ et $b_j$ sont les colonnes de $A$ et $B$ , et $n$ est la dimension. Cette borne est démontrée comme étant serrée pour des entrées gaussiennes. Les auteurs démontrent que les schémas non randomisés ou les approches de type « sketching » simples souffrent généralement d'une distorsion évoluant linéairement avec la dimension $n$ ( $\Omega(n)$ ), tandis que les schémas combinant la randomisation (rotation aléatoire/dither) avec la quantification par réseau peuvent atteindre la limite fondamentale.
Analyse des schémas de quantification populaires :
Les auteurs dérivent des approximations heuristiques précises pour la distorsion des schémas largement utilisés, les exprimant sous la forme $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$ , où $R_{\text{eff}}$ est le « taux effectif » en bits.
- Multiplicateurs INT (absmax) : Pour l'INT $M$ standard avec mise à l'échelle absmax, le taux effectif est $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$ . Cela indique une pénalité de taux significative due au facteur de mise à l'échelle $\ell_\infty$ . Le papier montre que l'application d'une rotation aléatoire (par exemple, transformée de Hadamard) avant la quantification réduit le facteur de distorsion $\Delta_{\text{INT}}$ pour qu'il se concentre autour de $2 \ln n$ , rendant la rotation cruciale pour la quantification INT.
- Multiplicateurs en virgule flottante (FP) : En utilisant un modèle de « Bruit Indépendant à Exposant Infini » (IEIN), les auteurs dérivent que pour le FP avec $M$ bits de mantisse, $R_{\text{eff}} \approx M + 2.23$ bits. Contrairement à l'INT, l'analyse suggère que pour la quantification FP, la rotation aléatoire est souvent inutile et peut même être néfaste, car le facteur de distorsion $\Delta_{\text{FP}}$ tend à être inférieur à 1 sans rotation pour certaines distributions.
- Formats multi-échelles (NVFP4/NVINT4) : Le papier analyse les formats 4 bits (NVFP4, NVINT4) qui utilisent une mise à l'échelle multiple (mise à l'échelle par groupe). Il soutient que NVFP4 se comporte efficacement comme un schéma à 1 bit de mantisse avec un taux effectif d'environ 3,24 bits, tandis que NVINT4 souffre des mêmes pénalités de mise à l'échelle que l'INT standard sauf s'il est soigneusement géré.
- NestQuant : Les auteurs passent en revue le cadre NestQuant, qui utilise des codes de réseau imbriqués (spécifiquement le réseau $E_8$ ) et une banque d'échelles. Ils notent que NestQuant surpasse significativement les schémas INT et FP à des taux de bits similaires, réalisant environ 0,6 bit supplémentaire de précision.
Validation empirique :
En utilisant des matrices d'activation provenant de la 15e couche de Llama3-8B, le papier valide les approximations théoriques.
- Les formules dérivées pour la distorsion INT et FP correspondent remarquablement bien aux mesures empiriques de l'erreur quadratique moyenne (RMSE).
- Les histogrammes confirment que la rotation aléatoire réduit drastiquement la variance du facteur de distorsion pour la quantification INT, mais a un impact différent, souvent négatif, sur la quantification FP.
- Les comparaisons à $R=4,5$ bits montrent que NestQuant surpasse significativement à la fois NVINT4 et NVFP4.

Signification et affirmations
Le papier prétend fournir les premières références en théorie de l'information pour la MatMul quantifiée générique où aucune statistique de calibration n'est disponible. Sa signification principale réside dans la quantification de l'écart entre les limites fondamentales et les approches pratiques restrictives (comme les formats INT/FP standards).

Les auteurs soulignent que, bien que les hypothèses de haut débit puissent ne pas tenir pour des taux de bits très faibles ( $R < 2$ ), elles fournissent des expressions suffisamment précises pour les taux généralement utilisés dans les LLM (par exemple, 4 à 8 bits). Ce travail sert de fondement théorique pour évaluer les stratégies de quantification actuelles, mettant en évidence que :

La rotation aléatoire est un composant critique pour la quantification INT afin d'approcher les limites fondamentales.
La quantification FP se comporte différemment, où la rotation peut ne pas être bénéfique.
Il existe un écart de performance substantiel entre les schémas standards et l'optimum théorique, qui peut être réduit par des techniques avancées comme NestQuant.

Le papier conclut en notant que la partie II de ce travail abordera le cadre de quantification des poids uniquement où les statistiques d'ordre deux des activations sont disponibles.