🤖 machine learning

Contraction-Gauge Preconditioning for Quantized Matrix Multiplication

Cet article introduit le préconditionnement par jauge de contraction, une méthode qui optimise les représentations de facteurs et les schémas de partage avant la quantification afin de minimiser l'erreur de produit dans la multiplication matricielle à faible précision, s'appuyant sur un modèle d'erreur stochastique exact et validée par des réductions d'erreur significatives à travers diverses précisions et bancs d'essai.

Auteurs originaux : Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Publié 2026-07-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de cuisiner un gâteau géant et parfait, mais que vous n'avez qu'une minuscule tasse à mesurer friable. Dans le monde de l'intelligence artificielle, le « gâteau » est un calcul massif appelé multiplication de matrices, où deux grilles de nombres énormes sont broyées ensemble pour créer un nouveau résultat. La « tasse à mesurer » est la mémoire de l'ordinateur, qui force souvent ces nombres à être arrondis pour qu'ils rentrent dans des boîtes plus petites et plus simples (un processus appelé quantification). Si vous arrondissez trop agressivement, le gâteau s'effondre ; l'IA s'embrouille, fait des erreurs ou cesse de fonctionner entièrement.

Pendant longtemps, les scientifiques ont essayé de corriger cela en étant simplement plus prudents dans leur façon d'arrondir, ou en regroupant les nombres. Mais il y a un problème sournois : les nombres ne sont pas tous identiques. Certains sont énormes et bruyants (des valeurs aberrantes), tandis que d'autres sont minuscules et silencieux. Si vous les traitez tous de la même manière, les bruyants étouffent les silencieux, ou les erreurs d'arrondi s'accumulent de telle sorte que le goût final est gâché. La grande question était la suivante : comment réorganiser ces nombres avant de les presser dans les petites boîtes, afin que, lorsqu'ils seront broyés ensemble plus tard, le résultat soit toujours aussi délicieusement précis ?

Ce document, écrit par une équipe de chercheurs du Laboratoire National d'Oak Ridge, agit comme un nouveau livre de recettes de chef pour réorganiser ces ingrédients. Ils ont découvert une règle mathématique précise — une « identité d'erreur de contraction » — qui leur indique exactement quelle erreur se produira lorsqu'ils mélangent deux grilles arrondies. Considérez cela comme une boule de cristal qui prédit exactement à quel point le gâteau va s'effriter en fonction de la façon dont les ingrédients ont été découpés.

En utilisant cette boule de cristal, ils ont développé une méthode appelée « Préconditionnement de Contraction-Gauge ». Imaginez que vous avez une pile de briques de tailles inégales (les nombres dans votre première grille) et une pile de sacs de mortier de tailles inégales (les nombres dans votre seconde grille). Si vous essayez de construire un mur avec eux tels quels, le mur sera bancal. Les chercheurs ont trouvé un moyen d'étirer et de rétrécir les briques et les sacs de mortier avant de commencer à construire, afin qu'ils s'emboîtent parfaitement, même si vous devez utiliser un mortier légèrement plus grossier plus tard. Ils appellent cet étirement et ce rétrécissement un « pliage » (fold).

Le document prouve que trouver la façon parfaite de plier ces nombres revient à résoudre un type spécifique de casse-tête mathématique appelé « programme géométrique ». Ils ont montré que vous pouvez résoudre ce casse-tête pour trouver la meilleure façon absolue de réorganiser les nombres pour une tâche spécifique, plutôt que de simplement deviner. Ils ont également découvert que, parfois, pour obtenir le meilleur résultat, vous pourriez avoir besoin de faire quelques copies supplémentaires de vos ingrédients (le « facteur opposé ») pour utiliser différentes techniques de pliage dans différentes parties du mur. Ils ont créé un moyen de compter ces copies supplémentaires afin que les ingénieurs sachent exactement de combien de mémoire supplémentaire ils auront besoin.

L'équipe a testé sa nouvelle recette de deux manières. Premièrement, ils ont construit des scénarios fictifs et contrôlés dans un laboratoire informatique pour voir si leurs prédictions mathématiques correspondaient à la réalité. Ils ont constaté que leur « boule de cristal » était incroyablement précise, prédisant les erreurs avec une corrélation de plus de 90 %. Deuxièmement, ils ont pris une véritable IA entraînée pour reconnaître des chiffres écrits à la main (comme ceux que vous pourriez écrire sur une tablette) et ont essayé de réduire son cerveau pour utiliser moins de mémoire. Lorsqu'ils ont utilisé leur méthode « GP fold », l'IA a commis nettement moins d'erreurs que lorsqu'ils utilisaient les anciennes méthodes de l'arrondi standard. Plus précisément, à une précision de 8 bits, l'erreur a chuté de 18 %, et à une précision de 4 bits (qui est très petite), l'erreur a chuté de plus de 20 %.

Le document écarte également certaines méthodes simplifiées courantes. Ils ont montré que le simple fait de trier les nombres par taille (comme aligner les briques de la plus grande à la plus petite) n'est pas toujours la meilleure stratégie ; parfois, il faut regarder la forme des nombres pour les regrouper correctement. Ils ont également découvert que, bien que faire pivoter les nombres (rotation) puisse aider, cela ne fonctionne pas toujours si les nombres sont déjà plats et uniformes. Leur méthode est un système intelligent et adaptable qui vérifie les ingrédients spécifiques de votre problème et choisit la meilleure stratégie de réorganisation, qu'il s'agisse d'un simple étirement, d'une rotation complexe, ou d'un mélange des deux.

En résumé, ce document ne se contente pas de dire que « l'arrondi est difficile ». Il fournit un ensemble d'outils mathématiquement prouvés et précis pour que les ingénieurs réorganisent leurs données afin que, même lorsqu'ils sont contraints d'utiliser des outils de faible précision et de faible mémoire, le résultat final reste net, précis et fiable. Il transforme l'art désordonné de deviner comment réduire la taille des modèles d'IA en une science précise de la mesure et de l'optimisation.

Résumé Technique : Préconditionnement par Gauge de Contraction pour la Multiplication de Matrices Quantifiées

Énoncé du Problème

Le papier traite du défi de la multiplication de matrices à faible précision ($C = AB$) où les deux facteurs $A \in \mathbb{R}^{m \times K}$ et $B \in \mathbb{R}^{K \times n}$ sont quantifiés. Une difficulté primaire dans ce domaine est que la perte de quantification ne se propage pas de manière uniforme ; une erreur dans une entrée spécifique $A_{ik}$ affecte la ligne de sortie $C_{i,:}$ proportionnellement à l'énergie de la ligne correspondante dans $B$ ( $B_{k,:}$ ), et vice versa. Les méthodes existantes, telles que le groupement par canaux ou les transformations orthogonales, manquent souvent d'un objectif unifié au niveau du produit qui tienne compte de ces propagations d'erreurs asymétriques et du coût de stockage de multiples copies transformées des opérandes. Les auteurs visent à dériver des identités d'erreur exactes sous des hypothèses stochastiques et à formuler un cadre de « gauge de contraction » pour optimiser la représentation des facteurs avant la quantification, tout en gérant explicitement le compromis entre la réduction de l'erreur et le coût de stockage/trafic des copies transformées.

Méthodologie

1. Fondement Théorique : Identité de l'Erreur de Produit
Les auteurs dérivent une identité exacte de dimension finie pour l'espérance du carré de l'erreur de produit sous des erreurs par entrée, de moyenne nulle et mutuellement indépendantes, avec des champs de variance connus. Pour des facteurs quantifiés $\hat{A} = A + E_A$ et $\hat{B} = B + E_B$ , l'espérance de la norme de Frobenius au carré de l'erreur est :
$\mathbb{E}\|\hat{A}\hat{B} - AB\|_F^2 = \sum_{i,k} v^A_{ik} \|B_{k,:}\|_2^2 + \sum_{k,j} v^B_{kj} \|A_{:,k}\|_2^2 + \sum_{k} \left(\sum_i v^A_{ik}\right)\left(\sum_j v^B_{kj}\right)$
Cette identité est exacte pour le dither soustractif non-surchargé et l'arrondi stochastique indépendant avec des variances dépendantes du résidu. Elle sert d'objectif principal, pondérant les erreurs par l'énergie du facteur opposé.

2. Préconditionnement par Gauge de Contraction
La méthode exploite l'équivalence algébrique $AB = (AT)(T^{-1}B)$ pour tout $T \in GL(K)$ inversible. Les auteurs définissent une « gauge de contraction » comme le choix de $T$ appliqué à la dimension de contraction partagée $K$ avant la quantification.

Domaines de Gauge : Un domaine est un bloc de sortie fixe (par exemple, un bloc de lignes) assigné à une seule gauge.
Descripteur de Réutilisation ( $n_{opp}$ ) : Le coût du préconditionnement est mesuré par le nombre de copies transformées et quantifiées distinctes du facteur opposé requises. Si une seule gauge est partagée sur tous les domaines, $n_{opp}=1$ ; si des gauges distinctes sont utilisées par bloc, $n_{opp}$ augmente.

3. Familles Structurelles et Règles d'Optimisation
Le papier propose des stratégies d'optimisation spécifiques pour différentes familles de gauges :

Repliages Diagonaux (Mise à l'échelle) : Pour un domaine partagé, trouver la mise à l'échelle diagonale optimale $D$ telle que $(AD, D^{-1}B)$ minimise l'erreur est formulé comme un Programme Géométrique (GP). Cela permet une sélection globalement optimale des repliages partagés. Un programme linéaire (LP) est dérivé pour tester si le repliage identité est déjà optimal.
Partitionnement : Pour équilibrer la précision et le nombre de copies, le papier argumente contre le tri par norme scalaire (qui peut perdre un facteur linéaire de performance dû aux égalités aléatoires) et propose le regroupement dans les coordonnées de magnitude logarithmique pour grouper les lignes ayant des profils similaires.
Rotations : Pour les gauges orthogonales, le papier utilise la cohérence locale par blocs pour borner les gains potentiels. Il montre que les rotations aléatoires (ex: Hadamard) peuvent réduire les maxima de coordonnées dans un facteur logarithmique.
Rotations Partielles (Householder) : Lorsque l'énergie pondérée est de rang faible, les auteurs proposent d'utiliser un petit nombre de réflecteurs de Householder ( $t$ ) pour aligner le sous-espace propre supérieur d'une matrice de Gram pondérée vers une cible plane, ce qui coûte $O(tK)$.
Hiérarchies : Pour les gauges orthogonales à blocs diagonaux, un critère d'anti-corrélation de l'énergie des tranches est dérivé. Si les profils d'énergie de $A$ et $B$ à travers les tranches sont anti-corrélés, un raffinement hiérarchique réduit l'erreur ; sinon, une rotation plate est préférée. Une identité télescopique permet une sélection de profondeur ascendante.

4. Conception du Quantificateur

Allocation de Bits : Sous une contrainte de somme de largeur de bits fixe ( $b_A + b_B = b_{sum}$ ), la répartition optimale est asymétrique : $b_A - b_B = \frac{1}{2} \log_2(P_A/P_B)$ , où $P_A$ et $P_B$ sont les coefficients d'erreur pondérés par le produit.
Écrêtage et Diagnostics : Le papier introduit un diagnostic de fonction caractéristique tronquée ( $\Xi$ ) pour détecter l'alignement de réseau dans l'arrondi déterministe de type Round-to-Nearest (RTN), qui peut violer les hypothèses d'indépendance du modèle de bruit.

Contributions Clés

Comptabilisation Exacte de l'Erreur : Dérivation d'une identité exacte de l'espérance du carré de l'erreur de produit pour la multiplication de matrices quantifiées sous dither et arrondi stochastique, séparant explicitement les termes d'erreur dominants des termes croisés bilinéaires.
Cadre de Contraction-Gauge : Une formulation unifiée pour le préconditionnement qui couple le choix de la transformation $T$ , son mode de partage (domaines de gauge), et le coût de réutilisation de la représentation résultante ( $n_{opp}$ ).
Sélection de Repliage Globalement Optimale : Preuve que le problème de repliage partagé borné est un Programme Géométrique, solvable jusqu'à l'optimalité globale, et dérivation d'un test LP exact pour l'optimalité du repliage identité.
Statistiques de Décision : Développement de statistiques calculables pour guider la sélection de la transformation sans calculer les optima exacts pour toutes les familles :
- Indice de queue pour la mise à l'échelle.
- Étendue de profil pour le partitionnement.
- Cohérence de bloc et spectre de Gram pondéré pour les rotations.
- Covariance de l'énergie des tranches pour la profondeur hiérarchique.
Conception Sensible à la Réutilisation : Introduction de $n_{opp}$ comme métrique pour quantifier le coût de stockage et de trafic des différents modes de partage de gauge, permettant une analyse de compromis entre réduction d'erreur et coût d'implémentation.

Résultats

Expériences Synthétiques Contrôlées :

Mise à l'échelle : Le regroupement par magnitude logarithmique pour le partitionnement a atteint un étalement quasi-optimal (1.015x la référence de pureté de profil) par rapport au tri par norme scalaire (2.116x).
Repliages : Le repliage partagé par domaine via GP a réduit l'erreur modélisée d'un facteur d'environ 161x par rapport au repliage identité et de 4.86x par rapport aux bornes optimisées unilatéralement.
Allocation de Bits : Les répartitions asymétriques (ex: 9/7 au lieu de 8/8) ont obtenu une erreur 1.7x plus faible que les répartitions symétriques, correspondant aux prédictions théoriques.
Rotations : Les rotations de Hadamard aléatoires ont fourni jusqu'à 60x de réduction d'erreur sur des données à queue lourde avec des valeurs aberrantes injectées, tandis que les réflecteurs de Householder avec $t=3$ ont égalé la performance d'une rotation complète sur des données de rang 3.
Hiérarchies : Le critère d'anti-corrélation a prédit avec succès le point de croisement où le raffinement hiérarchique surpasse la rotation plate.

Validation par Classificateur Entraîné :
En utilisant un classificateur d'images à trois blocs (type ViT) sur des images de chiffres manuscrits :

Corrélation : Les prédictions du modèle de dither montrent une haute corrélation médiane de Spearman avec les erreurs RTN déterministes (0.937 à 8 bits, 0.918 à 4 bits).
Performance : L'utilisation du repliage GP au lieu du repliage identité a réduit l'erreur de produit sur l'ensemble de test de 18.0% à 8 bits et de 20.5% à 4 bits (moyenne géométrique).
Comparaison : Le repliage GP a surpassé un style de recherche par grille SmoothQuant (sélectionné par calibration) sur 10 des 12 produits et a obtenu une erreur inférieure à un oracle sélectionné par test en moyenne géométrique.
End-to-End : La quantification des 12 produits ensemble avec le repliage GP a réduit l'erreur MSE des logits de 15.4% (8-bit) et 26.4% (4-bit) par rapport au modèle de repliage identité.

Signification et Revendications

Le papier revendique une fondation stochastique rigoureuse pour la multiplication de matrices quantifiées qui va au-delà de la mise à l'échelle heuristique ou du groupement ad hoc. En établissant une identité d'erreur exacte et en la liant à un cadre de « contraction-gauge », les auteurs offrent :

Sélection Certifiée : Sélection globalement optimale au sein de la famille diagonale bornée via la Programmation Géométrique.
Objectif Unifié : Un objectif commun (erreur pondérée par le produit) pour évaluer diverses familles de transformations (repliages, rotations, hiérarchies) et leurs modes de partage.
Compromis Pratiques : Un mécanisme pour équilibrer explicitement la réduction d'erreur par rapport au coût de stockage de multiples copies transformées ( $n_{opp}$ ), ce qui est crucial pour le déploiement.

Les auteurs soulignent que bien que les identités exactes soient valables pour le dither et l'arrondi stochastique, les statistiques et règles de sélection dérivées se transfèrent efficacement à la quantification déterminante de type Round-to-Nearest, comme validé par les expériences sur le classificateur entraîné. Le travail ne prétend pas résoudre le problème complet d'optimisation $GL(K)$, mais fournit une procédure structurée et exécutable pour sélectionner des candidats performants au sein de familles restreintes et pratiques.