💬 NLP

LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs

Ce papier présente LATMiX, une méthode qui utilise des transformations affines inversibles apprissables pour optimiser les distributions d'activation en vue de la quantification micro-échelle (MX), améliorant ainsi considérablement la précision des grands modèles de langage à faible nombre de bits par rapport aux approches existantes basées sur la rotation ou la transformée de Hadamard.

Auteurs originaux : Ofir Gordon, Lior Dikstein, Arnon Netzer, Idan Achituve, Hai Victor Habi

Publié 2026-04-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ofir Gordon, Lior Dikstein, Arnon Netzer, Idan Achituve, Hai Victor Habi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque massive et incroyablement détaillée (un modèle de langage de grande taille, ou LLM) capable de répondre à n'importe quelle question, d'écrire du code ou de raconter des histoires. Le problème est que cette bibliothèque est si vaste et lourde qu'elle coûte cher à stocker et est lente à consulter. Pour la rendre plus rapide et moins coûteuse, les ingénieurs tentent de réduire les livres en les résumant dans des formats plus petits et plus simples. Ce processus s'appelle la quantification.

Cependant, il y a un piège. Dans ces bibliothèques massives, quelques pages contiennent des « valeurs aberrantes » — des phrases extrêmement longues et complexes qui ne s'intègrent pas bien dans le petit format simplifié. Lorsque vous essayez de forcer ces longues phrases dans un tout petit cadre, elles sont écrasées et déformées, gâchant ainsi l'histoire.

Le Problème : Le Goulot d'Étranglement du « Bloc »

Récemment, une nouvelle méthode d'organisation de ces livres, appelée Microscaling (MX), a été introduite. Au lieu de réduire toute la bibliothèque avec un seul résumé géant, MX découpe les livres en petits blocs et attribue à chaque bloc sa propre petite règle (facteur d'échelle) pour mesurer les mots. C'est excellent car cela gère différentes parties du texte avec plus de flexibilité.

Mais voici le hic : les méthodes précédentes tentaient de résoudre le problème des « valeurs aberrantes » en faisant tourner toute la bibliothèque comme une toupie. Lorsqu'ils ont essayé de combiner cette rotation avec les nouvelles « règles » par blocs, cela a créé le chaos. La rotation perturbait les mesures par blocs, et la bibliothèque devenait illisible.

Pour résoudre ce problème, les chercheurs antérieurs ont tenté une solution de contournement : ils ne faisaient tourner que les pages à l'intérieur de chaque petit bloc, en ignorant le reste de la bibliothèque. Bien que cela ait arrêté le chaos, c'était comme essayer de débloquer un embouteillage en ne déplaçant que les voitures dans une seule place de parking, tout en ignorant les voitures coincées dans la voie voisine. Cela ne résolvait pas le problème global.

La Solution : LATMiX (Le Réorganisateur Intelligent)

Les auteurs de cet article, LATMiX, proposent une méthode plus intelligente pour réorganiser les livres avant de les réduire.

Imaginez les données du modèle comme une foule de personnes dans une pièce. Certaines personnes sont regroupées dans un énorme amas dense (les valeurs aberrantes), tandis que d'autres sont dispersées.

Les anciennes méthodes tentaient de faire tourner toute la pièce ou simplement de mélanger les personnes au sein de petits groupes.
LATMiX agit comme un maître de chorégraphie. Il apprend un mouvement de danse personnalisé et flexible (une transformation affine) qui étale la foule dense uniformément dans toute la pièce.

Cette chorégraphie possède deux caractéristiques spéciales :

Elle est Apprenable : Au lieu d'utiliser une danse prédéfinie (comme une simple rotation), LATMiX utilise des outils d'IA standards pour apprendre les mouvements de danse parfaits spécifiquement pour les données qu'il examine. Il détermine exactement comment répartir l'énergie afin qu'aucun endroit ne soit trop encombré.
Elle Respecte les Blocs : Elle connaît les « règles » par blocs (format MX). Elle ne se contente pas de mélanger les personnes au hasard ; elle les mélange d'une manière qui fonctionne parfaitement avec le système de blocs, garantissant que les petites règles peuvent mesurer tout le monde avec précision.

Comment Cela Fonctionne (Le Tour de Magie)

L'article explique que LATMiX ne ralentit pas réellement la bibliothèque lors de sa lecture ultérieure. C'est comme un magicien qui réorganise les cartes avant que le tour ne commence, puis intègre ce réarrangement dans le jeu lui-même. Une fois le tour mis en place, le magicien (l'ordinateur) n'a pas besoin d'effectuer de travail supplémentaire pour mélanger ; les cartes sont déjà dans le parfait ordre. Cela signifie que la vitesse et l'utilisation de la mémoire restent aussi rapides qu'avant, mais la qualité des livres « réduits » est bien supérieure.

Les Résultats

Les auteurs ont testé cette méthode sur divers modèles (comme Llama et Qwen) et ont constaté que LATMiX surpassait systématiquement les autres méthodes.

Meilleure Précision : Les modèles « réduits » commettaient moins d'erreurs et comprenaient mieux les questions que les modèles utilisant d'anciennes techniques de réduction.
Robustesse : Cela fonctionnait bien sur différentes tailles de modèles, des plus petits aux plus grands.
Efficacité : Il a obtenu ces améliorations sans ajouter de temps ou de coût supplémentaire à l'exécution du modèle.

En résumé, LATMiX est un outil intelligent et apprenable qui réorganise les données juste avant la compression, garantissant que même les informations « aberrantes » les plus extrêmes survivent au processus de réduction sans se perdre, tout en s'intégrant harmonieusement aux formats matériels modernes.

1. Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés en utilisant la quantification post-entraînement (PTQ) pour réduire les coûts de mémoire et de calcul. Un format de données spécifique gagnant en popularité est le Microscaling (MX), qui partitionne les tenseurs en blocs, attribuant un facteur d'échelle unique à chaque bloc pour gérer les plages dynamiques plus efficacement que l'échelle globale.

Cependant, combiner la quantification MX avec les techniques existantes de mitigation des valeurs aberrantes (cruciales pour la quantification à faible nombre de bits) présente des défis significatifs :

Valeurs aberrantes des activations : Les activations des LLM contiennent des valeurs extrêmes (outliers) qui dominent l'erreur de quantification.
Limites des méthodes actuelles : Les approches existantes utilisent des transformations inversibles (généralement des rotations ou des transformations de Hadamard) pour redistribuer l'énergie des activations et supprimer les valeurs aberrantes.
- Transformations globales : L'application d'une rotation globale aux activations avant la quantification MX entraîne une dégradation sévère des performances, car la transformation globale entre en conflit avec la structure d'échelle par blocs du MX.
- Transformations bloc-diagonales : Des travaux récents suggèrent d'appliquer des transformations indépendamment dans chaque bloc MX (matrices bloc-diagonales). Bien que cela évite le désaccord, cela restreint la transformation à de petits sous-espaces isolés, empêchant une redistribution efficace de la masse des activations à travers l'ensemble du tenseur. Par conséquent, les valeurs aberrantes dominantes ne peuvent pas être suffisamment diffusées, ce qui conduit à une précision sous-optimale dans les régimes à faible nombre de bits (par exemple, 4 bits).

2. Méthodologie : LATMiX

Les auteurs proposent LATMiX (Transformations Affines Apprenables pour le Microscaling), une méthode qui généralise la réduction des valeurs aberrantes à des transformations affines inversibles de rang complet apprenables, optimisées spécifiquement pour le format de données MX.

A. Analyse Théorique

Les auteurs dérivent une borne supérieure théorique sur l'erreur de quantification sous quantification MX. L'analyse révèle que l'erreur dépend de deux facteurs concurrents :

La norme spectrale de la transformation inverse ( $||A^{-1}||_\sigma$ ) : Une mesure de la manière dont la transformation amplifie les erreurs.
Le maximum d'activation attendu par bloc : La moyenne des valeurs absolues maximales à l'intérieur de chaque bloc MX.

Le papier soutient que les transformations bloc-diagonales (utilisées dans les travaux antérieurs) sont un cas particulier qui échoue à équilibrer ces facteurs globalement. Au lieu de cela, une transformation affine complète (non bloc-diagonale) est requise pour prendre explicitement en compte à la fois la structure des blocs MX et la distribution globale des caractéristiques.

B. Architecture LATMiX

LATMiX apprend un ensemble de transformations affines inversibles ($T(x) = Ax + v$) qui peuvent être intégrées dans les couches linéaires du modèle, engendrant aucune surcharge d'inférence.

Emplacements des transformations :
- $T_1$ : Appliqué globalement au chemin résiduel (embeddings d'entrée).
- $T_2$ : Appliqué localement aux vecteurs de valeur dans l'attention multi-têtes (MHA) et à l'intérieur des réseaux de propagation avant (FFN).
- $T_3$ : Une transformation bloc-Hadamard en ligne (maintenue pour la cohérence avec les bases de référence antérieures).
Paramétrisation : Pour assurer l'inversibilité et permettre l'optimisation standard par apprentissage profond, les auteurs proposent deux paramétrisations pour la matrice $A$ $A$ :
1. Décomposition LU : $A = P(L + \text{diag}(s))$ , où $L$ est unitriangulaire inférieure.
2. Décomposition QR : $A = Q(R + \text{diag}(s))$ , où $Q$ est orthogonale (via l'exponentielle matricielle d'une matrice antisymétrique) et $R$ est triangulaire supérieure.
- Une régularisation préservant le volume est appliquée pour garantir que le déterminant reste proche de 1, empêchant l'instabilité numérique tout en permettant aux directions individuelles de s'étendre ou de se contracter.
Objectif d'optimisation :
- Perte de distillation : Au lieu d'imposer une invariance computationnelle stricte (qui nécessite des matrices orthogonales), LATMiX utilise une perte de divergence de Kullback-Leibler (KL) entre le modèle enseignant en pleine précision et le modèle étudiant quantifié transformé. Cela permet à la transformation de s'écarter de l'orthogonalité pour mieux s'adapter à la distribution des données.
- Régularisation : Un terme pour maintenir le volume de la transformation proche de 1.

C. Mécanisme d'Intégration (Folding)

Une contribution critique est la capacité d'intégrer (fold) directement les transformations affines apprises ( $A$ et $v$ ) dans les matrices de poids et les biais du LLM.

La transformation inverse est intégrée dans les projections d'entrée (K, Q, V) du mécanisme d'attention.
La transformation directe est intégrée dans les projections de sortie des couches d'attention et des FFN.
Cela garantit que lors de l'inférence, le modèle se comporte exactement comme un modèle quantifié standard sans coût computationnel supplémentaire.

3. Contributions Clés

Insight Théorique : Fourniture d'une borne théorique montrant que l'erreur de quantification dans les formats MX dépend à la fois de la distribution globale des caractéristiques et de la structure des blocs, prouvant que les transformations bloc-diagonales sont insuffisantes pour une réduction optimale de l'erreur.
Algorithme LATMiX : Introduction d'une méthode pour apprendre des transformations affines inversibles générales (non restreintes aux rotations) en utilisant des paramétrisations LU/QR et une perte de distillation.
Déploiement sans Surcharge : Démonstration que ces transformations complexes apprises peuvent être mathématiquement intégrées dans les couches linéaires existantes, maintenant la vitesse d'inférence et l'empreinte mémoire des modèles quantifiés standards.
Évaluation Complète : Validation de la méthode sur plusieurs tailles de modèles (de 1B à 32B) et architectures (Llama, Qwen) sur des benchmarks divers.

4. Résultats Expérimentaux

Les auteurs ont évalué LATMiX sur sept benchmarks de raisonnement zero-shot (ARC, HellaSwag, WinoGrande, PIQA, BoolQ, OpenBookQA) et la tâche de perplexité WikiText2.

Gains de Performance : LATMiX a constamment surpassé de solides bases de référence, notamment :
- La quantification MX standard (RTN, GPTQ).
- Les méthodes basées sur la rotation (QuaRot, SpinQuant).
- Les méthodes de rotation bloc-diagonale (MR-GPTQ, OSTQuant).
- D'autres méthodes basées sur la transformation (FlatQuant).
Récupération de Précision : Dans la quantification MXFP4 (4 bits), LATMiX a atteint jusqu'à 4 % d'amélioration de la récupération de précision moyenne par rapport aux meilleures bases de référence. Par exemple, sur Llama-3.2-1B, LATMiX-LU a atteint 93,88 % de récupération contre 93,07 % pour MR-GPTQ.
Robustesse : La méthode a montré des améliorations constantes à travers différentes tailles de modèles (de 1B à 32B) et granularités de quantification (MXFP4 et MXINT4).
Études d'Ablation :
- Complet vs Bloc : Les transformations affines complètes (au niveau du tenseur) ont nettement surpassé les transformations bloc-diagonales.
- Affine vs Orthogonale : L'apprentissage de transformations affines générales (avec biais) s'est révélé supérieur à l'apprentissage de matrices uniquement orthogonales (rotations).
- Fonction de Perte : La perte de distillation KL s'est avérée plus efficace pour la généralisation zero-shot que les pertes MSE ou Cross-Entropy.

5. Signification

Combler le Fossé : LATMiX comble avec succès le fossé entre la nécessité d'une suppression agressive des valeurs aberrantes (via des transformations globales) et les contraintes structurelles des formats MX pris en charge par le matériel moderne.
Efficacité Matérielle : En intégrant les transformations, LATMiX permet l'utilisation d'opérations mathématiques puissantes et apprises sans sacrifier les gains d'efficacité d'inférence fournis par la quantification MX.
Direction Future : Ce travail suggère que restreindre les transformations aux rotations ou aux matrices bloc-diagonales est sous-optimal. Il ouvre la voie à l'apprentissage de transformations plus expressives et dépendantes des données, respectant les formats de données spécifiques du matériel d'IA de nouvelle génération.

En résumé, LATMiX démontre que par l'analyse théorique de l'interaction entre les distributions d'activations et les structures de blocs MX, et par l'apprentissage de transformations affines flexibles, il est possible d'atteindre une quantification quasi sans perte des LLM à des largeurs de bits extrêmement faibles (4 bits) sans engendrer de surcharge d'inférence.