Résumé Technique : INFOQUANT

Énoncé du Problème

La quantification des activations à faible nombre de bits reste un goulot d'étranglement critique pour le déploiement efficace des grands modèles de langage (LLM). Alors que les poids dans les LLM sont généralement plats et uniformément distribués, les activations contiennent souvent un petit nombre de coordonnées dominantes (valeurs aberrantes) qui étendent la plage de quantification. Cela force la quantification par arrondi à l'entier le plus proche à mapper de nombreuses valeurs normales vers les mêmes quelques niveaux discrets, entraînant une perte d'information significative.

Les méthodes existantes de quantification après entraînement (PTQ) tentent d'atténuer ce problème en supprimant les valeurs aberrantes, en équilibrant les canaux ou en minimisant l'erreur de reconstruction (par exemple, MSE). Cependant, l'article soutient que ces approches échouent à définir explicitement quelle distribution d'activations est réellement « favorable à la quantification ». Les méthodes peuvent réduire les pics visibles ou diminuer l'erreur numérique sans améliorer la « discrétisabilité » fondamentale de la distribution, laissant souvent la plage de quantification trop large ou provoquant l'effondrement des valeurs près de la moyenne.

Méthodologie : INFOQUANT

Les auteurs proposent INFOQUANT, un cadre PTQ sans entraînement qui reformule la transformation des activations comme une « conception de distribution face au quantificateur ». La philosophie centrale découle d'une analyse théorique de l'information montrant qu'une faible erreur de quantification nécessite deux propriétés complémentaires :

1. Une plage numérique plus petite (pour réduire la taille du pas de quantification).
2. Une dispersion suffisante au sein de cette plage (pour utiliser efficacement les niveaux de quantification disponibles).

INFOQUANT atteint cet objectif grâce à trois composants principaux :

1. Transformation Orthogonale de Suppression des Pics (PSOT)

PSOT apprend une matrice de rotation orthogonale pour remodeler les distributions d'activations. Contrairement aux rotations fixes (par exemple, Hadamard), PSOT optimise une matrice orthogonale bloc-diagonale $R$ pour minimiser une fonction de perte spécifique :
$$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$$
où $y = xRP_\perp$ (activation centrée et rotatée), et $\pi_T$ est un poids softmax basé sur la magnitude. Cet objectif pénalise explicitement les coordonnées de forte magnitude (pics). En supprimant la coordonnée centrée la plus élevée tout en préservant l'énergie totale du token (due à l'orthogonalité), PSOT force l'énergie restante à se répartir sur plus de dimensions. Cela réduit simultanément l'échelle de recadrage (rétrécissant la plage) et augmente la dispersion normalisée ($b_n$).

2. Sélection Adaptative des Tokens Aberrants (ASOT)

Pour assurer une optimisation robuste, INFOQUANT ne traite pas tous les tokens de calibration de manière égale. Il identifie les tokens présentant des « structures aberrantes sensibles à la quantification » et les répondère pendant l'optimisation de la rotation.

• Il sélectionne les tokens contenant au moins une coordonnée statistiquement extrême.
• Il emploie un mécanisme de sélection par seuil pour garantir que les positions aberrantes sélectionnées varient d'un échantillon à l'autre (évitant le surapprentissage à des mises en page de prompts fixes ou à des artefacts de calibration).
• Ces tokens sélectionnés sont surpondérés ($\gamma > 1$) dans la fonction de perte, tandis que les tokens normaux servent de régularisateurs.

3. Recadrage des Activations Apprenable (LAC)

Après que la distribution a été remodelée par PSOT, la méthode applique une étape finale de calibration utilisant des paramètres de recadrage apprenables ($\alpha, \beta$). Ces paramètres affinent la taille du pas d'activation pour faire correspondre la sortie du bloc quantifié à la sortie pleine précision, minimisant ainsi l'erreur de reconstruction spécifiquement pour la distribution remodelée.

Contributions Clés

1. Cadre Théorique de l'Information : L'article établit un lien théorique entre l'erreur de quantification et les propriétés de la distribution d'activations. Il démontre que la minimisation de l'erreur de quantification équivaut à réduire la borne d'erreur recadrée normalisée, ce qui nécessite une plage numérique plus petite et une dispersion plus élevée.
2. Algorithme INFOQUANT : Une méthode efficace pour le matériel et sans entraînement qui apprend des transformations orthogonales pour façonner les activations en distributions favorables à la quantification, complétée par une sélection adaptative de tokens et un recadrage apprenable.
3. Validation Empirique : Des expériences extensives sur les familles LLaMA-2 et LLaMA-3 (de 7B à 70B) et les modèles Qwen2.5.

Résultats Expérimentaux

La méthode a été évaluée sous diverses configurations de largeur de bits, y compris le paramétrage difficile W4A4KV4 (poids 4 bits, activations 4 bits, cache KV 4 bits).

• Préservation de la Précision : Dans le paramétrage W4A4KV4, INFOQUANT préserve en moyenne 97 % de la précision flottante originale sur les modèles LLaMA-2 et LLaMA-3.
• Performance de l'État de l'Art : Il réduit l'écart de performance du modèle LLaMA-2 13B de 42 % par rapport à l'état de l'art précédent (SpinQuant) sous W4A4KV4.
• Comparaison avec les Baselines : INFOQUANT surpasse constamment les méthodes basées sur la rotation (QuaRot, SpinQuant) et les méthodes de reconstruction des poids (GPTQ, AWQ). Il surpasse également OSTQuant basé sur la distillation sur plusieurs modèles (par exemple, LLaMA-3 8B, LLaMA-2 13B) sans nécessiter de supervision pleine précision.
• Efficacité : La méthode permet la quantification du modèle LLaMA-2 70B en utilisant uniquement 24 Go de mémoire GPU. Elle maintient un chemin d'inférence léger compatible avec les noyaux à faible nombre de bits existants, évitant la surcharge élevée de FLOP associée aux transformations dynamiques pendant l'inférence (contrairement à FlatQuant).

Signification et Revendications

L'article affirme que la limitation principale de la quantification actuelle des activations à faible nombre de bits n'est pas simplement la présence de valeurs aberrantes, mais le décalage entre la distribution des activations et les capacités d'un quantificateur uniforme à faible nombre de bits. En déplaçant le focus de la « suppression des valeurs aberrantes » vers la « mise en forme de la distribution », INFOQUANT démontre que l'apprentissage de transformations orthogonales spécifiques peut améliorer considérablement la discrétisabilité.

Les auteurs soulignent que leur approche est sans entraînement et efficace pour le matériel, la rendant pratique pour un déploiement sur du matériel grand public. Ils notent que, bien que leur méthode repose sur des données de calibration et des choix d'implémentation spécifiques (comme les matrices bloc-diagonales), elle offre une alternative robuste au fine-tuning supervisé ou aux pipelines de distillation lourds. L'article conclut que les travaux futurs devraient étendre cette analyse au-delà des hypothèses d'activations en forme de cloche vers des régimes distributionnels plus larges.