🤖 machine learning

KronQ: LLM Quantization via Kronecker-Factored Hessian

KroneQ est un cadre de quantification post-entraînement qui améliore la compression des grands modèles de langage en incorporant la covariance du gradient dans l'objectif de quantification via une approximation de la Hessienne factorisée par Kronecker, permettant un traitement de l'incohérence bidirectionnelle et des mesures de sensibilité améliorées qui atteignent une perplexité supérieure par rapport aux méthodes existantes comme GPTQ, particulièrement dans les scénarios de très bas bits.

Auteurs originaux : Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Publié 2026-07-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un cerveau de robot géant et incroyablement intelligent (un grand modèle de langage) capable d'écrire des histoires, de résoudre des problèmes mathématiques et de discuter comme un humain. Le problème ? Ce cerveau est si massif qu'il nécessite un entrepôt entier d'ordinateurs juste pour tenir sur une étagère. Pour le faire fonctionner sur un ordinateur portable ou un téléphone classique, les scientifiques essaient de le « rétrécir » en compressant sa mémoire, un processus appelé quantification. C'est comme préparer une valise : vous voulez faire tenir tous vos vêtements (la connaissance du modèle) dans un petit sac sans rien perdre d'important.

Pendant un certain temps, la meilleure façon de préparer cette valise était une méthode appelée GPTQ. Elle fonctionnait en observant comment l'« entrée » du robot (les mots qu'il lit) variait et en ajustant les poids en conséquence. Mais les auteurs de ce nouvel article, KronQ, ont remarqué une faille dans cette stratégie. Ils ont réalisé que GPTQ ne regardait que le côté entrée de l'équation, supposant que chaque sortie possible (les mots que le robot pourrait dire ensuite) était également importante.

La grosse erreur : ignorer le côté « Sortie »
L'article soutient que cette supposition revient à essayer de préparer une valise en regardant seulement le poids des vêtements, tout en ignorant leur fragilité. En réalité, certaines parties du cerveau du robot sont super sensibles. Si vous les écrasez trop, tout s'effondre.

Les auteurs ont mesuré cela et ont découvert quelque chose de stupéfiant : dans un modèle massif comme LLaMA-3-70B, les canaux de « sortie » (les chemins que le robot utilise pour générer des réponses) varient énormément en importance. Certains sont comme du verre délicat ; d'autres sont comme des briques robustes. Les anciennes méthodes les traitaient tous de la même manière, ce qui faisait que le robot devenait incontrôlable lorsqu'il était trop compressé. En fait, lorsqu'ils ont essayé de réduire LLaMA-3-70B à seulement 2 bits (une quantité minuscule de mémoire), les anciennes méthodes ont complètement échoué, produisant des absurdités avec une « perplexité » (un score de confusion du modèle) de plus de 2000. C'est comme si un robot oubliait totalement comment parler anglais.

La nouvelle solution : KronQ
Voici entré KronQ. Les auteurs proposent une nouvelle façon de préparer la valise qui regarde à la fois l'entrée et la sortie. Ils utilisent un tour de magie mathématique appelé approximation de l'Hessien par facteur de Kronecker.

Voici l'analogie : Imaginez que le cerveau du robot est un tambour géant.

Ancienne méthode (GPTQ) : Vous frappez le tambour par l'avant (l'entrée) et vous ajustez la tension en fonction de la vibration de l'avant. Vous supposez que l'arrière du tambour est un miroir de l'avant.
KronQ : Vous frappez le tambour par l'avant et par l'arrière. Vous réalisez que l'arrière vibre différemment ! Certaines parties de l'arrière sont lâches et vacillantes, tandis que d'autres sont tendues. KronQ mesure cette « vibration arrière » (la covariance du gradient) et l'utilise pour préparer la valise beaucoup plus soigneusement.

Deux super-pouvoirs de KronQ
L'article montre que KronQ fait deux choses ingénieuses :

Incohérence bidirectionnelle (Le « mélange ») :
Avant de préparer la valise, KronQ mélange les poids dans deux directions (entrée et sortie) pour s'assurer qu'aucun endroit ne soit surchargé d'articles lourds ou fragiles. C'est comme prendre une pile de livres en désordre et les répartir uniformément pour que la valise ne gonfle pas en un point précis. L'article montre que cela réduit la « variabilité » des poids, les rendant beaucoup plus faciles à compresser sans les briser.
Allocation intelligente des bits (Le « Pass VIP ») :
Toutes les parties du robot n'ont pas besoin du même espace. KronQ calcule un « score de sensibilité » pour chaque sous-couche du cerveau. Il donne plus de bits (plus d'espace mémoire) aux couches « VIP » (les plus sensibles) et moins de bits aux autres. Crucialement, parce qu'il regarde le côté sortie, il peut faire la différence entre des couches qui semblent identiques du côté entrée mais qui agissent très différemment.

Les résultats : Sauver la mise
Les auteurs ont testé KronQ sur plusieurs modèles, de 7 à 70 milliards de paramètres. Les résultats sont spectaculaires, surtout lorsqu'ils ont tenté de réduire les modèles à la limite extrême de 2 bits.

L'échec : Sur le modèle massif LLaMA-3-70B, les anciennes méthodes (GPTQ et GPTAQ) ont divergé ou produit des résultats aberrants (perplexité > 2000).
Le succès : KronQ a réussi à compresser ce même modèle de 70 milliards de paramètres à 2 bits et l'a fait fonctionner parfaitement, atteignant une perplexité de 7,93 sur le jeu de données WikiText-2. C'est une différence énorme entre un « robot cassé » et un « robot intelligent ».

Même dans les configurations à 4 et 3 bits, KronQ bat systématiquement la concurrence, affichant des scores de confusion plus bas et une meilleure précision sur des tests de raisonnement comme PiQA et Arc-Challenge. Par exemple, sur LLaMA-2-7B à 2 bits, KronQ obtient une perplexité de 8,15, tandis que GPTQ peine à 31,11.

Le coût
Y a-t-il un piège ? L'article admet que pour obtenir ces données de « vibration de sortie », KronQ nécessite une passe arrière supplémentaire à travers le modèle avant la préparation. Cela prend un peu plus de temps et de mémoire pendant la phase de configuration (environ 8 à 11 secondes de plus par couche par rapport à GPTAQ). Cependant, une fois le modèle préparé, la vitesse d'exécution réelle et l'utilisation de la mémoire lors de l'utilisation sont tout aussi efficaces que les anciennes méthodes. Le travail supplémentaire est un coût de configuration unique qui permet de réduire le modèle beaucoup plus loin sans le casser.

Ce qu'ils ont écarté
L'article argumente explicitement contre l'idée selon laquelle on peut ignorer le côté sortie des mathématiques. Ils montrent que supposer que toutes les directions de sortie sont égales (en fixant la covariance du gradient à une matrice identité) est une « approximation sous-optimale » qui mène à l'échec dans les scénarios à ultra-bas nombre de bits. Ils montrent également que les méthodes qui ne regardent que les statistiques d'entrée (comme le GPTQ standard) ne peuvent pas distinguer des sous-couches différentes qui partagent la même entrée, ceما conduisant à de mauvaises décisions sur l'allocation de la mémoire.

À quel point sont-ils sûrs d'eux ?
Les auteurs sont très confiants dans leurs résultats car ils sont basés sur des mesures concrètes, pas seulement sur des simulations. Ils ont effectué ces tests sur du matériel réel (GPU A100) avec de vrais modèles (LLaMA-2, LLaMA-3, Gemma, DeepSeek) et ont mesuré la perplexité et les scores de précision réels. Ils n'ont pas seulement suggéré que cela pourrait fonctionner ; ils ont montré que dans ces expériences spécifiques, les anciennes méthodes ont littéralement échoué à produire un modèle fonctionnel à 2 bits, tandis que KronQ a réussi.

En bref, KronQ est comme un expert en bagages qui a réalisé que pour faire tenir un cerveau géant dans une petite boîte, il faut comprendre comment le cerveau produit l'information, et pas seulement comment il la reçoit. Ce faisant, il permet de faire fonctionner des modèles d'IA massifs sur des appareils qui pensaient auparavant que c'était impossible.

Résumé Technique : KronQ : Quantification de LLM via le Facteur de Kronecker du Hessien

Énoncé du Problème

La quantification post-entraînement (PTQ) est une technique critique pour déployer des modèles de langage de grande taille (LLM) sur du matériel aux ressources limitées sans réentraînement. Bien que les méthodes existantes de PTQ de second ordre, telles que GPTQ et ses successeurs (par exemple, GPTAQ), soient devenues la norme pour la quantification en une seule étape (one-shot), elles reposent sur une limitation fondamentale : elles construisent les objectifs de quantification exclusivement à partir des statistiques d'activation d'entrée ( $H_X$ ).

Sous l'approximation par facteur de Kronecker (K-FAC), le Hessien complet des poids ( $H$ ) se factorise en le produit de Kronecker de la covariance de l'activation d'entrée ( $H_X$ ) et de la covariance du gradient de sortie ( $H_G$ ). Les méthodes basées sur la compensation supposent implicitement que $H_G = I$ (la matrice identité), traitant toutes les directions de sortie comme étant d'égale importance. Les auteurs soutiennent que cette approximation est sous-optimale, car la Figure 1(a) démontre que les canaux de sortie présentent des magnitudes de gradient hétérogènes. Cet oubli entraîne une dégradation des performances, particulièrement dans les régimes de bits ultra-faibles (par exemple, 2 bits), où des méthodes comme GPTQ et GPTAQ divergent souvent ou produisent des quantifications dégénérées sur des modèles comme LLaMA-3-70B.

Méthodologie

Le papier propose KronQ, un cadre de PTQ qui incorpore explicitement la covariance du gradient ( $H_G$ ) dans le pipeline de quantification sous l'approximation K-FAC ( $H \approx H_X \otimes H_G$ ). La méthodologie opère à deux niveaux complémentaires :

1. Traitement de l'Incohérence Bidirectionnelle (BiIP)

Le traitement de l'incohérence standard (par exemple, dans QuIP#) applique des transformations orthogonales aléatoires pour supprimer les valeurs aberrantes (outliers) dans la dimension d'entrée ( $H_X$ ) afin de réduire l'erreur de quantification. KronQ étend cela à la dimension de sortie en utilisant $H_G$ .

Mécanisme : La méthode applique un remodelage diagonal et des transformations orthogonales aux deux dimensions, l'entrée ( $V$ ) et la sortie ( $U$ ). Les facteurs de remodelage sont dérivés des entrées diagonales de $H_X$ et $H_G$ par rapport aux normes des poids.
Invariance : Crucialement, bien que $H_G$ soit utilisé pour déterminer les transformations de prétraitement, il s'annule algébriquement lors des mises à jour de compensation de poids par Optimal Brain Surgeon (OBS) par colonnes (Proposition 1). Cela permet à KronQ de conserver l'efficacité computationnelle du solveur de base de GPTAQ tout en bénéficiant d'une meilleure distribution des poids.
Résultat : Le BiIP réduit le coefficient de variation (CV) des magnitudes de poids dans les dimensions d'entrée et de sortie, conduisant à des bornes d'erreur de quantification plus serrées.

2. Allocation de Précision Mixte Inter-Couches

KronQ introduit une nouvelle métrique de sensibilité pour l'allocation des largeurs de bits à travers les sous-couches.

Métrique : Le score de sensibilité est défini comme le produit des traces des deux facteurs du Hessien : $s_\ell = \text{tr}(H_G^{(\ell)}) \cdot \text{tr}(H_X^{(\ell)})$ .
Avantage : Les méthodes existantes utilisant uniquement $\text{tr}(H_X)$ ne peuvent pas différencier des sous-couches partageant des statistiques d'entrée identiques (par exemple, les projections Query, Key et Value dans les blocs d'attention). Le score de KronQ brise cette dégénérescence car $H_G$ varie entre ces sous-couches en raison de différents gradients en aval. Cela permet une allocation de largeur de bits plus optimale, assignant une précision plus élevée aux sous-couches ayant une sensibilité conjointe plus élevée.

Principales Contributions

Erreur de Quantification par Facteur de Kronecker : Les auteurs étendent l'objectif de quantification par couche pour incorporer $H_G$ sous l'approximation K-FAC. Ils démontrent que $H_G$ peut être utilisé pour le traitement de l'incohérence bidirectionnelle sans augmenter le coût computationnel de la boucle de mise à jour de la quantification, car il s'annule algébriquement.
Sensibilité de la Trace Conjointe du Hessien : Une nouvelle métrique pour l'allocation de précision mixte est dérivée des traces conjointes de $H_X$ et $H_G$ . Cette métrique résout la dégénérescence trouvée dans les métriques basées uniquement sur l'activation, permettant des classements de sensibilité distincts pour les projections Q, K et V.
Validation Empirique : Des expériences approfondies montrent que KronQ atteint des résultats de pointe sur les modèles LLaMA-2 et LLaMA-3 (7B à 70B) aux largeurs de W2/W3/W4 bits. Les gains les plus significatifs sont observés à 2 bits, là où les méthodes concurrentes échouent souvent.

Résultats Expérimentaux

Le papier évalue KronQ sur LLaMA-2 (7B, 13B, 70B) et LLaMA-3 (8B, 70B), ainsi que sur des modèles plus récents comme Gemma-3 et DeepSeek-R1.

Précision Uniforme : Sur LLaMA-3-70B avec une quantification de poids de 2 bits, GPTQ et GPTAQ divergent (produisant une perplexité > 2000 sur WikiText-2), tandis que KronQ atteint une perplexité de 7,93. Une robustesse similaire est observée dans les configurations de 3 et 4 bits.
Quantification de Groupe : En quantification de groupe de 2 bits (g=128), KronQ surpasse significativement GPTQ (par exemple, 7,61 PPL contre 274,0 PPL pour LLaMA-2-7B).
Quantification des Poids et des Activations : En utilisant le cadre QuaRot pour les activations, KronQ réduit systématiquement la perplexité par rapport aux lignes de base (par exemple, réduisant la PPL de 36,74 à 9,38 sur LLaMA-2-7B à W2A4).
Précision Mixte : Le score de sensibilité de KronQ produit des compromis perplexité-largeur de bits strictement meilleurs par rapport aux scores basés uniquement sur l'activation. Par exemple, sur LLaMA-2-7B, améliorer la sous-couche "down proj" en premier (selon KronQ) produit une perplexité plus faible que d'améliorer la "gate proj" en premier (selie les métriques basées sur l'activation) à la même largeur de bits moyenne.
Généralisation : La méthode se généralise aux nouvelles familles de modèles (Gemma-3, DeepSeek-R1, Phi-4) et à des benchmarks plus difficiles (LiveCodeBench, AIME-2024), doublant souvent les performances des lignes de base sur les tâches de raisonnement génératif.

Signification et Revendications

Le papier affirme que KronQ traite un angle mort critique dans la littérature actuelle de la PTQ : la négligence des statistiques de gradient du côté sortie. En exploitant la structure factorisée de Kronecker, KronQ offre un moyen fondé sur des principes pour gérer l'hétérogénéité du côté sortie sans encourir les coûts computationnels lourds associés à l'estimation complète du Hessien ou aux solveurs itératifs utilisés dans des travaux connexes comme YAQA.

Les auteurs soulignent que la méthode est particulièrement vitale pour la quantification à ultra-bas bit (2 bits), où l'hypothèse d'une importance de sortie égale ( $H_G = I$ ) conduit à un échec catastrophique dans les grands modèles. La capacité à obtenir une quantification de 2 bits stable sur des modèles de 70 milliards de paramètres représente une étape significative vers le déploiement des LLM sur du matériel de bord (edge).

Limites : Les auteurs reconnaient que KronQ nécessite un seul passage arrière (backward pass) sur l'ensemble de calibration pour estimer $H_G$ , introduisant une latence hors ligne modérée et une utilisation temporaire de la mémoire de pointe pendant l'étape de prétraitement BiIP. Cependant, une fois précalculé, $H_G$ est libéré, et la boucle de quantification reste aussi efficace que GPTAQ. L'overhead d'inférence est limité aux transformations orthogonales, qui sont identiques à celles de QuIP#.