🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP introduit un processeur orthogonal structuré et bidirectionnel apprenable qui adapte la base de quantification à des couches spécifiques et à des données d'étalonnage, améliorant considérablement la précision de la quantification des LLM en très faible précision (2-4 bits) par rapport aux méthodes Hadamard fixes tout en maintenant l'efficacité du déploiement.

Auteurs originaux : Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Publié 2026-05-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque massive et incroyablement détaillée (un modèle de langage de grande taille) que vous souhaitez emporter dans votre poche. Le problème est que les livres sont trop lourds et les étagères trop larges pour tenir dans un petit sac. Pour le rendre portable, vous décidez de réduire les livres à de minuscules notes compressées. C'est ce qu'on appelle la quantification.

Cependant, lorsque vous réduisez ces livres trop (à seulement 2 ou 3 bits d'information), quelques pages se froissent ou se perdent. Ces « pages froissées » sont appelées des valeurs aberrantes (outliers) — des nombres extrêmement importants qui sont beaucoup plus grands que les autres. Si vous essayez de compresser tout le livre en utilisant une méthode standard, ces valeurs aberrantes gâchent la compression, rendant les notes difficiles à lire.

L'ancienne méthode : le « mélange aléatoire »

Auparavant, les scientifiques utilisaient une astuce appelée RHT (Transformée de Hadamard randomisée). Imaginez cela comme prendre toutes les pages de votre livre, les mélanger au hasard, puis les compresser.

Le bon : C'est rapide et cela répartit les pages froissées pour qu'elles ne soient pas toutes écrasées au même endroit.
Le mauvais : C'est un mélange fixe. C'est comme utiliser le même motif de mélange aléatoire pour chaque livre, qu'il s'agisse d'un livre de cuisine, d'un roman ou d'un dictionnaire. Cela ne s'adapte pas à l'histoire spécifique contenue dans le livre.

La nouvelle méthode : HARP (le « tailleur intelligent »)

Les auteurs de cet article présentent HARP (Processeur de rotation adaptatif préconditionné par Hadamard). Imaginez HARP comme un tailleur intelligent qui n'utilise pas simplement un mélange générique.

Il apprend l'ajustement : Au lieu d'un mélange aléatoire, HARP examine la « forme » spécifique des données dans chaque couche du modèle (comme examiner le tissu spécifique d'une chemise). Il apprend la parfaite façon de réorganiser les nombres afin qu'ils s'intègrent dans l'espace compressé minuscule sans perdre de détails importants.
C'est une mise à niveau directe : La meilleure partie est que HARP commence par ressembler exactement à l'ancien « mélange aléatoire » (RHT). C'est comme un costume qui commence comme une taille standard prête-à-porter, mais qui possède des fermetures éclair cachées et des coutures ajustables. Une fois que vous le portez, le tailleur (le processus de calibration) ajuste rapidement l'ajustement pour qu'il soit parfait pour vous. Cela signifie que vous pouvez remplacer l'ancienne méthode par HARP sans reconstruire tout le système.
C'est structuré et rapide : HARP ne fait pas un réarrangement désordonné et complexe. Il utilise un motif « papillon » (une manière spécifique et efficace de mélanger les choses) qui est mathématiquement garantie comme réversible et rapide. C'est comme organiser une bibliothèque non pas en jetant des livres partout au hasard, mais en utilisant un système de tri hautement efficace et préplanifié qui prend quelques secondes.

Ce qui se passe lorsque vous l'utilisez

L'article a testé cela sur des modèles allant du petit (1 milliard de paramètres) au gigantesque (70 milliards de paramètres).

Meilleure qualité : Lorsqu'ils ont compressé les modèles à des tailles extrêmes (2 à 4 bits), HARP a rendu les modèles « plus intelligents » (perplexité plus faible, précision plus élevée) que l'ancienne méthode de mélange aléatoire. Il était particulièrement bon pour sauver les « pages froissées » (valeurs aberrantes) qui sont généralement perdues.
Toujours rapide : Même si HARP apprend un ajustement personnalisé, il ne ralentit pas le modèle. En fait, les modèles compressés avec HARP étaient encore beaucoup plus rapides (128 jetons par seconde) que les modèles originaux non compressés (61 jetons par seconde).
Polyvalent : Ils ont montré que HARP fonctionne non seulement avec un outil de compression spécifique, mais peut être intégré dans différents systèmes de compression (comme QTIP) et les améliorer toujours.

La conclusion

HARP est un outil qui transforme le mélange aléatoire « fait pour tous » utilisé dans la compression d'IA en un ajustement sur mesure. Il apprend à partir d'un petit échantillon de données pour trouver la parfaite façon de réorganiser les nombres avant de les écraser. Le résultat est un modèle d'IA plus petit et plus rapide qui lit mieux et fait moins d'erreurs, le tout sans avoir besoin de réentraîner l'ensemble du modèle depuis zéro.

Résumé Technique : HARP (Processeur de Rotation Adaptative Préconditionnée par Hadamard)

1. Énoncé du Problème

La quantification post-entraînement (PTQ) est cruciale pour le déploiement des grands modèles de langage (LLM) dans des conditions de contraintes mémoire et de bande passante. Cependant, la quantification extrême à faible nombre de bits (2–4 bits) fait face à deux défis principaux :

Outliers d'activation et statistiques à queue lourde : Un petit sous-ensemble de coordonnées porte une masse de poids disproportionnée et une sensibilité à la courbure, provoquant des erreurs de reconstruction sévères lors de la quantification.
Courbure anisotrope des poids : Les quantificateurs standards (scalaire ou vecteur par bloc) performant mal lorsque la masse des poids ou les directions sensibles à la courbure s'alignent sur des axes de coordonnées spécifiques.

Les solutions existantes reposent sur le traitement d'incohérence, qui applique un changement de base orthogonal structuré avant la quantification pour répartir la masse des poids sur les coordonnées. La norme actuelle est la Transformée de Hadamard Randomisée (RHT). Bien que la RHT soit rapide ( $O(d \log d)$ ) et exactement orthogonale, elle est fixe. Elle ne s'adapte pas :

Aux statistiques spécifiques des couches.
À la distribution des données de calibration.
À la structure de bloc du quantificateur en aval.

Des travaux récents suggèrent que l'apprentissage de rotations de bout en bout améliore la qualité, mais ces méthodes relâchent souvent le caractère « plug-and-play » des pipelines PTQ, altèrent le modèle pleine précision, ou introduisent des coûts computationnels trop élevés pour l'inférence. Il existe un vide pour un processeur qui soit apprenable à partir de données de calibration, reste un changement de base orthogonal exact (préservant le modèle pleine précision), et maintient une efficacité de type Hadamard.

2. Méthodologie : HARP

Les auteurs proposent HARP (Processeur de Rotation Adaptative Préconditionnée par Hadamard), un processeur orthogonal à deux faces apprenable conçu pour remplacer la RHT fixe dans les pipelines PTQ.

2.1 Architecture de Base

HARP paramétrise la rotation orthogonale comme un produit d'étapes parcimonieuses basées sur le pas, imitant la structure des transformées de Hadamard et de papillon rapides.

Structure : Pour une dimension $d$ , HARP utilise un calendrier à base mixte $\mathbf{b} = (b_0, \dots, b_{m-1})$ où $\prod b_t = d$ .
Étapes : Chaque étape $t$ applique une matrice orthogonale par blocs diagonaux $\mathbf{B}_t$ à des groupes de coordonnées, séparés par des permutations de pas.
Support à base mixte : Contrairement aux transformées de Hadamard standards limitées aux puissances de deux, HARP prend en charge des dimensions arbitraires (par exemple, 5120) en utilisant un calendrier à base mixte (par exemple, $8, 8, 8, 5, 2$). Les radices non puissances de deux utilisent une solution de repli orthogonale déterministe (factorisation QR d'une matrice gaussienne fixe).

2.2 Préconditionnement par Hadamard et Initialisation

Une innovation clé réside dans les noyaux de blocs préconditionnés par Hadamard. Chaque bloc apprenable $B_{t,c}$ est défini comme :
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ est un mélangeur de base fixe (Hadamard de Sylvester normalisé pour les puissances de deux, solution de repli QR sinon).
$Q_{t,c}(\theta)$ est une matrice orthogonale apprenable (rotation de Givens pour $b_t=2$ , application de Cayley pour $b_t > 2$ ).

Initialisation : Tous les paramètres apprenables $\Theta$ sont initialisés à zéro. À $\Theta=0$ , $Q_{t,c}(0) = I$ , ce qui signifie que $B_{t,c}(0) = G_{b_t}$ . Par conséquent, la transformée HARP récupère exactement le processeur RHT fixe (jusqu'à une convention de permutation fixe) à l'initialisation. La calibration apprend ensuite un raffinement orthogonal structuré autour de cette base solide.

2.3 Objectif d'Optimisation

HARP est ajusté par couche en utilisant uniquement des données de calibration. L'optimisation minimise une fonction de perte de substitution alignée avec le quantificateur par bloc déployé :

Reconstruction pondérée par la Hessienne diagonale : Minimise l'erreur entre le poids tourné et sa cible de codebook par bloc, pondérée par la diagonale de l'approximation de la Hessienne. Les gradients sont arrêtés à travers l'affectation discrète du codebook pour assurer la stabilité.
Pénalité d'énergie Hessienne hors-bloc : Un terme de régularisation ( $R_{bd}$ ) pénalise l'énergie dans les blocs hors-diagonale de l'approximation de la Hessienne, encourageant la rotation à aligner la courbure avec la structure de bloc du quantificateur.

La perte totale est :
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 Efficacité du Déploiement

Stockage : Les paramètres HARP peuvent être stockés au format int8 avec un impact minimal sur la perplexité.
Calcul : Le coût d'application est de $O(d \log d)$ , similaire à la RHT. Les auteurs implémentent des noyaux GPU Triton fusionnés pour les étapes de pas afin d'éviter les permutations matérialisées, maintenant une surcharge de latence faible.
Compatibilité : HARP est un remplacement direct pour l'étape de prétraitement dans les pipelines QuIP# et QTIP, ne nécessitant aucun changement au niveau du backend du quantificateur ou du solveur.

3. Contributions Clés

Processeur d'incohérence apprenable : Introduction de HARP, un processeur orthogonal à deux faces ajusté via des données de calibration qui s'adapte aux statistiques des couches et aux structures des quantificateurs backend.
Compatibilité plug-and-play : HARP s'initialise exactement au processeur RHT fixe, garantissant qu'il s'agit d'une mise à niveau transparente pour les pipelines PTQ existants basés sur Hadamard, sans nécessiter de réentraînement complet du modèle ni de ré câblage du graphe.
Efficacité structurée : L'utilisation d'étapes de type papillon à base mixte permet une orthogonalité exacte et une complexité $O(d \log d)$ sur des dimensions non puissances de deux, préservant les avantages de débit de l'inférence quantifiée.
Validation empirique : Démonstration de gains de qualité constants (perplexité et précision zero-shot) par rapport à la RHT fixe sur des configurations 2–4 bits pour des modèles allant de 1M à 70M de paramètres.

4. Résultats Expérimentaux

Les auteurs ont évalué HARP sur Llama 3.2 (1B, 3B) et Llama 2 (7B, 13B, 70B) en utilisant le backend QuIP#.

Perplexité (PPL) : HARP surpasse systématiquement la RHT fixe.
- 2 bits : Les gains sont les plus significatifs ici, où la quantification est la plus sensible. Pour Llama 2 7B, HARP réduit la PPL WikiText2 de 8,22 (RHT) à 7,23. Pour Llama 2 70B, elle passe de 4,16 à 4,01.
- 3-4 bits : Les améliorations persistent mais sont plus faibles en magnitude absolue car la base de référence approche la pleine précision.
Précision Zero-Shot : HARP améliore la précision sur les tâches ARC-Challenge, ARC-Easy et WinoGrande, confirmant que les gains de perplexité se traduisent par des performances en aval.
Latence et Débit :
- Sur une NVIDIA RTX 5080, HARP 2 bits atteint 128 tokens/sec pour Llama 2 7B, contre 61 tokens/sec pour FP16.
- La surcharge de latence de HARP par rapport à la RHT fixe est modeste (par exemple, 0,0078s contre 0,0070s par token pour 2 bits 7B), préservant la majeure partie de l'accélération due à la quantification.
Portabilité : Lorsqu'intégré dans QTIP (un backend différent utilisant une quantification codée par treillis), HARP améliore à nouveau la perplexité par rapport à la RHT fixe, démontrant une utilité agnostique du backend.
Surcharge de stockage : En utilisant le stockage de paramètres int8, l'augmentation effective des bits par paramètre (BPP) est minime (par exemple, 2,00 $\to$ 2,05 pour 2 bits 7B), avec un impact négligeable sur la qualité du modèle.

5. Importance et Revendications

L'article revendique que HARP comble un vide spécifique dans le paysage PTQ : le besoin de prétraitement adaptatif qui ne sacrifie ni l'efficacité ni l'exactitude.

Adaptabilité vs Fixe : Contrairement à la RHT fixe, HARP adapte la base de rotation à la couche spécifique et à la structure de bloc du quantificateur, réduisant l'erreur de reconstruction dans les régimes extrêmes à faible nombre de bits.
Exactitude vs Approximation : Contrairement à certaines méthodes de rotation apprises qui altèrent le modèle pleine précision ou nécessitent un entraînement de bout en bout, HARP est un changement de base exact. Le modèle pleine précision est préservé mathématiquement ; seul le système de coordonnées exposé au quantificateur change.
Efficacité vs Coût : Contrairement aux rotations apprises denses ou aux modifications complexes de graphes (par exemple, SpinQuant), HARP maintient le coût computationnel $O(d \log d)$ des transformées de Hadamard, le rendant pratique pour le déploiement de LLM à grande échelle.

Les auteurs positionnent HARP non pas comme un nouveau pipeline autonome, mais comme un module réutilisable qui améliore les backends existants basés sur Hadamard (comme QuIP# et QTIP) en apprenant un raffinement structuré autour d'une base fixe solide. Les résultats suggèrent que pour la quantification extrême à faible nombre de bits (2–3 bits), le coût d'une calibration ponctuelle pour apprendre ces rotations vaut largement la récupération substantielle de la qualité du modèle.