🤖 machine learning

OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

OffQ est une nouvelle méthode de quantification à faible nombre de bits qui atténue les valeurs aberrantes d'activation dans les grands modèles de langage en identifiant un sous-espace de valeurs aberrantes de faible dimension via une ACP de rang 1, en faisant pivoter les activations de grande magnitude vers un canal unique, et en convertissant leur magnitude en un décalage partagé pour permettre une quantification W4A4KV4 efficace et précise.

Auteurs originaux : Haoqi Wang, Lorenz K. Mueller, Jiawei Zhuang, Mathieu Salzmann, Lukas Cavigelli

Publié 2026-06-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoqi Wang, Lorenz K. Mueller, Jiawei Zhuang, Mathieu Salzmann, Lukas Cavigelli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque de connaissances massive et incroyablement détaillée (un Grand Modèle de Langage, ou LLM). Pour faire tenir cette bibliothèque dans un petit sac à dos afin de pouvoir la transporter sur un téléphone ou un ordinateur portable, vous devez réduire la taille des livres. Ce processus est appelé quantification.

Habituellement, on réduit la taille des livres en arrondissant les détails infimes, en transformant des nombres complexes en nombres entiers simples (comme transformer 4,99 en 5). Cela permet d'économiser énormément d'espace.

Le Problème : Les « Screamers » (Les Hurleurs)
Cependant, il y a un piège : dans ces bibliothèques, la plupart des pages sont calmes et silencieuses, mais quelques pages contiennent des « screamers » — des nombres extrêmement bruyants et chaotiques, bien plus grands que tout le reste.

Si vous essayez de réduire toute la bibliothèque pour qu'elle tienne dans une petite boîte, ces « screamers » vous obligent à utiliser une grille très grossière.
C'est comme essayer de faire tenir un éléphant géant et une petite souris dans la même petite caisse. Pour faire entrer l'éléphant, vous devez écraser la souris en une petite masse méconnaissable.
En termes techniques, ces « screamers » (valeurs aberrantes d'activation) ruinent la précision du modèle car les erreurs d'arrondi deviennent trop importantes pour les parties calmes des données.

Les Anciennes Solutions
Les tentatives précédentes pour résoudre ce problème de l'éléphant et de la souris consistaient à :

Apprendre une nouvelle façon de réduire : Réentraîner le modèle pour qu'il soit meilleur pour réduire la taille (ce qui est coûteux et lent).
Utiliser des caisses de tailles différentes : Garder l'éléphant dans une grande boîte et la souris dans une petite (précision mixte). Cela fonctionne, mais rend le processus d'emballage compliqué et lent.
Utiliser des boîtes bizarres et personnalisées : Créer des boîtes spéciales qui ne s'adaptent pas aux étagères standards (quantification non uniforme), ce que la plupart des ordinateurs ne peuvent pas gérer facilement.

La Nouvelle Solution : OffQ
Le papier présente une nouvelle méthode appelée OffQ. Au lieu de lutter contre les screamers ou d'utiliser des boîtes différentes, OffQ utilise une astuce ingénieuse pour « annuler » les screamers.

Voici comment fonctionne OffQ, étape par étape, en utilisant une analogie simple :

1. Trouver les « Screamers » (Top-1 PCA)

D'abord, OffQ examine les données pour trouver exactement où les « screamers » se cachent.

L'analogie : Imaginez une pièce bondée où tout le monde chuchote, sauf une personne qui hurle dans un coin. Les méthodes standards pourraient être confuses par tous les chuchotements. OffQ utilise un radar spécial « Top-1 » qui ignore les chuchotements et se concentre uniquement sur le cri le plus fort.
Le résultat : Il identifie que ces screamers suivent un motif spécifique et peuvent être regroupés en un seul « canal bruyant ».

2. Déplacer les « Screamers » en un seul endroit (Rotation)

Une fois trouvés, OffQ fait pivoter les données de sorte que toute l'énergie des cris se concentre dans un seul et unique canal (comme déplacer toutes les personnes qui hurlent vers un siège spécifique dans un théâtre).

L'analogie : Au lieu d'avoir quelques personnes qui hurlent dans différentes rangées, vous les déplacez toutes au premier rang, au siège numéro 1. Désormais, le reste du théâtre est parfaitement calme.

3. L'astuce magique de l'« Offset » (Rotation de Hadamard)

C'est l'innovation centrale. OffQ prend ce « siège bruyant » et utilise une rotation mathématique (appelée rotation de Hadamard) pour répartir ce bruit fort de manière égale sur chaque siège du théâtre.

L'analogie : Imaginez que le bruit fort provenant du siège 1 est en fait une couverture géante et lourde. Au lieu de laisser la couverture sur le siège 1 (où elle bloque la vue), OffQ découpe cette couverture en petits morceaux égaux et drape un petit morceau sur chaque siège de la pièce.
Le résultat : Aucun siège n'est plus submergé. Le « bruit » est devenu un léger bourdonnement constant, identique pour tout le monde.

4. Absorber le bruit (Quantification)

Parce que le bruit est maintenant un bourdonnement constant et égal dans toute la pièce, le processus de quantification (la réduction de taille) peut simplement dire : « D'accord, nous savons qu'il y a un léger bourdonnement partout. Nous allons juste ajuster notre point zéro pour l'ignorer. »

L'analogie : C'est comme dire au bibliothécaire : « Nous savons que la pièce est légèrement poussiéreuse. Retranchons juste un peu de poussière du poids de chaque livre, et maintenant ils rentreront parfaitement dans le petit sac à dos. »
Le résultat : Les « screamers » sont effectivement neutralisés. Le modèle peut désormais être réduit à 4 bits (très petit) sans perdre sa capacité à comprendre le langage.

Pourquoi cela importe

Aucun matériel spécial requis : Contrairement à d'autres méthodes qui nécessitent des puces informatiques personnalisées et compliquées, OffQ fonctionne avec des boîtes uniformes standards. C'est comme utiliser des conteneurs d'expédition standards plutôt que des caisses fabriquées sur mesure.
Meilleure précision : Le papier démontre qu'OffQ préserve la connaissance de la bibliothèque de manière beaucoup plus précise que les méthodes précédentes, même en la réduisant à sa plus petite taille (4 bits pour les poids, les activations et la mémoire).
Efficacité : Cela ne nécessite ni réentraînement du modèle, ni utilisation de mémoire supplémentaire pour des boîtes de tailles différentes. Il suffit de réorganiser les données et d'ajuster le « point zéro ».

En résumé
OffQ est une astuce d'emballage ingénieuse. Au lieu de laisser quelques nombres « bruyants » gâcher toute l'expédition, il les isole, répartit leur effet uniformément sur l'ensemble du paquet, puis ajuste l'échelle pour que le paquet s'insère parfaitement dans une boîte petite et efficace sans briser son contenu. Cela rend l'exécution de modèles d'IA puissants sur des appareils du quotidien beaucoup plus réalisable.

Résumé Technique : OffQ – Dompter les valeurs aberrantes structurées dans la quantification des LLM par décalage (offsetting)

Énoncé du problème
La quantification à faible nombre de bits (par exemple, 4 bits) est essentielle pour le déploiement des grands modèles de langage (LLM) sur du matériel aux ressources limitées en réduissant l'empreinte mémoire et les coûts de calcul. Cependant, la quantification robuste simultanée des poids, des activations et des KV-caches (W4A4KV4) reste un défi majeur. L'obstacle principal est la présence de valeurs aberrantes d'activation (activation outliers) : des valeurs creuses, extrêmement grandes, dans des canaux spécifiques qui dominent la plage dynamique. Ces valeurs aberrantes forcent les schémas de quantification à utiliser des pas de quantification grossiers pour accommoder l'étendue complète, ce qui entraîne des erreurs d'arrondi importantes pour la majorité de la distribution des activations et une dégradation sévère des performances. Bien que les méthodes basées sur la rotation (par exemple, QuaRot, SpinQuant) aient amélioré l'atténuation des valeurs aberrantes en redistribuant l'énergie des activations, les distributions résultantes conservent souvent une variance élevée, rendant la quantification W4A4KV4 fiable difficile. Les alternatives existantes, telles que les schémas à précision mixte ou la quantification non uniforme, introduisent une hétérogénéité d'exécution, des noyaux complexes ou une incompatibilité matérielle.

Méthodologie : OffQ
Les auteurs proposent OffQ, une méthode de quantification post-entraînement (PTQ) conçue pour atténuer les valeurs aberrantes d'activation structurées sans dépendre de composants à précision mixte, de niveaux de quantification non uniformes ou de rotations coûteuses en calcul basées sur la rétropropagation. La méthode opère via trois étapes centrales :

Concentration via la PCA Top-1 :
La méthode exploite l'observation selon laquelle les valeurs aberrantes d'activation dans les LLM présentent une structure de faible dimension marquée, partageant la même direction à travers les couches, les identifiants de jetons (token IDs) et les emplacements de séquences. Pour exploiter cela, OffQ utilise une procédure de PCA Top-1 :
- Au lieu d'utiliser tous les jetons pour l'estimation de la covariance (ce qui est perturbé par les jetons normaux), elle sélectionne uniquement le jeton unique présentant la norme $L_\infty$ la plus grande par séquence à partir d'un jeu de données de calibration.
- Elle calcule l'vecteur propre principal de la matrice de covariance formée par ces jetons extrêmes.
- Les activations sont rotatées à l'aide de cette matrice de vecteurs propres, concentrant la variance dominante des valeurs aberrantes dans le premier canal (ou quelques canaux), laissant les canaux restants largement exempts de valeurs aberrantes.
Absorption via décalage (Rotation de Hadamard) :
Une fois les valeurs aberrantes concentrées dans des canaux spécifiques, OffQ applique une rotation de Hadamard spécialisée pour les absorber :
- Une matrice de Hadamard $H$ partiellement aléatoire est construite où la première ligne consiste entièrement en des uns ( $H_{1,:} = [1, 1, \dots, 1]$ ).
- L'application de cette rotation aux activations concentrant les valeurs aberrantes redistribue la valeur du canal aberrant uniformément à travers tous les canaux du groupe.
- Mathématiquement, cela convertit la magnitude de la valeur aberrante en un décalage constant (constant offset) ajouté à chaque canal du groupe.
- Ce décalage est ensuite absorbé dans le point zéro (zero-point) ( $z$ ) de la quantification asymétrique. Par conséquent, les valeurs d'activation restantes présentent une distribution plus plate avec une variance réduite, ce qui les rend très adaptées à une quantification uniforme standard à faible nombre de bits.
Implémentation par groupe (Group-Wise) :
Pour gérer plusieurs canaux aberrants, la méthode partitionne les canaux en groupes. Au sein de chaque groupe, le canal aberrant principal est identifié et rotaté pour créer un décalage par groupe. Cela permet l'utilisation d'une quantification asymétrique par groupe, où chaque groupe possède sa propre échelle et son propre point zéro pour absorber l'énergie spécifique de la valeur aberrante.

Principales contributions

Identification des valeurs aberrantes structurées : Le papier identifie que les valeurs aberrantes d'activation des LLM possèdent une structure de faible dimension partagée entre les couches et les jetons, qui peut être isolée via une approche ciblée de PCA Top-1.
Le cadre OffQ : Une nouvelle méthode PTQ qui combine la PCA Top-1 pour la concentration des valeurs aberrantes et une technique de décalage basée sur Hadamard pour convertir les valeurs aberrantes en points zéro de quantification. Cela permet une quantification W4A4KV4 efficace utilisant des matrices de précision et de grille uniformes standards.
Performance et efficacité : La méthode atteint une précision de pointe (state-of-the-art) en quantification 4 bits sans le surcoût d'une exécution à précision mixte ou de rotations apprises complexes, maintenant la simplicité d'une inférence à faible nombre de bits de bout en bout.

Résultats expérimentaux
Des expériences approfondies ont été menées sur diverses architectures de LLM (séries Llama 2, Llama 3, Llama 3.2 et Qwen 2.5) et des benchmarks (perplexité WikiText et précision zero-shot sur ARC-e, ARC-c, BoolQ, HellaSwag, etc.).

Supériorité sur les bases de référence : OffQ a systématiquement surpassé les méthodes de pointe, incluant les méthodes basées sur la rotation (QuaRot, SpinQuant, DFRot, KurTail) et les approches à précision mixte (ResQ, QUIK).
Robustesse W4A4KV4 : Alors que les méthodes de poids seuls (GPTQ) et les méthodes à précision mixte ont subi une dégradation sévère dans le cadre W4A4KV4, OffQ a maintenu une perplexité et une précision proches des bases de référence 16 bits. Par exemple, sur Llama 3-8B, OffQ a atteint une PPL de 6,98 contre 7,4 pour SpinQuant et 7,8 pour QuaRot.
Études d'ablation : L'étude a confirmé que la stratégie de sélection Top-1 est critique pour l'identification précise du sous-espace des valeurs aberrantes, surpassant la PCA standard. De plus, le groupement par tri (sorted grouping) des canaux s'est avéré plus efficace que le groupement en zigzag, et une taille de groupe de 128 offrait le meilleur compromis entre performance et surcharge de métadonnées.

Signification et affirmations
Le papier affirme qu'OffQ fournit un mécanisme pratique et efficace pour rendre la quantification 4 bits robuste face aux valeurs aberrantes d'activation. En transformant le problème des valeurs aberrantes "pointues" (spiky) en un problème de "décalage" (offset) gérable, OffQ permet une quantification W4A4KV4 fiable utilisant un matériel uniforme favorable au déploiement. Les auteurs soulignent que cette approche renforce la faisabilité du déploiement des LLM dans des environnements sensibles aux coûts et aux ressources (ex: appareils edge) sans sacrifier la précision du modèle ni nécessiter de pipelines d'exécution complexes et hétérogènes. La méthode est présentée comme une technique complémentaire qui peut potentiellement être combinée avec d'autres stratégies de quantification avancées dans des travaux futurs, bien que les résultats actuels démontrent sa force en tant que solution autonome.

1. Trouver les « Screamers » (Top-1 PCA)

2. Déplacer les « Screamers » en un seul endroit (Rotation)

3. L'astuce magique de l'« Offset » (Rotation de Hadamard)

4. Absorber le bruit (Quantification)

Articles similaires