🤖 machine learning

OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization

Le papier propose OSAQ, une méthode de quantification post-entraînement sans entraînement qui exploite la propriété de faible rang de l'espace nul de la matrice hessienne pour construire une transformation additive des poids qui supprime les valeurs aberrantes et améliore considérablement la précision de la quantification des LLM en faible précision sans introduire de surcharge d'inférence.

Auteurs originaux : Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le "Sac à Dos Lourd"

Imaginez un Grand Modèle de Langage (LLM) comme un étudiant génie qui sait presque tout. Cependant, cet étudiant porte un sac à dos massif rempli de millions de livres lourds (paramètres). Parce que le sac est si lourd, l'étudiant se déplace très lentement et a besoin d'une immense pièce pour le ranger. Cela rend son utilisation coûteuse et lente sur des appareils ordinaires comme des téléphones ou des ordinateurs portables.

Pour résoudre ce problème, les ingénieurs tentent de "rétrécir" le sac en résumant les livres en des notes plus petites et plus simples. C'est ce qu'on appelle la quantification. Au lieu d'écrire chaque détail avec une grande précision (comme des nombres à 32 bits), ils écrivent des résumés plus grossiers (comme des nombres à 2 ou 4 bits).

Le Piège : Le sac n'est pas seulement rempli de livres normaux ; il contient quelques énormes rochers cachés à l'intérieur (appelés valeurs aberrantes ou outliers). Ces rochers sont si lourds qu'ils sabotent la tentative de rétrécir le sac. Si vous essayez de compresser tout le sac, ces rochers vous obligent à le garder énorme, ou alors l'étudiant commence à oublier des choses (le modèle devient stupide).

Les Anciennes Solutions : Étirer et Tourner

Les méthodes précédentes tentaient de résoudre ce problème en :

Étirer (Mise à l'échelle) : Tenter d'écarteler les rochers pour qu'ils s'intègrent mieux.
Tourner : Pivoter tout le sac pour que les rochers se retrouvent dans un endroit différent.

Le papier soutient que, bien que ces astuces aident un peu, elles ne suffisent pas. C'est comme essayer de faire entrer un rocher dans une petite boîte en étirant simplement la boîte ou en la tournant sur le côté. Le rocher est toujours là, et il cause toujours des problèmes.

La Nouvelle Solution : OSAQ (L'"Éponge Magique")

Les auteurs proposent une nouvelle méthode appelée OSAQ (Auto-absorption des valeurs aberrantes). Au lieu d'étirer ou de tourner, ils utilisent une astuce ingénieuse basée sur la structure interne du sac à dos.

1. Les "Zones Silencieuses" (L'Espace Nul de la Hessienne)

Les chercheurs ont découvert qu'à l'intérieur du sac, il existe certaines directions où les rochers ne poussent pas réellement en retour. Imaginez que le sac est fait d'une mousse spéciale. Si vous poussez sur la mousse dans la plupart des directions, elle résiste. Mais si vous poussez dans des "zones silencieuses" spécifiques, la mousse offre une résistance nulle.

En termes mathématiques, ils ont trouvé un "Espace Nul" dans la structure des données du modèle où les modifications ne nuisent pas à l'intelligence du modèle. C'est comme trouver une poche secrète dans le sac où vous pouvez déplacer des objets lourds sans que le sac ne ressente le poids.

2. L'Astuce de l'"Auto-absorption"

OSAQ fonctionne ainsi :

Il identifie ces "zones silencieuses" (l'Espace Nul).
Il prend les énormes rochers (valeurs aberrantes) et ajoute un peu de "mousse magique" à leur surface.
Parce que cette mousse est ajoutée dans une "zone silencieuse", elle annule le poids du rocher sans changer le comportement du sac.
Le rocher disparaît effectivement (est "absorbé"), laissant derrière lui un tas de sable lisse et uniforme qui est facile à compresser.

L'Analogie : Imaginez que vous avez un oreiller bosselé avec un rocher à l'intérieur.

Ancienne méthode : Essayer de serrer l'oreiller plus fort (mise à l'échelle) ou le tourner sur le côté (rotation). Le rocher rend toujours l'oreiller bosselé.
Méthode OSAQ : Vous réalisez que l'oreiller a une couture cachée où vous pouvez glisser un morceau d'argile molle. Vous glissez l'argile juste à côté du rocher. L'argile comble le vide et fait en sorte que le rocher semble faire partie de l'oreiller mou. Maintenant, tout l'oreiller est lisse et facile à écraser dans un petit sac.

Pourquoi C'est un Changement de Jeu

Pas de Travail Supplémentaire : La "mousse magique" est ajoutée directement aux rochers à l'intérieur du sac. Vous n'avez pas besoin de changer les bretelles ou les autres couches du sac. C'est une solution "plug-and-play".
Solution Instantanée : Vous n'avez pas besoin de réentraîner l'étudiant ou de passer des semaines à ajuster le sac. Les mathématiques vous donnent la quantité exacte de mousse à ajouter en une seule étape (une "solution sous forme fermée").
Résultats Supérieurs : Lorsqu'ils ont testé cela sur une compression à 2 bits (rendant les notes extrêmement petites), OSAQ a rendu le modèle 40 % plus intelligent (perplexité plus faible) que la meilleure méthode précédente. C'est comme réduire le sac à la taille d'un portefeuille sans que l'étudiant ne perde une once de son génie.

Résumé

Le papier présente une méthode pour rendre les modèles d'IA plus petits et plus rapides en trouvant des "zones silencieuses" dans leurs données où ils peuvent lisser les "rochers" problématiques (valeurs aberrantes) sans nuire aux performances du modèle. C'est une nouvelle façon efficace de compresser l'IA qui fonctionne mieux que de simplement étirer ou tourner les données.

Résumé Technique : OSAQ – Auto-absorption des valeurs aberrantes pour une quantification précise des LLM en faible précision

1. Énoncé du problème

Les modèles de langage de grande taille (LLM) rencontrent des défis de déploiement significatifs en raison de leurs échelles de paramètres massives, entraînant une consommation mémoire élevée et une latence d'inférence. La quantification post-entraînement (PTQ), spécifiquement la quantification des poids uniquement, offre une solution en réduisant la taille du modèle et en atténuant les goulots d'étranglement liés à la mémoire. Cependant, un obstacle persistant à une quantification précise en faible précision est la présence de valeurs aberrantes systématiques dans les poids du modèle. Ces valeurs aberrantes, caractérisées par de grandes magnitudes, étendent la plage numérique des poids, réduisant ainsi la résolution de quantification et dégradant les performances du modèle.

Les méthodes existantes reposent principalement sur des transformations multiplicatives (par exemple, mise à l'échelle ou rotation) entre les couches adjacentes pour atténuer les valeurs aberrantes. Bien que des approches comme GPTQ (utilisant l'information de la Hessienne), AWQ (mise à l'échelle consciente des activations) et QuIP (rotation orthogonale) aient réalisé des progrès, l'article soutient que compter uniquement sur des paradigmes multiplicatifs est fondamentalement inadéquat pour obtenir des performances satisfaisantes dans des configurations ultra-faibles (par exemple, 2 bits ou 3 bits).

2. Méthodologie : Quantification par auto-absorption des valeurs aberrantes (OSAQ)

Les auteurs proposent OSAQ, une méthode novatrice qui introduit une transformation additive des poids guidée par les propriétés de faible rang d'ordre deux de la matrice Hessienne. Contrairement aux méthodes précédentes qui nécessitent des ajustements inter-couches, OSAQ fonctionne comme un mécanisme d'"auto-absorption" qui modifie les poids au sein d'une seule couche sans affecter les couches voisines.

Composants techniques clés :

Cohérence de faible rang de la Hessienne :
La méthode est fondée sur l'observation que la Hessienne de la perte de tâche par rapport aux poids de la couche présente une propriété de faible rang prononcée à travers différentes entrées. Plus précisément, certaines directions dans l'espace des poids montrent systématiquement une courbure s'annulant (valeurs propres proches de zéro). Ces directions forment un noyau stable qui reste cohérent indépendamment de l'échantillon d'entrée.
Transformation additive invariante à la perte :
En exploitant le noyau, OSAQ construit une perturbation additive $\Delta W$ telle que la transformation $W' = W + \Delta W$ garantit que la perturbation d'ordre deux de la perte de tâche reste nulle ( $\Delta w^T H_w \Delta w = 0$ ). Cela assure que les performances du modèle sur la tâche originale sont préservées tandis que les poids sont modifiés.
Extraction du noyau :
La Hessienne $H_w$ est approximée et décomposée par décomposition en valeurs propres. Pour gérer les cas où les valeurs propres ne sont pas exactement nulles, une stratégie d'énergie de queue est employée. La dimension du noyau $K$ est déterminée en accumulant les plus petites valeurs propres jusqu'à ce qu'un seuil d'énergie prédéfini $\gamma$ soit atteint. La matrice résultante $N$ représente le noyau stable.
Optimisation des coefficients via l'approximation Softmax- $\infty$ :
L'objectif est de trouver une matrice de coefficients $\beta$ telle que $\Delta W = \beta N$ minimise la plage numérique (spécifiquement la norme $\ell_\infty$ ) des poids transformés pour supprimer les valeurs aberrantes.
- Puisque la norme $\ell_\infty$ n'est pas différentiable, les auteurs emploient une approximation Softmax- $\infty$ . Cela implique d'appliquer une opération softmax le long de la dimension du canal de sortie avec un coefficient de température $\tau$ . Lorsque $\tau \to 0$ , cela approxime la norme $\ell_\infty$ tout en restant différentiable.
- L'objectif d'optimisation inclut un terme de régularisation $\ell_2$ pour empêcher des corrections excessives et une contrainte anti-décalage pour pénaliser les translations uniformes.
- Crucialement, cette optimisation fournit une solution sous forme fermée pour les coefficients $\beta$ via une équation normale, éliminant le besoin d'un entraînement coûteux en ressources ou de procédures itératives.

3. Contributions clés

Paradigme novateur : L'article introduit une stratégie de transformation additive pour la suppression des valeurs aberrantes, complétant les approches multiplicatives existantes (mise à l'échelle/rotation). Elle opère indépendamment au sein d'une couche, ne nécessitant ni transformations inter-couches ni surcharge d'inférence.
Insight théorique : Il identifie et exploite la cohérence de faible rang du noyau de la Hessienne à travers les entrées, fournissant un sous-espace stable pour construire des ajustements de poids invariants à la perte.
Construction efficace : La méthode dérive les coefficients de transformation optimaux sous forme fermée en utilisant une approximation Softmax- $\infty$ différentiable, évitant l'optimisation itérative ou le réentraînement.
Compatibilité Plug-and-Play : OSAQ est conçu pour être intégré avec des méthodes PTQ existantes (par exemple, GPTQ, AWQ) afin d'améliorer davantage les performances en faible précision.

4. Résultats expérimentaux

Des expériences extensives ont été menées sur divers LLM (LLaMA2, LLaMA3, Mistral-Large, Llama-3.1) à travers des tâches de génération de langage et de Q&R de bon sens.

Réduction de la perplexité : En quantification 2 bits, OSAQ intégré à GPTQ a atteint une perplexité inférieure de plus de 40 % par rapport à GPTQ standard sur LLaMA2-7B. Par exemple, sur WikiText2, OSAQ+GPTQ a réduit la perplexité de 36,8 à 21,2 (et davantage à 10,6 avec des itérations de descente de coordonnées) pour LLaMA2-7B.
Améliorations de la précision :
- Q&R de bon sens : Sur LLaMA3-8B (2 bits), OSAQ+GPTQ a amélioré la précision moyenne en zéro-shot de 38,3 % à 44,4 % (et 51,7 % avec itérations).
- MMLU : Pour LLaMA2-7B (4 bits), OSAQ+GPTQ a élevé le score moyen de 38,7 % à 39,6 %.
- Grands modèles : La méthode est restée efficace sur des modèles massifs ajustés par instruction (123 milliards et 405 milliards de paramètres), surpassant GPTQ standard sur les benchmarks MMLU et ARC.
Robustesse : Des études d'ablation ont confirmé que la transformation additive a un impact négligeable sur les modèles en précision complète (FP16) et que le noyau reste stable à travers différents lots d'entrée. La méthode a également démontré une robustesse face aux choix d'hyperparamètres (par exemple, seuil d'énergie de queue $\gamma$ , température $\tau$ ).

5. Importance et revendications

L'article revendique qu'OSAQ représente une avancée significative dans la quantification des LLM en faible précision en abordant la limitation fondamentale des paradigmes purement multiplicatifs. En exploitant les propriétés géométriques intrinsèques du paysage de perte (noyau de la Hessienne), OSAQ fournit un mécanisme efficace en calcul et sans entraînement pour supprimer les valeurs aberrantes.

Les auteurs soulignent que cette approche :

Préserve la perte de tâche : La transformation est mathématiquement garantie pour maintenir la perturbation de perte d'ordre deux à zéro.
N'introduit aucune surcharge : La transformation est absorbée hors ligne dans les poids, ne nécessitant aucun changement au pipeline d'inférence ou de couches supplémentaires.
Évolutivité : Elle est applicable aux modèles allant de 7 milliards à 405 milliards de paramètres et s'intègre de manière transparente avec les algorithmes de quantification les plus avancés.

Ce travail suggère que l'exploration de transformations additives basées sur des propriétés d'ordre deux offre une voie prometteuse et complémentaire pour atteindre une quantification précise en faible précision pour les modèles de langage à grande échelle.