Résumé Technique : Les pics massifs des LLM sont des vecteurs de biais

Énoncé du problème

Les grands modèles de langage (LLM) font face à de sévères contraintes de calcul et de mémoire qui nécessitent une quantification efficace. Cependant, l'efficacité de la quantification des activations est gravement entravée par les pics massifs (Massive Spikes) : des valeurs d'activation extrêmes localisées sur des canaux spécifiques et des sémantiques de jetons spécifiques (souvent des jetons « puits » ou sink tokens à faible sémantique). Ces pics sont des ordres de grandeur plus grands que les valeurs typiques, étirant la plage dynamique et provoquant des erreurs de quantification catastrophiques, particulièrement pour les schémas statiques par tenseur.

Bien que des travaux antérieurs aient caractérisé ces pics comme des biais scalaires de haut niveau ou des « valeurs aberrantes » (Sun et al., 2024 ; An et al., 2025), les stratégies de mitigation existantes les traitent souvent comme des aberrations numériques ou s'appuient sur des heuristiques limitées aux modalités textuelles discrètes (par exemple, le préfixage de jetons spécifiques). La mécanique géométrique fondamentale de ces pics et leur rôle dans le comportement du modèle restent sous-explorés, limitant le développement de cadres de quantification généralisés et robustes.

Méthodologie : L'hypothèse du vecteur de biais

Ce travail fait progresser la compréhension des pics massifs en proposant l'Hypothèse du Vecteur de Biais. Les auteurs soutiennent que les pics ne sont pas simplement des biais scalaires, mais les intermédiaires scalaires de vecteurs de biais structurels rigides inhérents à l'architecture du modèle.

1. Caractérisation géométrique

Par une analyse mécaniste, l'article établit qu'après la normalisation RMSNorm, les jetons porteurs de pics (jetons puits) convergent vers des vecteurs constants et rigides ($\hat{x}_{sink} \to b$) avec une variance négligeable entre les échantillons, se distinguant ainsi des jetons sémantiques à haute variance.

• Mécanisme de l'attrait d'attention (Attention Sink) : Les poids de projection ($W^K$ et $W^Q$) interagissent pour isoler ce vecteur de biais. $W^K$ agit comme un amplificateur contrastif, séparant la clé du puits des clés sémantiques, tandis que $W^Q$ aligne toutes les requêtes sémantiques vers cette clé de puits isolée, créant un attracteur global.
• Drain de l'état de valeur (Value-State Drain) : La matrice de projection de valeur ($W^V$) projette le vecteur de biais dans l'espace nul spectral. Par conséquent, le vecteur de valeur résultant est proche de zéro ($v_{sink} \approx 0$), garantissant que le jeton puits ne contribue à aucune mise à jour sémantique du flux résiduel, permettant ainsi une opération de type « no-op » (opération nulle).
• Stabilité rotationnelle : Le modèle préserve activement ces structures rigides contre les perturbations de l'encodage de position rotatif (RoPE). Cela est réalisé en localisant le biais dans des « zones de stabilité rotationnelle » : spécifiquement, en utilisant des bandes de basse fréquence (indices de canaux élevés où les angles de rotation décroissent) et des paires de canaux cohérentes (indices $i$ et $i + d/2$) pour maintenir la robustesse de l'amplitude malgré la rotation.

2. Le cadre INSERTQUANT

S'appuyant sur l'idée que les jetons puits fonctionnent comme des biais structurels statiques plutôt que comme un contenu sémantique dynamique, les auteurs proposent INSERTQUANT, un cadre de quantification post-entraînement (PTQ).

• Clamp (Écrasement) : Les jetons puits sont identifiés lors d'une phase de calibration légère et sont chirurgicalement écrasés à zéro avant d'entrer dans les multiplications matricielles. Cela élimine les pics massifs du flux d'activation, rendant les activations restantes strictement exemptes de pics et favorables à la quantification.
• Insert (Insertion) : Pour préserver la mécanique de « no-op » du modèle, le rôle fonctionnel des jetons écrasés est restauré dans les couches suivantes en injectant des vecteurs modèles pré-calculés (vecteurs moyens $K$ et $V$ dérivés de la calibration) directement dans les entrées du mécanisme d'attention.
• Généralisation : Contrairement aux méthodes basées sur les préfixes qui dépendent d'identités de jetons spécifiques (ex: <BOS>), INSERTQUANT opère dans l'espace d'embedding, lui permettant de se généraliser aux modalités sans définitions de jetons discrets, telles que les Vision Transformers (ViT).

Contributions clés

1. Hypothèse du Vecteur de Biais : L'article établit que les pics massifs sont les intermédiaires scalaires de vecteurs de biais rigides. Il démontre que si les magnitudes des pics fluctuent, leur direction normalisée est invariante, servant de composant structurel au modèle.
2. Analyse mécaniste : Les auteurs fournissent une analyse géométrique quantitative montrant comment les vecteurs de biais pilotent les puits d'attention et les drains d'état de valeur. Ils détaillent l'interaction avec les poids de projection ($W^K, W^Q, W^V$) et identifient la localisation de ces vecteurs dans les zones de stabilité rotationnelle (bandes de basse fréquence et paires cohérentes) comme preuve d'une préservation structurelle active.
3. Cadre INSERTQUANT : Ce travail introduit le premier cadre PTQ qui exploite la nature systématique des pics. En découplant les biais structurels du contenu des jetons, il atteint une quantification de haute fidélité pour les bas bits à travers les LLM et les ViT sans nécessendre de fine-tuning.

Résultats expérimentaux

Les auteurs évaluent INSERTQUANT sur plusieurs LLM (LLaMA-3.2-3B, LLaMA-2-7B/70B, Mistral-7B-v0.3) et des Vision Transformers (CLIP ViT-L, DINOv2 ViT-L/B).

• Modèles de langage : Dans les configurations statiques de poids/activation/cache-KV en 4 bits ($W4A4sKV4$), INSERTQUANT atteint une performance comparable aux méthodes de pointe comme PrefixQuant. Par exemple, sur LLaMA-2-7B, il atteint une précision de raisonnement de sens commun (CSR) de 60,26 % et une perplexité WikiText-2 de 6,31, égalant étroitement la ligne de base PrefixQuant (60,17 % / 6,21) et surpassant nettement RTN et les lignes de base basées sur la rotation.
• Vision Transformers : INSERTQUANT se généralise avec succès aux ViT. Dans le cadre $W8A8sKV8$, alors que la ligne de base RTN sur DINOv2 ViT-B s'effondre à 6,00 % de précision, INSERTQUANT préserve 74,10 % de précision.
• Surcharge système : Le cadre introduit une surcharge de latence négligeable (4,69 %) et une surcharge de mémoire minimale (augmentation de 0,007 % pour un modèle de 13,5 Go) en raison de la petite taille des vecteurs modèles stockés.

Signification et affirmations

L'article affirme qu'une quantification efficace nécessite une compréhension mécaniste de la manière dont les LLM utilisent les pics pour permettre les opérations de type « no-op ». En recadrant les pics massifs comme des caractéristiques structurelles de type vecteur plutôt que comme des valeurs aberrantes numériques, les auteurs démontrent que ces artefacts peuvent être supprimés chirurgicalement et restaurés fonctionnellement.

La signification de ce travail réside dans :

1. Approfondissement de la compréhension du modèle : Il révèle la nature rigide et déterministe des puits d'attention et leur coordination géométrique avec RoPE, allant au-delà des interprétations scalaires.
2. Solution de quantification unifiée : Il établit un cadre qui transcende les modalités textuelles, offrant une solution robuste pour quantifier diverses architectures (LLM et ViT) sans dépendre d'identités de jetons heuristiques.
3. Efficacité matérielle : En permettant des espaces d'activation strictement exempts de pics, INSERTQUANT facilite une inférence à bas bits robuste (par exemple, 4 bits) qui était auparavant inatteignable avec les schèmes de quantification statique par tenseur.

Les auteurs restent modestes quant aux garanties théoriques, notant que bien qu'ils fournissent une interprétation mécaniste et des preuves empiriques, ils n'offrent pas de preuve théorique de la raison pour laquelle le processus d'entraînement converge intrinsèquement vers cette solution géométrique spécifique. Ils reconnaissent également que leur méthode est inutile pour les modèles pré-entraînés avec des modifications architecturales conçues pour supprimer naturellement ces pics.