💬 NLP

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

L'article propose « Bank of Values » (BoV), un nouveau mécanisme d'attention pour les couches transformer profondes qui utilise des vecteurs de valeurs spécifiques aux jetons et indépendants du contexte stockés dans une table de correspondance, démontrant une performance et une efficacité accrues par rapport aux vecteurs de valeurs standards dépendants du contexte à travers plusieurs tailles de modèles et benchmarks.

Auteurs originaux : Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

Publié 2026-06-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une bibliothèque géante où chaque livre (un mot ou « token ») possède un ensemble d'instructions spécifiques sur la manière dont il doit être compris dans une histoire. Dans l'IA moderne (les grands modèles de langage), ces livres sont lus par une équipe de bibliothécaires (les « couches d'attention ») qui décident à quel point prêter attention à chaque livre en fonction du contexte de l'histoire jusqu'à présent.

Habituellement, ces bibliothécaires prennent le livre, regardent le contexte de l'histoire actuelle, puis écrivent de nouvelles notes (appelées « vecteur de valeur ») pour ce livre avant de le transmettre. Ce processus revient à ce qu'un bibliothécaire réécrive le résumé d'un livre à chaque fois qu'il le lit, en fonction de ce qui s'est passé dans les pages précédentes.

La grande découverte
Les chercheurs de cet article ont découvert quelque chose de surprenant : pour les bibliothécaires travaillant dans les arrière-salles de la bibliothèque (les couches plus profondes de l'IA), ils n'ont en fait pas besoin de réécrire les notes en fonction du contexte de l'histoire.

Au lieu de cela, ces bibliothécaires des couches profondes fonctionnent mieux s'ils se contentent de saisir un résumé pré-écrit et parfait du livre, qui ne change jamais, quelle que soit l'histoire racontée. Il s'avère que pour ces couches spécifiques, l'information « originale et sans contexte » sur le mot est plus précieuse que les notes « dépendantes du contexte » qu'ils créent habituellement.

La solution : La « Banque de Valeurs »
Sur la base de cela, les auteurs ont créé un nouveau système appelé Banque de Valeurs (BoV).

L'ancienne méthode (Attention standard) : Chaque fois que l'IA lit un mot, elle calcule un nouvel ensemble de notes complexes pour ce mot, en tenant compte de toute l'histoire jusqu'alors. Cela est coûteux en calcul et nécessite beaucoup de mémoire pour stocker ces notes temporaires.
La nouvelle méthode (BoV) : Pour les couches profondes, l'IA cesse de calculer ces notes à la volée. À la place, elle dispose d'une immense « Banque » statique (une table de correspondance) où chaque mot possible du vocabulaire possède sa note parfaite et pré-calculée, stockée de façon permanente.
- Quand l'IA a besoin de la note d'un mot, elle la cherche simplement dans la banque.
- C'est comme avoir un dictionnaire où la définition est déjà écrite et imprimée, plutôt que d'avoir une équipe d'écrivains qui s'assoient pour composer une nouvelle définition chaque fois que vous demandez un mot.

Pourquoi est-ce meilleur ?

C'est plus rapide et moins cher : Parce que l'IA n'a pas besoin de faire les calculs lourds pour « réécrire » les notes dans les couches profondes, elle économise une quantité massive de puissance de calcul (FLOPs).
Cela économise de la mémoire : Dans l'ancienne méthode, l'IA devait conserver un « cache » (une zone de stockage temporaire) de toutes les notes qu'elle avait écrites jusqu'à présent pour l'histoire en cours. Dans la nouvelle méthode, puisque les notes sont stockées de façon permanente dans la « Banque », l'IA n'a pas besoin de transporter ce cache lourd. Elle va simplement chercher ce dont elle a besoin sur l'étagère.
Cela fonctionne mieux : Les chercheurs ont testé cela sur des modèles d'IA de différentes tailles. Ils ont découvert qu'en utilisant cette méthode de la « Banque », l'IA devenait en fait plus intelligente (taux d'erreur plus bas) et plus efficace que la méthode standard, même en faisant moins de travail.

Le bémol (et la correction)
L'article note que l'on ne peut pas faire cela pour chaque bibliothécaire de la bibliothèque. Les bibliothécaires des couches très frontales (les couches peu profondes) doivent toujours regarder le contexte de l'histoire pour comprendre les mots. Mais pour les bibliothécaires situés profondément dans l'arrière-salle, la méthode de la « Banque » change la donne.

En résumé
L'article soutient que dans les parties profondes du cerveau d'une IA, les mots n'ont pas besoin d'être réinterprétés en fonction de l'histoire ; ils ont juste besoin de leur identité originale et pure. En stockant ces identités dans une « Banque » permanente et en les consultant au lieu de les calculer, l'IA devient plus rapide, utilise moins de mémoire et performe mieux.

Résumé Technique : Bank of Values (BoV)

Énoncé du Problème
L'architecture transformer, l'épine dorsale des modèles de langage à grande échelle (LLM) modernes, repose sur des couches d'attention où les vecteurs de requête (query), de clé (key) et de valeur (value) sont calculés à partir du flux résiduel. Bien que le flux résiduel accumule efficacement le contexte pour les requêtes et les clés, la nécessité de contexte pour les vecteurs de valeur dans les couches profondes reste sous-examinée. L'attention standard calcule les vecteurs de valeur ( $V = x_i W_V$ ) en utilisant le flux résiduel ( $x_i$ ), ce qui mélange l'information originale du jeton avec le contexte accumulé. Des travaux récents tentant d'injecter des informations de jetons sans contexte dans les vecteurs de valeur (par exemple, Value Residual Learning, SVFormer) ont montré des résultats mitigés, échouant souvent à isoler la contribution spécifique des composantes sans contexte ou les appliquant de manière inefficace à travers toutes les couches. Le problème central abordé est de savoir si les couches profondes nécessitent réellement des vecteurs de valeur dépendants du contexte, ou si elles bénéficieraient davantage de la préservation de l'information originale du jeton, exempte de contexte, sans la surcharge de calcul de la projection du flux résiduel.

Méthodologie
Les auteurs proposent une investigation systématique de la composition des vecteurs de valeur, suivie d'une nouvelle conception architecturale appelée Bank of Values (BoV).

Étude d'Ablation Systématique :
En utilisant un modèle de 12 couches et 135 millions de paramètres, les auteurs ont mené des expériences selon quatre axes pour déterminer la composition optimale des vecteurs de valeur dans les couches profondes :
- Additif vs Substitutif : Comparaison du remplacement complet du vecteur de valeur standard par une source sans contexte versus une combinaison linéaire des deux.
- Coefficients : Test de coefficients apprenables (non bornés) contre des coefficients fixes.
- Source de l'Information Sans Contexte : Comparaison d'une projection de l'embedding initial spécifique à une couche ( $x_0 W_V$ ) contre un vecteur de valeur partagé de la première couche ( $V_1$ ).
- Couches Cibles : Évaluation de l'impact de l'application de ces changements à toutes les couches, à une couche sur deux, ou seulement au dernier tiers des couches.
Principaux Résultats de l'Ablation :
- Les couches profondes préfèrent fortement les composantes sans contexte ( $\tilde{V}$ ) aux composantes dépendantes du contexte ( $V$ ). Dans les variantes additives, les coefficients appris pour $\tilde{V}$ étaient nettement plus grands (souvent >10) que ceux pour $V$ (souvent poussés vers 0).
- La substitution de $V$ par $\tilde{V}$ produit des gains de performance significatifs uniquement dans le dernier tiers des couches ; l'appliquer aux couches peu profondes dégrade la performance.
- Une fois que les couches profondes ont accès à une composante de haute qualité sans contexte, l'ajout de la composante dépendante du contexte apporte un bénéfice négligeable.
- Les vecteurs sans contexte spécifiques à chaque couche ( $x_0 W_V$ ) surpassent les vecteurs partagés ( $V_1$ ), car ils permettent à chaque couche de projeter le jeton dans un sous-espace unique.
Architecture Bank of Values (BoV) :
Sur la base de la découverte que les couches profondes bénéficient de vecteurs de valeur sans contexte qui sont déterministes et indépendants de la séquence d'entrée, les auteurs proposent BoV.
- Mécanisme : Dans le dernier tiers des couches, la projection standard de la matrice de valeur dense ( $x_i W_V$ ) est remplacée par une table de recherche creuse ( $E_V$ ).
- Implémentation : Pour un jeton avec l'ID $i$ , le vecteur de valeur est récupéré directement comme $v_i = \gamma_v E_V[i]$ , où $E_V \in \mathbb{R}^{|V| \times d}$ est une table de paramètres apprenables stockant les vecteurs de valeur pré-calculés pour chaque jeton du vocabulaire, et $\gamma_v$ est un coefficient de mise à l'échelle apprenable.
- Efficacité de l'Inférence : Contrairement à l'attention standard, qui met en cache les vecteurs de valeur pour tous les jetons précédents (nécessitant une mémoire de $O(Td)$ par couche), BoV ne met pas les valeurs en cache. Au lieu de cela, il effectue une opération de collecte (gather) $O(Td)$ à partir de la table de paramètres statique $E_V$ pendant le passage avant (forward pass). La table $E_V$ peut être déchargée vers la mémoire de l'hôte, avec seulement les entrées requises pré-chargées (prefetched).

Contributions Clés

Insight : L'article démontre que les vecteurs de valeur dans les couches profondes de transformer bénéficient principalement d'informations de jetons originales et sans contexte, et que la composante dépendante du contexte dérivée du flux résiduel est largement redondante dans ces couches.
Architecture : Introduction de Bank of Values (BoV), une méthode qui remplace le calcul des vecteurs de valeur dans les couches profondes par une recherche statique dans une table spécifique au jeton.
Efficacité : BoV élimine la nécessité de calculer et de mettre en cache les vecteurs de valeur pour les couches profondes, réduisant ainsi l'utilisation de la mémoire pour l'inférence à long contexte et abaissant les FLOPs par jeton.

Résultats
Les auteurs ont évalué BoV sur des modèles de 135M et 780M de paramètres, entraînés sous des budgets de calcul contrôlés ( $1,50 \times 10^{18}$ et $3,91 \times 10^{19}$ FLOPs, respectivement).

Perte de Validation : BoV a obtenu une perte de validation plus faible par rapport aux bases d'attention standard sur un split de test du dataset ClimbMix pour les deux échelles de modèles.
Performance sur Benchmarks : À l'échelle de 780M, BoV a amélioré le score moyen sur 21 benchmarks DCLM CORE par rapport à la base d'attention standard.
Comparaison : BoV a égalé ou surpassé les méthodes existantes qui injectent des informations de jetons dans les vecteurs de valeur (ex: Value Residual Learning) tout en utilisant moins de mémoire et moins de FLOPs. Plus précisément, il a surpassé les méthodes qui ajoutent l'information de jeton par-dessus le calcul du flux résiduel, lesquelles supportent toujours le coût du calcul et de la mise en cache des valeurs dépendantes du contexte.

Signification
L'article affirme que BoV offre une alternative plus efficace à l'attention standard pour les couches profondes en exploitant l'idée que ces couches n'ont pas besoin de contexte pour calculer les vecteurs de valeur. En persistant les vecteurs de valeur sous forme de paramètres de modèle creux plutôt que comme des calculs dynamiques, BoV réduit l'empreinte mémoire pour l'inférence à long contexte et le coût computationnel sans sacrifier (et parfois en améliorant) les performances du modèle. Cela remet en question le paradigme par défaut consistant à calculer tous les vecteurs d'attention à partir du flux résiduel et suggère une voie vers des architectures transformer plus efficaces.

Résumé Technique : Bank of Values (BoV)

Articles similaires