Résumé technique : Poids de contribution : Une analyse géométrique des transformeurs à auto-attention

1. Énoncé du problème

L'analyse des poids d'attention ($\alpha_{ij}$) est devenue une approche standard pour interpréter le flux d'information dans les grands modèles de langage (LLM). Cependant, cette approche repose sur l'hypothèse implicite qu'une masse d'attention élevée équivaut à une importance fonctionnelle. Les auteurs soutiennent que cette vision est incomplète car elle néglige les propriétés géométriques des vecteurs de valeur qui sont agrégés. Plus précisément, les poids d'attention seuls ne parviennent pas à rendre compte de :

1. La magnitude (norme) des vecteurs de valeur.
2. L'alignement directionnel entre les vecteurs de valeur et la sortie de la couche finale.

Négliger ces facteurs conduit à des conclusions trompeuses, telles que la mauvaise interprétation des « puits d'attention » (tokens précoces recevant une attention élevée mais contribuant peu à la sortie) et une surestimation de l'importance des tokens à haute attention. Les mesures existantes tenant compte de la valeur incorporent des normes ou des distances, mais manquent souvent l'effet critique de l'interférence inter-tokens (constructive ou destructive) causée par l'alignement directionnel.

2. Méthodologie

2.1. Cadre théorique

Le papier reformule l'attention multi-têtes (MHA) non pas simplement comme une somme pondérée de tokens bruts, mais comme une somme pondérée de vecteurs de valeur projetés.
Étant donné une séquence d'entrée, la sortie d'une couche $l$ à la position $i$ est exprimée par :
$$o^{(l)}_i = \sum_{h=1}^H \sum_{j=1}^i \alpha^{(l,h)}_{ij} \tilde{v}^{(l,h)}_j$$
où $\tilde{v}^{(l,h)}_j = x_j W^{(l,h)}_V W^{(l,h)}_O$ représente le vecteur de valeur projeté. Les auteurs postulent que l'influence d'un token dépend de trois facteurs :

1. Force de sélection : Le poids d'attention $\alpha_{ij}$.
2. Magnitude : La norme du vecteur de valeur projeté $\|\tilde{v}_j\|$.
3. Alignement directionnel : La similitude cosinus entre la valeur projetée et la direction de la sortie, $\cos(o_i, \tilde{v}_j)$.

2.2. Poids de contribution

Pour quantifier fidèlement l'importance d'un token, les auteurs introduisent les Poids de contribution ($c_{ij}$), une métrique basée sur la projection, définie comme le produit scalaire normalisé du vecteur de valeur pondéré et de la direction de la sortie :
$$c_{ij} = \frac{\langle o_i, \alpha_{ij} \tilde{v}_j \rangle}{\|o_i\|^2} = \alpha_{ij} \frac{\|\tilde{v}_j\|}{\|o_i\|} \cos(o_i, \tilde{v}_j)$$
Cette métrique décompose l'influence d'un token en un produit du poids d'attention, de la magnitude relative et de l'alignement directionnel.

• Intra-tête : Mesure la contribution au sein d'une seule tête.
• Inter-tête : Mesure la contribution à travers toutes les têtes en projetant les vecteurs pondérés spécifiques aux têtes sur la sortie combinée multi-têtes.
• Propriétés : Contrairement aux poids d'attention (qui sont non négatifs et dont la somme est 1), les poids de contribution peuvent être négatifs (indiquant une interférence destructive) et leur somme est égale à 1 sur la dimension de la séquence.

2.3. Évaluation expérimentale

Les auteurs évaluent la fidélité des poids de contribution par rapport aux métriques existantes (attention brute, attention pondérée par la valeur, attention normalisée par la sortie et pondérée par la valeur) en utilisant :

• Interventions causales : Masquage des valeurs projetées des tokens classés par importance et mesure du changement de perplexité ($\Delta$PPL) sur des tâches de modélisation de langage (GSM8K, FineWeb-Edu) et des tâches en aval (MMLU, Winogrande, BoolQ).
• Métriques :
  • Exhaustivité (Comprehensiveness) : Chute de performance lors de la suppression des tokens identifiés comme importants (chute plus élevée = meilleure métrique).
  • Suffisance (Sufficiency) : Chute de performance lors de la suppression des tokens de faible importance (chute plus faible = meilleure métrique).
• Modèles : Mistral-7B, LLaMA-3.1-8B, Qwen3-8B, et Deepseek-7B.

3. Principaux résultats et contributions

3.1. Fidélité des poids de contribution

Les poids de contribution surpassent systématiquement les métriques basées sur l'attention pour identifier les tokens sémantiquement critiques.

• Exhaustivité : La suppression des tokens identifiés comme importants par les poids de contribution provoque une chute de la performance du modèle ($\Delta$PPL) nettement plus importante que la suppression des tokens identifiés par l'attention brute ou l'attention pondérée par la valeur.
• Suffisance : Les modèles conservent une précision plus élevée lorsque les tokens de faible importance (définis par les poids de contribution) sont supprimés, maintenant la performance de base à des taux de suppression plus élevés.
• Progression géométrique : L'étude démontre une hiérarchie claire de fidélité : Attention brute < Attention pondérée par la valeur < Attention normalisée par la sortie et pondérée par la valeur < Poids de contribution. Cela confirme que l'incorporation de l'alignement directionnel (similitude cosinus) est le facteur le plus significatif pour améliorer la précision de la métrique.

3.2. Rôle mécaniste de la géométrie des valeurs

Le papier décompose les contributions des tokens pour révéler des comportements distincts selon les types de tokens :

• Tokens puits (Tokens initiaux) : Leur contribution n'est pas dictée par les poids d'attention. Au lieu de cela, elle est dominée par la géométrie des valeurs (norme relative et similitude cosinus). Les tokens initiaux présentent un anti-alignement (similitude cosinus négative) avec les tokens sémantiques ultérieurs.
• Tokens de queue (Tail tokens) : Leur contribution est déterminée conjointement par les poids d'attention et l'alignement directionnel.

3.3. Réinterprétation des puits d'attention

Les auteurs remettent en question la vision des puits d'attention comme de simples « réservoirs » passifs pour l'attention excédentaire. Au lieu de cela, ils révèlent que les puits sont des suppresseurs d'information actifs :

• Interférence destructive : Les tokens puits possèdent des vecteurs de valeur qui sont systématiquement en anti-alignement avec les tokens sémantiques. Cela crée une interférence destructive, supprimant activement la norme de la sortie.
• Relation convexe : La relation entre le taux de puits (masse d'attention sur le premier token) et la norme de sortie est convexe, et non monotone. La norme de sortie minimale se produit à un taux de puits intermédiaire ($\alpha < 1$), et non lorsque le puits capture toute l'attention.
• Contrer la dérive sémantique : En s'opposant à la direction sémantique des tokens non-puits, les puits annulent la dérive sémantique introduite par l'accumulation de nombreux petits poids d'attention faibles provenant de tokens non critiques. Les interventions qui suppriment la norme du vecteur du puits entraînent un effondrement des sorties de têtes à faible norme vers le cône sémantique, augmentant le bruit et la perplexité.

4. Signification et affirmations

Le papier affirme que les Poids de contribution fournissent une mesure plus fidèle de l'importance fonctionnelle des tokens en tenant compte de la géométrie complète de la somme des vecteurs d'attention.

• Aperçu mécaniste : Ce travail déplace la compréhension des puits d'attention des absorbeurs passifs vers des suppresseurs actifs qui stabilisent les représentations en s'opposant à la dérive sémantique par une opposition directionnelle.
• Généralisabilité : Bien que les expériences se concentrent sur les modèles de type décodeur seul, les auteurs déclarent que les poids de contribution dépendent uniquement de la structure du mécanisme d'attention et sont applicables à toute architecture basée sur l'attention (ex: modèles encodeurs seuls, ViT).
• Limites : L'étude se concentre sur les transformeurs de type décodeur seul et des jeux de données spécifiques (GSM8K, FineWeb-Edu). Les auteurs notent que bien que leur métrique soit robuste à travers les domaines, les comportements géométriques spécifiques (comme l'anti-alignement des puits) sont observés dans les modèles évalués.

Les auteurs concluent que l'analyse de la géométrie des valeurs est essentielle pour une compréhension mécaniste fidèle des transformeurs, passant d'un paradigre d'« attention comme explication » à une interprétation « consciente de la géométrie ».