🤖 machine learning

A Unifying View of Attention Sinks: Two Algorithms, Two Solutions

Cet article révèle que les puits d'attention visuellement similaires dans les transformers représentent en réalité deux mécanismes distincts — la suppression adaptative de type « nop » et l'agrégation de diffusion globale — nécessitant une stratégie d'intervention duale combinant le fenêtrage et les registres pour traiter efficacement les deux.

Auteurs originaux : Lukas Fesser, Mozes Jacobs, Thomas Fel, Andy Keller, Sham Kakade

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lukas Fesser, Mozes Jacobs, Thomas Fel, Andy Keller, Sham Kakade

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une pièce bondée de gens (les « tokens » d'un modèle d'IA) essayant de se parler. Dans un type spécifique d'IA appelé Vision Transformer, les chercheurs ont remarqué un motif étrange : peu importe qui parle, tout le monde semble tourner la tête pour regarder une ou deux personnes spécifiques dans la pièce. Dans la « carte d'attention » de l'IA, cela ressemble à une bande verticale sombre.

Pendant longtemps, les scientifiques ont pensé qu'il s'agissait d'un bug — un dysfonctionnement où l'IA restait fixée sur un seul point. Mais cet article soutient que ce « regard fixe » n'est pas une erreur. C'est en réalité une IA utilisant deux stratégies complètement différentes qui se ressemblent simplement de l'extérieur.

Voici la décomposition des deux stratégies, en utilisant des analogies simples :

1. Le bouton « Ne rien faire » (Adaptive NOP)

L'analogie : Imaginez un professeur dans une salle de classe. Parfois, le professeur n'a rien d'utile à ajouter à la conversation. Au lieu de dire « euh » ou « peut-être », le professeur pointe un élève spécifique (le « puits » ou « sink ») et dit : « Regardez juste Alex ; il ne dit rien, donc nous allons rester exactement comme nous sommes. »

Ce qui se passe :

Le but : L'IA veut arrêter de modifier sa pensée actuelle. Elle doit dire : « Je n'ai pas de nouvelle information à ajouter pour le moment. »
L'astuce : Parce que l'IA est forcée de pointer vers quelqu'un, elle pointe vers un token « nul » (un token avec presque zéro information). En pointant vers ce token vide, l'IA appuie effectivement sur un bouton « Ne rien faire ».
L'indice : Si vous vérifiez l'« énergie » (la valeur) de ce token spécial, elle est presque nulle. C'est un token fantôme utilisé uniquement pour annuler les mises à jour.

2. Le « Café » (Broadcast)

L'analogie : Imaginez maintenant un scénario différent. Le professeur a une nouvelle très importante (comme « Il pleut dehors ») que tout le monde doit connaître. Au lieu de chuchoter à chaque élève un par un, le professeur se tient au centre de la pièce (le « puits » ou « sink ») et annonce la nouvelle à voix haute. Tout le monde se tourne vers le professeur pour entendre la mise à jour.

Ce qui se passe :

Le but : L'IA veut partager une information globale avec tout le monde dans la pièce.
L'astuce : Le token « puits » agit comme un hub. Il rassemble l'information et la « diffuse » (broadcast) ensuite à tous les autres tokens. Tout le monde met à jour son état en ajoutant cette part partagée d'information.
L'indice : Si vous vérifiez l'« énergie » de ce token spécial, elle est élevée et pleine de contenu. Il écrit activement un message au groupe.

Pourquoi cela importe

La découverte principale de cet article est que vous ne pouvez pas faire la différence simplement en regardant la carte d'attention. Les deux stratégies ressemblent à une bande verticale où tout le monde fixe un point.

Si vous voyez une bande, vous ne savez pas si l'IA appuie sur le bouton « Ne rien faire » ou si elle annonce « Information Importante ! ».
Le problème : Les tentatives précédentes pour « corriger » ces bandes (comme ajouter des tokens « registres » spéciaux ou des mécanismes de « gating ») étaient des suppositions.
- Certaines corrections supposaient que l'IA faisait du « Ne rien faire » et essayaient de l'arrêter.
- D'autres supposaient que l'IA faisait de la « Diffusion » et essayaient de l'aider.
- Parce que les chercheurs ne savaient pas lequel des deux se produisait, leurs corrections étaient souvent incomplètes.

La solution : Une approche à deux volets

Les auteurs ont créé un moyen de diagnostiquer quelle stratégie l'IA utilise :

Vérifier l'« Énergie » : Si le token est vide (énergie basse), c'est un bouton « Ne rien faire ».
Vérifier la « Structure » : Si le token est plein de données et crée un motif simple et partagé, c'est une « Diffusion ».

Le résultat : Lorsqu'ils ont appliqué cela à de vrais modèles d'IA (comme ceux qui reconnaissent des images), ils ont découvert que les deux stratégies se produisent en même temps, mais dans des parties différentes du cerveau :

Les couches précoces utilisent souvent la stratégie « Ne rien faire ».
Les couches plus profondes utilisent souvent la stratégie de « Diffusion ».
Même les tokens « registres » (tokens spéciaux ajoutés pour aider l'IA) étaient utilisés pour les deux objectifs.

La correction : L'article montre que pour vraiment résoudre les problèmes causés par ces motifs, il faut utiliser les deux outils ensemble :

Utiliser le Gating pour gérer les tokens « Ne rien faire » (permettant de supprimer les mises à jour proprement).
Utiliser les Registres pour gérer les tokens de « Diffusion » (leur donnant un espace dédié pour partager l'information).

Lorsqu'ils ont combiné ces deux méthodes, l'IA est devenue plus stable et meilleure pour comprendre la disposition spatiale détaillée des images (comme reconnaître où se trouvent les objets dans une image), même si sa capacité à simplement « nommer » l'image n'a pas beaucoup changé.

Résumé

Cet article nous enseigne que ce n'est pas parce qu'une IA semble fixer un point qu'elle est cassée. Elle est peut-être en train de faire une pause (Ne rien faire) ou de partager un secret (Diffusion). Pour corriger le comportement d'une IA, nous devons d'abord comprendre pourquoi elle fixe ce point, puis utiliser le bon outil pour la tâche.

Résumé Technique : Une Vue Unifiée des Puits d'Attention

Énoncé du Problème

Les puits d'attention (attention sinks) — des jetons qui attirent une masse d'attention disproportionnée de nombreuses requêtes, apparaissant comme des bandes verticales dans les cartes d'attention — sont omniprésents dans les Transformers basés sur le softmax, particulièrement dans les Vision Transformers (ViTs) et les Large Language Models (LLMs). Bien que ces motifs soient bien documentés, leurs mécanismes computationnels sous-jacents restent ambigus. Le problème central abordé par ce travail est que des motifs de puits visuellement identiques peuvent refléter des algorithmes fondamentalement différents. Les stratégies d'atténuation actuelles, telles que les mécanismes de porte (gating) et les jetons registres (register tokens), sont souvent appliquées de manière heuristique sans un cadre unifié pour distinguer pourquoi un puits existe. Par conséquent, les interventions conçues pour « corriger » les puits peuvent involontairement supprimer des calculs utiles ou échouer à traiter la véritable source d'instabilité.

Méthodologie

Les auteurs proposent un cadre unificateur qui décompose les puits d'attention en deux hypothèses computationnelles distinctes, en dérivant des diagnostics spécifiques et mesurables pour chacune.

1. Deux Hypothèses pour les Puits d'Attention

Le papier postule que les puits proviennent de l'un des deux mécanismes suivants :

NOP Adaptatif (No-Operation) : Le puits agit comme un mécanisme de suppression. Lorsqu'une tête d'attention n'a aucune information utile à contribuer pour un jeton spécifique, elle dirige l'attention vers un jeton « nul » pour effectuer efficacement une opération d'identité sur le flux résiduel (residual stream).
- Signature : Le jeton puits présente des normes de valeurs négligeables ( $\|v_s\| \approx 0$ ).
- Mécanisme : Pour déclencher cela, le modèle apprend un mécanisme de porte, mis en évidence par une valeur singulière dominante dans la matrice d'interaction requête-clé ( $W_Q W_K^\top$ ) ou des normes d'activation massives à la position du puits.
Diffusion (Broadcast) : Le puits agit comme un concentrateur de communication. Il agrège l'information globale et la redistribue aux autres jetons.
- Signature : Le jeton puits possède des normes de valeurs non négligeables et induit des sorties d'attention de faible rang (approximativement de rang 1).
- Mécanisme : Le jeton puits écrit une charge utile partagée dans le flux résiduel, augmentant la similarité des représentations de jetons à travers la séquence.

2. Validation Synthétique

Pour isoler ces mécanismes, les auteurs ont entraîné des modèles synthétiques minimaux sur deux tâches spécifiques :

Amortissement Conditionnel (Tâche NOP) : Un transformer à une seule tête entraîné pour supprimer les mises à jour des jetons alignés avec un vecteur spécifique. Les résultats ont montré une convergence vers un puits avec des normes de valeurs proches de zéro et un pic spectral dans la matrice d'interaction.
Diffusion Globale (Tâche de Broadcast) : Un transformer à deux couches entraîné pour distribuer l'information d'un jeton spécifique à toutes les autres positions. Les résultats ont montré une solution modulaire où une couche agit comme un concentrateur de diffusion (mise à jour de rang 1, normes de valeurs élevées) et la couche suivante agit comme une identité.

3. Diagnostics Empiriques sur des Modèles Pré-entraînés

Les auteurs ont appliqué ces diagnostics à des ViTs pré-entraînés (DINOv2, OpenCLIP) et à des modèles avec des jetons registres. Ils ont analysé :

Ratios de Normes de Valeurs : Comparaison de la norme du vecteur de valeur du jeton puits par rapport à la moyenne.
Rang Stable : Mesure du rang de la matrice de mise à jour induite par l'attention.
Transitions par Couche : Suivi des jetons qui servent de puits à travers les différentes profondeurs du réseau.

Résultats Clés

1. Coexistence des Mécanismes

L'analyse des ViTs pré-entraînés révèle que les deux mécanismes coexistent au sein d'un même modèle mais sont spécialisés :

Spécialisation par Couche : Dans les premières couches, le jeton [CLS] sert souvent de puits. Dans les couches plus profondes, ce rôle transite vers des jetons de patch spécifiques.
Spécialisation par Tête : Le comportement de puits n'est pas uniforme à travers toutes les têtes ; des têtes spécifiques agissent comme des puits pour près de 80 % des entrées, tandis que les têtes adjacentes ne le font pas.
Régimes Duaux : Lorsqu'ils sont projetés sur des axes de diagnostic, les puits se séparent en deux clusters distincts :
- Puits NOP : Présents principalement dans les couches précoces à intermédiaires, caractérisés par des normes de valeurs supprimées (< 0,2x la référence).
- Puits de Diffusion (Broadcast) : Présents principalement dans les couches plus profondes, caractérisés par des normes de valeurs standards et des mises à jour de rang 1 strictes.

2. Réinterprétation des Jetons Registres

L'étude examine les jetons registres (jetons appris ajoutés à la séquence d'entrée), qui ont été initialement proposés pour absorber la masse d'attention pour la diffusion.

Réutilisation : Les diagnostics révèlent que les jetons registres ne sont pas exclusivement utilisés pour la diffusion. Une majorité de puits de registres présentent la signature NOP (normes de valeurs supprimées), indiquant que le modèle les réutilise comme des « poubelles » pour supprimer les mises à jour, et non seulement comme des « tasses à café » pour l'information globale.
Implication : Ni le gating (ciblant le NOP) ni les registres (ciblant la diffusion) ne suffisent seuls à traiter tous les comportements de puits.

3. Atténuation Synergique

Les auteurs ont testé la combinaison de l'Attention à Porte (Gated Attention) (qui permet aux têtes de supprimer les sorties, traitant le NOP) et des Jetons Registres (qui fournissent un substrat pour la diffusion).

Gains de Prédiction Dense : Dans les modèles ViT-L entraînés avec LeJEPA, la combinaison du gating et des registres a donné les meilleurs résultats sur les tâches de prédiction spatiale dense (ADE20K et Pascal VOC 2012), surpassant les bases de référence et les variantes à atténuation simple.
Stabilité de la Classification : La précision globale de classification (ImageNet-1k) est restée largement inchangée entre les variantes, suggérant que l'atténuation des puits améliore principalement les représentations locales de niveau patch plutôt que la compréhension globale de l'image.
Confirmation du Mécanisme : L'approche combinée a réussi à supprimer les puits NOP (réduisant les normes des jetons) tout en redirigeant les puits de diffusion vers les jetons registres.

Signification et Revendications

Le papier affirme que la signature visuelle d'un puits d'attention est computationnellement ambiguë et qu'une intervention efficace nécessite d'identifier d'abord l'algorithme sous-jacent.

Unification : Ce travail fournit un cadrage unifié qui sépare les hypothèses « NOP » et « Diffusion », offrant des diagnostics opérationnels (normes de valeurs et rang stable) pour les distinguer.
Complémentarité : Il démontre que le gating et les jetons registres sont complémentaires car ils ciblent des régimes computationnels différents. Leur combinaison produit une meilleure stabilité et performance dans les tâches exigeant des représentations spatiales de haute fidélité.
Insight Mécaniste : Les découvertes suggèrent que les « artefacts » comme les puits d'attention sont souvent des primitives computationnelles réelles (soit la suppression, soit la coordination globale) plutôt que des échecs purement pathologiques.

Les auteurs concluent que, bien que leurs diagnostics et leur stratégie d'atténuation combinée améliorent la prédiction dense, la question plus large de la manière d'architecturer l'attention pour supporter la diffusion sans induire de puits pathologiques reste un domaine ouvert pour la recherche future.