🤖 AI

SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging

Cet article introduit SEMA, un mécanisme d'attention évolutif et efficace qui combine la localisation de jetons pour prévenir la dispersion des poids avec une moyenne arithmétique pour capturer le contexte global, surpassant ainsi les modèles existants d'attention linéaire et de vision Mamba dans les tâches de classification d'images.

Auteurs originaux : Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Publié 2026-07-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître un chat sur une photo. Pour ce faire, le robot utilise un outil spécial appelé « attention », qui agit comme un projecteur. Ce projecteur balaie l'image entière, décidant quels pixels sont importants (comme les oreilles du chat) et lesquels ne sont que du bruit de fond (comme un arbre flou). Le problème est qu'à mesure que la photo devient grande, le projecteur doit vérifier chaque pixel par rapport à tous les autres. Si la photo est petite, c'est rapide. Mais si la photo est immense, le robot est submergé, passant tellement de temps à vérifier les connexions qu'il tombe en panne de batterie avant même de pouvoir dire « chat ».

Les scientifiques ont essayé de résoudre cela en rendant le projecteur « linéaire », ce qui signifie qu'il vérifie les pixels de manière plus simple et plus rapide. Mais il y a un piège : ces projecteurs rapides perdent souvent leur concentration. À mesure que l'image s'agrandit, ils commencent à traiter chaque pixel comme étant d'égale importance, comme une lampe torche dont l'intensité aurait été tellement baissée qu'elle ne fait plus qu'une lueur uniforme sur toute la pièce. Le robot cesse de voir le chat et commence à voir un flou gris. Cet article, écrit par des chercheurs de l'Université de Californie à Irvine et de Qualcomm AI Research, s'attaque précisément à ce problème. Ils veulent construire un projecteur qui soit à la fois assez rapide pour gérer des images géantes et assez précis pour voir les détails.

Les chercheurs, dirigés par Nhat Thanh Tran et ses collègues, ont découvert une vérité mathématique qui explique pourquoi ces projecteurs rapides échouent : à mesure que le nombre de pixels (ou « tokens ») tend vers l'infini, le mécanisme d'attention se diffuse naturellement et devient inutile. Ils appellent cela le phénomène de « dispersion ». C'est comme essayer d'entendre un murmure dans un stade ; si vous essayez d'écouter tout le monde à la fois, vous n'entendrez rien d'autre que du bruit. L'article prouve que peu importe la façon dont vous modifiez les mathématiques de ces outils d'attention rapide, ils finiront par perdre leur concentration si l'image devient trop grande.

Pour résoudre cela, l'équipe a inventé une nouvelle méthode appelée SEMA (Scalable and Efficient Mamba-like Attention). Au lieu de lutter contre les mathématiques, ils ont décidé de composer avec elles. Ils ont réalisé que, bien que le projecteur doive se concentrer sur des détails spécifiques, il a aussi besoin d'un moyen de comprendre la « vue d'ensemble » sans s'y perdre. Ils ont donc conçu un système en deux parties. Premièrement, ils utilisent la Localisation de Tokens, qui revient à donner au projecteur une petite fenêtre pour regarder à travers. Il ne se concentre que sur un minuscule voisinage de pixels à la fois, garantissant qu'il ne soit jamais submergé ou distrait. Cela maintient la précision de la mise au point.

Mais regarder à travers une petite fenêtre a un inconvénient : le robot pourrait rater le chat entier s'il ne regarde qu'une patte. Pour corriger cela, SEMA ajoute une seconde étape : l'Averaging (le calcul de la moyenne). C'est comme prendre un cliché rapide et flou de toute la pièce et l'ajouter à la vue détaillée. Les chercheurs ont prouvé mathématiquement que lorsque l'image devient immense, la meilleure façon de capturer l'aspect « global » de l'image est simplement de faire la moyenne de tout. En combinant la vue détaillée du voisinage local avec cette moyenne globale simple, SEMA obtient le meilleur des deux mondों.

L'article montre que cette approche fonctionne incroyablement bien. Lorsqu'ils ont testé SEMA sur des jeux de données d'images standards comme ImageNet-1K, il a surpassé d'autres modèles populaires, y compris les récents modèles « Mamba », surtout lorsque les images étaient très grandes. Par exemple, lorsque la taille de l'image a été augmentée à 1024x1024 pixels, les autres modèles ont énormément peiné, voyant leur précision chuter, tandis que SEMA est resté solide et s'est même amélioré. Les chercheurs ont également constaté que SEMA était plus rapide que ses concurrents, prenant moins de temps pour traiter les images de grande taille.

L'un des aspects les plus intéressants de l'article est la façon dont ils ont géré le problème de la « dispersion ». Au lieu de forcer l'attention à rester nette d'une manière qui brise les mathématiques, ils ont accepté que, pour des images immenses, l'attention doive se diffuser. Ils ont utilisé cette nature diffuseuse à leur avantage en utilisant une moyenne simple pour représenter l'information globale. C'est un peu comme réaliser que si vous avez un million d'amis, vous ne pouvez pas vous souvenir de chaque détail de chacun d'entre eux, mais vous pouvez vous souvenir de l'ambiance générale du groupe. SEMA se souvient des détails du voisinage immédiat et de l'ambiance générale du groupe, permettant de reconnaître le chat parfaitement, quelle que soit la taille de la photo.

Les auteurs ont testé leur idée sur diverses tâches, allant de la reconnaissance d'objets à la détection de parties spécifiques d'une image (segmentation). Dans chaque cas, SEMA a montré qu'il pouvait passer à l'échelle supérieure pour des images plus grandes sans perdre la tête. Ils ont même montré qu'à mesure que les images devenaient plus grandes, la partie « moyennage » de leur système devenait plus importante, prouvant leur théorie selon laquelle cette étape simple est cruciale pour gérer des quantités massives de données. Bien que l'article se concentre sur la vision par ordinateur, l'équipe suggère que cette idée pourrait aider pour d'autres problèmes impliquant de longues séquences de données, comme l'analyse de scanners médicaux géants.

En résumé, SEMA est une astuce ingénieuse qui admet quand un projecteur devient trop large pour être utile et change de stratégie : regarder attentivement les détails à proximité, et prendre une moyenne rapide et simple du reste. C'est une manière évolutive, efficace et mathématiquement rigoureuse d'aider les ordinateurs à voir le monde clairement, même quand le monde devient très grand.

Résumé Technique : SEMA – Une attention de type Mamba évolutive et efficace via la localisation des jetons et la moyenne

1. Énoncé du problème

L'article traite de deux défis principaux liés à l'application des mécanismes d'attention aux tâches de vision par ordinateur :

Complexité computationnelle : L'attention complète classique (basée sur le softmax) présente une complexité computationnelle quadratique ( $O(n^2)$ ) par rapport à la taille de l'entrée, ce qui est prohibitif pour les images à haute résolution.
Le phénomène de dispersion : Les variantes de l'attention linéaire, conçues pour atteindre une complexité linéaire, souffrent souvent d'une incapacité à se concentrer sur les informations pertinentes. À mesure que le nombre de jetons ( $n$ ) augmente, ces mécanismes ont tendance à se « disperser », attribuant des poids presque égaux à toutes les clés, perdant ainsi le pouvoir discriminatoire inhérent à l'attention softmax.

Bien que des travaux récents comme Mamba (modèles d'espace d'état) et MILA (attention linéaire inspirée de Mamba) aient tenté de résoudre ces problèmes, les auteurs observent que les mécanismes d'attention linéaire manquent encore de puissance de focalisation expressive, et que les solutions existantes pour la dispersion (par exemple, la température adaptative ou l'attention différentielle) sont souvent heuristiques ou restent théoriquement sujettes à la dispersion.

2. Méthodologie

2.1 Fondement théorique : Attention généralisée et dispersion

Les auteurs établissent d'abord un cadre d'Attention Généralisée qui englobe à la fois l'attention softmax classique et l'attention linéaire. Ils définissent un mécanisme d'attention $\Phi$ -normalisé où les coefficients d'attention sont déterminés par une fonction de normalisation continue $\phi$ .

Résultat théorique clé (Théorème de dispersion) :
L'article prouve que pour toute fonction de normalisation continue $\phi$ , lorsque le nombre de jetons $n$ tend vers l'infini, les coefficients d'attention se dispersent inévitablement. C'est-à-dire que le poids d'attention attribué à une clé spécifique tend vers zéro ( $\Theta(1/n)$ ), attribuant de fait un poids égal à tous les jetons.

Cela s'applique au softmax classique ( $\phi(x) = \exp(x)$ ) et à l'attention linéaire ( $\phi(x) = x$ ).
La preuve repose sur la compacité de l'espace des caractéristiques d'entrée et la continuité des fonctions impliquées.
Les auteurs notent que bien que l'attention différentielle tente d'atténuer le bruit, elle reste théoriquement sujette à la dispersion ( $\Theta(1/n)$ ).

2.2 Solution proposée : SEMA

Motivés par la propriété de dispersion prouvée, les auteurs conçoivent SEMA (Scalable and Efficient Mamba-like Attention). La philosophie centrale est d'embrasser le comportement asymptotique de l'attention globale (la dispersion) tout en préservant les capacités de focalisation locales.

SEMA combine deux composants :

Localisation des jetons (Attention par fenêtre) : Pour maintenir la propriété de « focalisation » de l'attention classique sur les caractéristiques à haute fréquence, SEMA utilise un mécanisme d'attention par fenêtre localisée. Cela restreint chaque requête à interagir uniquement avec un nombre fixe de clés à l'intérieur d'une fenêtre prédéfinie, empênant la dispersion au sein de ce contexte local.
Moyenne théorique (Approximation globale) : Pour capturer l'aspect global de l'attention sans encourir une complexité quadratique ou souffrir de la dispersion de l'attention linéaire complète, SEMA incorpore un terme de moyenne arithmétique.
- Sur la base de l'analyse asymptotique, les auteurs soutiennent que dans la limite de grands $n$ , le composant global de l'attention complète peut être approximé par une simple moyenne de tous les vecteurs de valeur ( $\frac{1}{n}\sum v_j$ ).
- Cela agit comme un « mélange homogène » ou un filtre passe-bas, agrégeant l'information globale de manière efficace.

Formulation :
L'attention SEMA pour une requête $q$ , des clés $K$ , et des valeurs $V$ avec une taille de fenêtre $w$ est définie par :
$\text{SEMA}(Q, K, V) = A_{\Phi}(Q, K, V, w) + \frac{1}{n} \sum_{j=1}^{n} v_j$
Où $A_{\Phi}$ est l'attention par fenêtre (utilisant des variantes softmax ou linéaires) et le second terme est la moyenne globale diffusée.

2.3 Architecture

SEMA est intégré dans une macro-architecture de type Mamba (similaire à MILA). Les auteurs remplacent les blocs d'attention linéaire de MILA par des blocs SEMA. Contrairement à MILA, SEMA inclut une projection linéaire pour les valeurs $V$ , ce que les auteurs ont jugé nécessaire pour la performance, augmentant légèrement le nombre de paramètres mais maintenant l'efficacité.

3. Contributions clés

Preuve théorique de la dispersion : L'article fournit une preuve mathématique rigoureuse que l'attention généralisée (incluant les variantes softmax et linéaires) se disperse à mesure que le nombre de jetons approche l'infini, quel que soit le fonction de normalisation continue utilisé.
Conception de SEMA : Un nouveau mécanisme d'attention qui utilise la localisation des jetons pour éviter la dispersion locale et la moyenne arithmétique pour approximer théoriquement l'aspect global, offrant une alternative évolutive à l'attention linéaire.
Validation empirique : Démontrer que SEMA surpasse les modèles de vision Mamba récents (ex: VMamba) et les lignes de base d'attention linéaire (MILA) sur des benchmarks standards, particulièrement lorsque les résolutions d'image augmentent.

4. Résultats expérimentaux

4.1 Classification ImageNet-1K

Résolution standard (224²) : SEMA-T atteint 83,7 % de précision Top-1, surpassant MILA-T (83,3 %) et DefMamba (83,5 %) avec un nombre de paramètres similaire (~26M).
Évolutivité (Résolutions plus élevées) : Les gains les plus importants apparaissent aux résolutions plus hautes.
- À 1024², VMamba-T chute considérablement (74,7 % sans fine-tuning, 83,4 % avec), tandis que SEMA-T maintient sa robustesse (75,4 % sans, 84,2 % avec fine-tuning).
- L'écart entre SEMA et VMamba s'élargit à 7,3 % à 1024² sans fine-tuning, indiquant la résilience supérieure de SEMA face à l'augmentation du nombre de jetons.

4.2 Tâches en aval

COCO (Segmentation d'instances) : En utilisant Mask R-CNN, SEMA-T atteint des performances de pointe ou Top-2 sur tous les indicateurs (AP, AP50, AP75) pour les programmes d'entraînement 1x et 3x, dépassant MILA-T et VMamba-T.
ADE20K (Segmentation sémantique) : SEMA-T atteint 48,2 mIOU (échelle unique), surpassant VMamba-T (47,9), et reste compétitif dans les configurations multi-échelles.

4.3 Efficacité

Temps d'inférence : SEMA démontre une excellente évolutivité du temps d'exécution. À une résolution de 1024², SEMA est environ 33 % plus rapide que MILA. À 2048², l'accélération est encore plus prononcée, confirmant l'avantage de complexité linéaire du composant de moyenne.

4.4 Études d'ablation

Projection de valeur : Le retrait de la couche de projection de valeur réduit la précision d'environ 0,8 %, soulignant son importance.
Composant de moyenne : À 224², le terme de moyenne contribue de manière minimale (~0,2 %). Cependant, à mesure que la résolution augmente à 672², sa contribution croît de manière significative (+2,2 % sans fine-tuning), validant l'affirmation théorique selon laquelle la moyenne devient cruciale à mesure que le nombre de jetons augmente et que les effets de dispersion s'intensifient.

5. Signification et revendications

L'article affirme que SEMA offre une solution fondée sur la théorie au problème de la dispersion dans l'attention linéaire. En prouvant que la dispersion est une propriété inhérente à l'attention globale dans la limite, les auteurs justifient l'utilisation de la moyenne arithmétique comme une approximation globale valide.

La signification de SEMA réside dans sa capacité à :

Évoluer efficacement : Il maintient performance et efficacité à mesure que les résolutions d'image (et le nombre de jetons) augmentent, un point faible connu des modèles de vision Mamba actuels.
Équilibrer le local et le global : Il combine avec succès le pouvoir de focalisation de l'attention par fenêtre avec le contexte global de la moyenne, évitant le coût quadratique de l'attention complète et la focalisation « floue » de l'attention linéaire pure.
Fournir une alternative robuste : Il sert d'alternative évolutive et efficace pour les tâches de vision par ordinateur, particulièrement dans les scénarios impliquant de grandes entrées ou de longues séquences (ex: imagerie médicale), où le nombre de jetons peut atteindre des ordres de grandeur bien supérieurs à la classification d'images standard.

Les auteurs concluent que bien que le composant de moyenne soit marginal aux résolutions standards, il fournit un « filet de sécurité » critique et un gain de performance dans le régime de grands nombres de jetons, faisant de SEMA un choix robuste pour les architectures de vision évolutives.