🤖 AI

Norm or Direction? Decoding Vision Mambas for High-Resolution Vision

Cet article révèle que, tandis que MambaOut encode l'information discriminante de classe principalement dans la magnitude des jetons de premier plan, VMamba distribue de manière unique les preuves sémantiques à travers les directions des jetons et les régions d'arrière-plan, une stratégie d'encodage distincte qui lui confère une stabilité et des performances supérieures dans les tâches de prédiction dense à haute résolution.

Auteurs originaux : Jin Yu, Juyoun Park

Publié 2026-07-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jin Yu, Juyoun Park

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître un chat sur une image. Pendant longtemps, la meilleure façon de faire cela était de demander au robot d'examiner chaque pixel individuellement et de comparer chaque pixel à tous les autres, comme un détective vérifiant chaque indice par rapport à tous les autres indices. C'est puissant mais lent, surtout pour les photos haute définition géantes. Récemment, des scientifiques ont inventé une nouvelle façon plus rapide appelée « Vision Mamba ». Imaginez un robot qui lit une image comme un livre, en la parcourant ligne par ligne pour comprendre l'histoire sans être submergé. Mais ensuite, une autre équipe a construit un robot qui ne lit pas du tout le livre ; au lieu de cela, il utilise un type différent de filtre à « porte » (gated) pour repérer le chat. Étonnamment, ce nouveau robot est tout aussi doué pour trouver des chats dans des photos de taille standard. Cela laisse les scientifiques face à un grand mystère : si les deux robots accomplissent la tâche, voient-ils le monde de la même manière ? Ou l'un d'eux possède-t-il un superpouvoir secret que l'autre n'a pas ? Cette question est importante car, à mesure que nous passons de petites photos à des images massives et détaillées (comme des cartes satellites ou des scanners médicaux), la façon dont ces robots « voient » pourrait déterminer s'ils sont capables de faire le travail ou s'ils commencent à être confus.

Cet article, intitulé « Norm or Direction? Decoding Vision Mambas for High-Resolution Vision », plonge dans ce mystère pour voir comment deux cerveaux de robots spécifiques — VMamba et MambaOut — traitent réellement l'information. Les chercheurs ont découvert que, bien que les deux modèles soient excellents pour repérer des objets, ils stockent les « indices » de ce qu'ils voient de manières complètement différentes.

Considérez un « token » (un petit morceau de l'image que le robot analyse) comme un petit messager portant une note. Chaque messager possède deux choses : la force avec laquelle il crie (sa « magnitude » ou intensité) et la direction vers laquelle il pointe (sa « direction »). L'étude a révélé que MambaOut est comme une équipe de crieurs. Il concentre toute son information importante dans quelques messagers très forts et de haute énergie qui se tiennent juste au-dessus de l'objet (le chat). Si vous faites taire les messagers discrets en arrière-plan, MambaOut reste performant car les plus bruyants font tout le travail.

VMamba, en revanche, est plus semblable à une chorale. Il ne repose pas sur quelques crieurs bruyants. Au lieu de cela, il répartit l'information importante dans toute la pièce, y compris dans l'arrière-plan. Les messagers bruyants dans l'équipe de VMamba se retrouvent souvent dans l'arrière-plan (comme le ciel ou l'herbe), et non sur le chat lui-même. Si vous regardez seulement qui crie le plus fort, vous pourriez penser que VMamba est confus. Mais voici le rebondissement : la direction vers laquelle les messagers pointent détient le secret. Même si vous baissez le volume de tous les messagers pour qu'ils ne fassent que chuchoter, VMamba peut toujours vous dire qu'il s'agit d'un chat parce que la direction de leurs chuchotements est parfaitement alignée. MambaOut, cependant, s'effondre si vous baissez le volume ; il a besoin des cris pour fonctionner.

Les chercheurs ont testé cela en faisant regarder aux robots des images beaucoup plus grandes et de plus haute résolution. Lorsque l'image devient immense, il y a des milliers de messagers supplémentaires à gérer. MambaOut, qui repose sur quelques crieurs bruyants, commence à trébucher car il est difficile de choisir les bons crieurs parmi une foule de milliers. VMamba, avec sa chorale de chuchotements directionnels, gère bien mieux la foule. Il répartit les preuves, ce qui le rend plus stable et plus fiable à mesure que l'image s'agrandit.

Cette différence devient encore plus claire lorsque les robots doivent accomplir une tâche plus difficile : non seulement dire « il y a un chat », mais aussi pointer exactement où se trouve le chat dans l'image (une tâche appelée segmentation). Lorsque les chercheurs ont laissé les robots apprendre à partir de zéro sur ces tâches détaillées, VMamba a pris l'avantage. Il s'est avéré que la capacité de VMamba à réorganiser ses indices « directionnels » rendait beaucoup plus facile l'apprentissage de la manière de pointer des parties spécifiques d'une image. MambaOut, qui dépend de la force de points spécifiques, était plus difficile à enseigner pour ce travail détaillé.

L'article suggère que le secret pour construire de meilleurs robots pour les tâches à haute résolution n'est pas seulement le mécanisme de balayage (la partie « Mamba »), mais la façon dont ils organisent leur information. Il semble que pour les grands travaux détaillés, compter sur la « direction » des données est plus puissant que de compter sur la « force » (magnitude). Les auteurs proposent que les futurs cerveaux de robots devraient être conçus pour prêter davantage attention à ces indices directionnels, peut-être en les entraînant à mieux organiser l'information à travers toute l'image plutôt qu'en se concentrant uniquement sur les points les plus bruyants. Bien que l'article ne prétende pas avoir tout résolu (ils admettent ne pas être sûrs à 100 % de quelle partie spécifique du cerveau du robot cause ce bruit de fond), les preuves suggèrent fortement que passer de l'attention sur « à quel point c'est fort » à « dans quelle direction » est la clé pour débloquer une meilleure vision pour les images à haute résolution.

Résumé Technique : Norme ou Direction ? Décoder les Vision Mambas pour la Haute Résolution

Problématique

Les modèles Vision Mamba, tels que VMamba, sont apparus comme des backbones visuels efficaces en remplaçant l'auto-attention quadratique par des modèles d'Espace d'État (SSM) sélectifs à complexité linéaire. Cependant, des travaux récents (MambaOut) démontrent que des blocs Gated CNN peuvent égaler ou surpasser les performances de VMamba sur la classification d'images standard, remettant en question la nécessité des SSM pour les tâches de vision. Cela crée une ambiguïté fondamentale : VMamba et MambaOut encodent-ils l'information visuelle différemment au niveau de la représentation, et si oui, comment ces différences impactent-elles les performances sur les tâches de haute résolution et de prédiction dense (ex. : segmentation sémantique) ? Alors que MambaOut soutient que les SSM sont inutiles pour la classification (une tâche non autorégressive à séquence courte), VMamba conserve des avantages sur les benchmarks de prédiction dense où les séquences spatiales sont plus longues. Le problème central est de décoder les stratégies de représentation interne de ces modèles pour comprendre la source de l'avantage de VMamba dans les contextes de haute résolution.

Méthodologie

Les auteurs mènent une analyse comparative entre VMamba-T et MambaOut-T (variantes Tiny) en utilisant une approche multi-facettes :

Analyse CKA Intra et Inter-Modèles : Les auteurs appliquent l'alignement de noyau centré (CKA) pour mesurer la similitude entre les représentations à travers différents stades, entre les deux modèles, et entre les versions pré-entraînées pour la classification et celles affinées pour la segmentation.
Décomposition des Tokens (Magnitude vs Direction) : Les tokens spatiaux sont décomposés en norme $\ell_2$ (magnitude) et en vecteurs unitaires (direction). L'étude examine où les activations élevées se produisent et si l'information discriminante de classe est encodée dans la magnitude ou la direction.
Attribution et Localisation :
- Grad-CAM : Utilisé pour comparer les cartes d'activation des tokens avec les cartes d'attribution de classe.
- Attribution par Remplacement de Token : Une méthode de perturbation où chaque token individuel est remplacé par la moyenne de l'image pour mesurer sa contribution au logit de la classe cible.
- Évaluation du Vecteur Unitaire : Les classificateurs sont testés sur des tokens normalisés (norme unitaire) pour isoler l'information contenue purement dans les directions des tokens.
- Test de Tokens à Haute Norme : Les classificateurs sont entraînés ou évalués en utilisant uniquement les top-k tokens ayant la plus haute norme pour tester si la magnitude seule porte l'information de classe.
Évaluation Spécifique aux Tâches : Les modèles sont évalués sur :
- Classification à Haute Résolution : Fine-tuning sur ImageNet-1k à une résolution de 768×768.
- Segmentation Sémantique : Entraînement sur ADE20K et Pascal VOC 2012 sous deux régimes : backbone gelé et fine-tuning complet.
- Ablation : Suppression du module SS2D pour tester sa contribution spécifique aux phénomènes observés.

Principaux Résultats

1. Stratégies de Représentation Divergentes

Divergence CKA : Les blocs du stade final de VMamba forment des représentations qualitativement distinctes de celles de MambaOut et de leurs propres blocs précédents. En revanche, MambaOut maintient des représentations cohérentes à travers les couches. VMamba montre également une plus grande sensibilité aux changements de supervision (classification vs segmentation) au stade final.
Magnitude vs Direction :
- MambaOut : Concentre l'information discriminante de classe dans un petit ensemble de tokens de premier plan à haute norme. Ces tokens s'alignent spatialement avec les attributions Grad-CAM. Supprimer la magnitude (normalisation des tokens) provoque une chute brutale des performances (la précision par token chute à environ 31,5 %).
- VMamba : Produit des tokens à haute norme principalement dans les régions d'arrière-plan, qui sont désalignés avec le focus de premier plan de Grad-CAM. Cependant, les signaux discriminants sont préservés principalement dans les directions des tokens. La normalisation des tokens entraîne une baisse de performance beaucoup plus faible (la précision par token reste à environ 52,5 %, nettement supérieure à celle de MambaOut).

2. Agrégation de Preuves et Résolution

Remplacement de Token : VMamba distribue le support des logits largement sur les régions de l'objet, tandis que MambaOut repose sur des tokens épars et dominants.
Impact de la Haute Résolution : À résolution standard (224×224), MambaOut surpasse légèrement VMamba. Cependant, à haute résolution (768×768), VMamba dépasse MambaOut. Les auteurs attribuent cela à la stabilité de l'agrégation d'évidences large de VMamba, qui est moins sensible aux variations d'échantillonnage spatial à mesure que le nombre de tokens augmente, comparé à la dépendance de MambaOut envers des pics épars.

3. Prédiction Dense et Fine-Tuning

Backbone Gelé : MambaOut est légèrement plus performant sur la segmentation avec un backbone gelé, probablement parce que ses indices de premier plan alignés sur la magnitude sont immédiatement exploitables par une nouvelle tête.
Fine-Tuning Complet : VMamba surpasse significativement MambaOut lorsque le backbone est entièrement affiné.
Robustesse Directionnelle : Dans un test de "décodeur à tokens unitaires" (où la magnitude est supprimée), la performance de segmentation de VMamba reste largement intacte (47,9 $\to$ 47,5 mIoU), tandis que celle de MambaOut se dégrade fortement (47,1 $\to$ 41,5 mIoU).
Réorganisation Spatiale : Sous une supervision dense, l'encodage basé sur la direction de VMamba se réorganise en une sélectivité spatiale plus claire, tandis que l'encodage concentré sur la magnitude de MambaOut montre peu de changement.

Contributions Clés

Décodage des Stratégies d'Encodage : L'article identifie que VMamba et MambaOut reposent sur des stratégies d'encodage fondamentalement différentes : MambaOut utilise une concentration de magnitude alignée sur le premier plan, tandis que VMamba utilise une distribution basée sur la direction à travers les tokens spatiaux.
Explication de l'Avantage en Haute Résolution : Les auteurs démontrent que l'avantage de VMamba dans les tâches de prédiction dense et de haute résolution ne provient pas simplement du mécanisme SSM ou de la longueur de la séquence, mais de la manière dont l'évidence sémantique est organisée à travers la magnitude et la direction des tokens.
Rôle de la Direction des Tokens : L'étude établit que la direction des tokens sert d'axe critique, souvent négligé, pour la représentation visuelle, particulièrement pour les tâches de supervision dense où l'information doit être agrégée de manière stable à travers de nombreux tokens.

Signification et Revendications

L'article conclut que le succès des modèles Vision Mamba dans les contextes de haute résolution et de prédiction dense est ancré dans leur stratégie d'encodage directionnel. Cette stratégie permet :

Une Agrégation Stable : Une agrégation d'évidences plus robuste à mesure que le nombre de tokens augmente (haute résolution).
Une Adaptabilité : Une plus grande capacité à réorganiser la sélectivité spatiale sous une supervision dense (segmentation).

Les auteurs suggèrent que les futurs designs de backbones visuels devraient considérer la magnitude du token et la structure directionnelle comme des axes critiques. Plus précisément, ils proposent qu'une régularisation de la magnitude alignée sur le premier plan pourrait améliorer la classification standard, tandis qu'une régularisation angulaire ou des objectifs contrastifs par token pourraient améliorer les performances dans les contextes de haute résolution et de prédiction dense.

L'article reste modeste quant aux composants architecturaux spécifiques responsables, notant que bien que le module SS2D soit un candidat, le phénomène persiste même lorsque SS2D est retiré, suggérant que l'effet provient de la structure globale du bloc plutôt que du seul mécanisme de scan sélectif.