Résumé Technique : GraphScan pour les Modèles d'État de l'Espace Visuels

1. Énoncé du Problème

Les Modèles d'État de l'Espace Visuels (SSM), en particulier ceux basés sur l'architecture Mamba, offrent une modélisation efficace des dépendances à long terme avec une complexité linéaire. Cependant, leurs performances dépendent de manière critique de la manière dont les cartes de caractéristiques visuelles bidimensionnelles sont sérialisées en séquences de tokens unidimensionnelles pour le traitement.

Les opérateurs de balayage existants dans les SSM visuels se divisent généralement en deux catégories :

1. Parcours Géométriques Fixes : Des chemins prédéfinis (par exemple, raster, bidirectionnel, fractal) qui sérialisent le réseau 2D en une séquence 1D. Ces méthodes exposent le modèle à des ordonnancements fixes qui peuvent ne pas correspondre au contenu sémantique.
2. Balayages Dynamiques Basés sur les Coordonnées : Des méthodes qui prédisent des décalages ou des emplacements d'échantillonnage et réacheminent les tokens via interpolation (par exemple, interpolation bilinéaire). Bien qu'adaptatives, ces méthodes ajustent principalement où échantillonner en fonction de la géométrie plutôt que de modéliser explicitement quels patches locaux doivent échanger des informations en fonction de la pertinence sémantique avant le mélange global.

Les auteurs identifient un écart : les mécanismes actuels adaptent les chemins ou les coordonnées d'échantillonnage, mais ne modélisent pas explicitement les voisinages sémantiques locaux pour préconditionner les tokens avant qu'ils n'entrent dans le mélangeur d'état sélectif. La question centrale posée est de savoir si le routage basé sur les graphes peut aider les SSM visuels à « mieux voir » en établissant des connexions sémantiques avant la propagation globale.

2. Méthodologie : GraphScan

L'article introduit GraphScan, un opérateur de balayage dynamique induit par un graphe, conçu pour précéder le SSM sélectif. Contrairement aux méthodes qui remplacent le SSM par un Réseau de Neurones à Graphes (GNN), GraphScan agit comme un préconditionneur léger et adaptatif à l'entrée, enrichissant les tokens avec un contexte sémantique local.

Mécanisme Central

Pour chaque token $x_i$ dans la carte de caractéristiques :

1. Construction du Graphe Local : Un ensemble de candidats locaux spatialement bornés $S_r(i)$ est défini autour de la coordonnée du réseau du token, avec un rayon fixe $r$.
2. Affinités Conditionnées par les Caractéristiques : Au lieu d'une interpolation géométrique, GraphScan calcule des affinités de type attention entre le token requête et ses voisins, basées sur la similarité des caractéristiques et un biais de position relative.
   • Les projections Requête, Clé et Valeur sont calculées : $q_i, k_j, v_j$.
   • Les scores d'affinité $s_{ij}$ sont calculés en utilisant des produits scalaires et un biais de position relative apprenable $b_{rel}(g_j - g_i)$.
   • La normalisation Softmax produit les poids $\alpha_{ij}$.
3. Passage de Message en Une Étape : Le token de sortie $x'_i$ est généré en agrégeant les caractéristiques de valeur du voisinage sémantique et en ajoutant une connexion résiduelle :
   $$x'_i = x_i + \left( \sum_{j \in S_r(i)} \alpha_{ij} v_j \right) W_o$$
   Cela remplace la représentation isolée du patch par un mélange sémantique de preuves visuelles voisines.

Intégration dans le Backbone

GraphScan est intégré dans un backbone hiérarchique Vision Mamba (GraphScan-Mamba) en tant que couche de routage pré-SSM.

• Architecture : Le backbone suit une conception standard à quatre étapes avec des stems convolutifs chevauchants et un sous-échantillonnage par étape.
• Placement : Au sein de chaque bloc, le flux est : Convolution Profonde (Local Fixe) $\to$ GraphScan (Local Apprenable) $\to$ SSM Sélectif (Global).
• Adaptativité : Le rayon du graphe $r$ augmente avec la profondeur de l'étape (par exemple, $r=1$ dans les premières étapes, $r=3$ dans les étapes ultérieures), permettant au champ récepteur de croître du local au globalement effectif tout en maintenant une échelle linéaire.

Implications Théoriques

Les auteurs analysent GraphScan comme un préconditionneur parcimonieux et adaptatif à l'entrée. En modifiant la séquence de tokens $X$ en $X'$ avant le SSM, GraphScan influence le SSM de deux manières :

1. Injection de Valeur : Il modifie les valeurs écrites dans l'état récurrent.
2. Modulation des Paramètres : Puisque les SSM de style Mamba génèrent des paramètres de récurrence ($\Delta, B, C$) à partir du token courant, modifier le token modifie également les paramètres sélectifs régissant la propagation de l'état et la lecture.
   Cela crée un « noyau local-global » où un patch source influence la sortie à travers une affinité sémantique locale $\alpha_{ij}$ et un facteur de propagation sélective global $K'_{t,i}$.

3. Contributions Clés

1. Opérateur GraphScan : Un mécanisme de balayage novateur qui traite le balayage comme un « routage sémantique local appris » plutôt que comme une sérialisation géométrique ou une sélection de coordonnées. Il préserve le nombre de tokens et l'échelle linéaire tout en introduisant une conscience sémantique.
2. Backbone GraphScan-Mamba : Une implémentation hiérarchique de GraphScan qui atteint des performances de pointe (SOTA) parmi les SSM visuels sur plusieurs tâches sans altérer la logique de récurrence centrale du SSM.
3. Orthogonalité : La méthode s'avère orthogonale aux améliorations côté récurrence (par exemple, SSD, formulations non causales), offrant un levier de conception complémentaire pour les SSM visuels.
4. Interprétabilité : La méthode induit des champs de déplacement interprétables sur le réseau de tokens, visualisant comment le modèle achemine les informations en fonction du contenu sémantique plutôt que d'une géométrie fixe.

4. Résultats Expérimentaux

Les auteurs évaluent GraphScan-Mamba sur trois benchmarks standards, en comparaison avec des ConvNets, des Transformers et des SSM visuels existants (par exemple, VMamba, DAMamba, Spatial-Mamba) avec des budgets de paramètres et de FLOP comparables.

• Classification ImageNet-1K :
  • GraphScan-Mamba-B atteint une précision top-1 de 86,5 %, surpassant la base SSM visuel la plus forte (Spatial-Mamba-B à 85,3 %) de +1,2 % et VMamba-B de +2,6 %.
  • Il dépasse également de solides backbones ConvNet et Transformer (par exemple, ConvNeXt-B, Swin-B) à des échelles similaires.
• Détection d'Objets et Segmentation d'Instances COCO (Mask R-CNN) :
  • Sous le calendrier 1x, GraphScan-Mamba-B atteint 51,9 mAP boîte et 46,0 mAP masque, menant toutes les bases SSM visuelles.
  • Les gains se transfèrent efficacement aux tâches de prédiction dense, indiquant que les tokens appris sont robustes aux structures spatiales à l'échelle de la détection.
• Segmentation Sémantique ADE20K (UperNet) :
  • GraphScan-Mamba-B atteint 53,2 % mIoU (échelle unique), surpassant la meilleure base SSM visuel (DAMamba-B à 51,9 %) de +1,3 %.
  • Les résultats multi-échelles montrent des améliorations constantes (53,6 % contre 52,3 %).

Études d'Ablation :

• Placement : Le placement pré-SSM est critique ; déplacer GraphScan post-SSM entraîne une baisse de précision de 0,7 %.
• Calendrier de Rayon : Un calendrier de rayon croissant $(1, 1, 2, 3)$ offre la meilleure frontière de Pareto entre calcul et précision.
• Biais de Position Relative : L'inclusion d'un biais de position relative apprenable fournit un gain constant, bien que faible.

5. Signification et Revendications

L'article conclut que les graphes aident effectivement les SSM visuels à mieux voir. La signification de ce travail réside dans le changement de paradigme de conception pour les SSM visuels :

• De la Géométrie à la Sémantique : Le balayage ne doit pas être traité uniquement comme une sérialisation géométrique (choisir un chemin ou une coordonnée) mais comme un routage sémantique local appris avant la modélisation d'état de l'espace global.
• Complément Côté Entrée : GraphScan fournit une solution côté entrée qui complète les avancées côté récurrence. Il garantit que les tokens entrant dans le mélangeur sélectif sont déjà ancrés localement et conscients sémantiquement, améliorant le conditionnement de la séquence globale sans modifier la dynamique interne du SSM.
• Généralisabilité : L'approche est orthogonale au cœur SSM spécifique (par exemple, Mamba-1/S6), suggérant qu'elle peut être appliquée à de futures variantes SSM.

Les auteurs revendiquent modestement que, bien que GraphScan améliore les performances et l'interprétabilité, il ne garantit pas la généralisation dans un sens formel de la théorie du contrôle sans hypothèses supplémentaires, mais il fournit un mécanisme structurel pour des entrées sémantiques locales plus riches.