💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

Le papier introduit le Vision Non-Causal Trapezoidal Mamba (VNCT), un modèle d'espace d'états non causal de second ordre qui élimine le balayage directionnel des jetons pour obtenir des représentations robustes à l'orientation et une performance supérieure à travers diverses tâches de vision tout en maintenant une faible latence d'inférence.

Auteurs originaux : Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre un puzzle géant et complexe composé de milliers de minuscules pièces d'image (des tokens). Pendant longtemps, les modèles de vision par ordinateur ont fonctionné comme une rue à sens unique très stricte. Ils devaient regarder les pièces dans un ordre spécifique : de gauche à droite, de haut en bas, ou selon un autre chemin fixe. C'est ce qu'on appelle le balayage directionnel. C'est comme lire un livre où l'on ne peut pas regarder plus loin ou revenir en arrière ; il faut lire chaque mot d'une ligne avant de passer à la suivante.

Le papier présente un nouveau modèle appelé Vision Non-Causal Trapezoidal Mamba (VNCT). Sa conclusion principale est que cette règle de la "rue à sens unique" est en fait inutile pour bien voir. En fait, s'en débarrasser rend le modèle plus rapide et plus intelligent.

L'ancienne méthode vs La nouvelle méthode

Considérez les anciens modèles (comme beaucoup de Vision Transformers ou les anciens modèles "Mamba") comme une équipe de détectives qui doivent traverser une salle de musée en file indienne. Ils ne peuvent regarder que le tableau devant eux, puis le suivant, et ainsi de suite. S'ils ratent un détail sur la gauche parce qu'ils étaient concentrés sur la droite, ils risquent de ne le remarquer qu'en faisant le tour, ce qui prend du temps supplémentaire. Cela crée un biais ; le modèle s'habitue à regarder dans une direction spécifique.

VNCT jette le manuel de règles. Au lieu de marcher en file indienne, il permet à chaque pièce de l'image de communiquer avec toutes les autres en même temps, en une seule passe. C'est comme allumer un immense projecteur instantané qui illumine toute la salle du musée simultanément. Chaque détective peut voir chaque tableau instantanément, sans attendre son tour. Le papier montre que cette approche "tout à la fois" élimine les biais étranges causés par la marche en file.

La recette secrète : La dynamique du second ordre

Mais comment communique-t-il avec tout le monde si vite sans s'embrouiller ? Les auteurs utilisent une astuce mathématique ingénieuse appelée dynamique du second ordre (plus précisément, la dynamique "trapézoïdale").

Imaginez que vous essayiez de deviner la température d'une pièce.

Premier ordre (l'ancienne méthode) : Vous vérifiez le thermomètre une fois et vous faites une supposition basée sur cette lecture unique.
Second ordre (la méthode de VNCT) : Vous vérifiez le thermomètre, mais vous regardez aussi à quelle vitesse la température changeait juste un instant auparavant. Vous faites une moyenne du "maintenant" et du "juste avant".

Cette méthode "trapézoïdale" (faire la moyenne des points de départ et d'arrivée d'une étape) donne au modèle une compréhension plus riche et plus détaillée de l'image. Le papier suggère que cette couche supplémentaire de détail aide le modèle à mieux comprendre les formes et les contours que les méthodes plus simples à étape unique utilisées par les modèles précédents.

Ce que le papier écarte

Le papier argumente explicitement contre l'idée que les modèles de vision aient besoin du balayage directionnel pour bien fonctionner. De nombreux modèles précédents ont tenté de corriger le problème de la "rue à sens unique" en ajoutant des chemins plus complexes (comme marcher en zigzag ou en spirale), mais les auteurs démontrent qu'il n'est pas nécessaire de corriger le chemin du tout — il suffit de supprimer le chemin entièrement. Ils écartent la nécessité du balayage séquentiel pour une vision haute performance.

Les résultats : Plus rapide, plus fort et plus robuste

Les auteurs ont mesuré leur modèle sur plusieurs défis majeurs, et les résultats sont très clairs :

Vitesse : Parce qu'il n'a pas besoin d'attendre qu'une file se forme, VNCT est plus rapide. Sur une seule image, il a fallu 5,25 millisecondes pour la version "Micro" et 7,31 millisecondes pour la version "Tiny" pour faire une prédiction. C'est plus rapide que le précédent modèle non causal (VSSD), qui prenait respectivement 5,80 ms et 8,01 ms.
Précision : Il a obtenu de meilleurs scores sur les tests standards. Sur le test ImageNet-1K, la version "Tiny" a atteint 84,2 % de précision, battant le meilleur modèle non causal précédent (VSSD-Tiny) qui avait obtenu 83,7 %.
Rotation et retournement : L'une des découvertes les plus intéressantes concerne la "robustesse de l'orientation". Si l'on retourne une image à l'envers ou si on la fait pivoter, les anciens modèles s'embrouillent un peu et leur précision chute. VNCT est beaucoup plus serein face à cela. Lorsque l'image était pivotée ou retournée, la baisse moyenne de précision n'était que de 0,3 %, contre 0,9 % pour VSSD et 1,6 % pour le modèle à balayage directionnel. Cela suggère que le modèle voit l'objet comme un tout, et non comme une séquence de pixels.
Contours : Lorsqu'il s'agit de dessiner les contours des objets (comme séparer une voiture de la route), VNCT est plus net. Il a amélioré l' "IoU de bordure" (un score pour mesurer la correspondance des bords) jusqu'à 3,7 points sur le jeu de données Cityscapes par rapport à VSSD.

L'essentiel

Le papier ne se contente pas de suggérer que cela pourrait fonctionner ; il l'a mesuré à travers des tâches de classification, de détection d'objets et de segmentation. Les auteurs concluent que la "rue à sens unique" du balayage directionnel est un artefact de la tentative de forcer des modèles de séquences sur des images, et qu'une approche non causale de second ordre est une façon plus simple, plus efficace et plus robuste de construire une IA de vision. Ils n'ont pas seulement peaufiné l'ancien système ; ils ont remplacé les règles de circulation, et les voitures roulent plus vite et conduisent plus droit.

Résumé Technique : Vision Non-Causal Trapezoidal Mamba (VNCT)

1. Énoncé du Problème

Les modèles d'espace d'état (SSM) sont apparus comme des alternatives efficaces aux Vision Transformers (ViT) pour modéliser les dépendances à longue portée avec une complexité temporelle linéaire. Cependant, la plupart des SSM de vision existants (par exemple, ViM, VMamba) héritent du balayage directionnel de jetons (token scanning) issu de la modélisation de séquences causales. Pour appliquer les SSM 1D aux images 2D, les jetons doivent être sérialisés le long de chemins prédéfinis (horizontaux, verticaux ou multidirectionnels).

Les auteurs identifient trois limitations critiques de cette approche :

Biais Spatial : Le balayage directionnel impose un ordre de parcours artificiel qui n'est pas intrinsèque aux données visuelles, créant des interactions de caractéristiques sensibles à l'orientation.
Inefficacité : L'agrégation de contextes bidirectionnels nécessite souvent plusieurs passages de balayage, ce qui augmente la latence d'inférence.
Désalignement : Les scènes visuelles sont non-causales ; les relations spatiales existent indépendamment de l'ordre des jetons.

Bien que des travaux récents comme Vision State Space Duality (VSSD) aient introduit l'agrégation non-causale, celle-ci reste limitée à la dynamique de premier ordre. L'article questionne la nécessité du balayage directionnel pour les SSM de vision de haute performance, ou s'il ne s'agit que d'un artefact de l'adaptation des modèles de séquence aux images.

2. Méthodologie : Vision Non-Causal Trapezoidal Mamba (VNCT)

Les auteurs proposent VNCT, un squelette (backbone) de vision hiérarchique construit sur une formulation d'espace d'état non-causale de second ordre. L'innovation centrale est la couche NC-M3 (Non-Causal Mamba-3).

2.1. Mécanisme Central : NC-M3

La couche NC-M3 reformule la dynamique trapézoïdale exponentielle de Mamba-3 en un opérateur d'agrégation global et non-causal.

Dynamique de Second Ordre : Contrairement aux SSM standards qui utilisent une mise à jour à étape unique, Mamba-3 utilise une règle de quadrature trapézoïdale, faisant la moyenne entre les deux points d'intégration (gauche et droite). Cela s'exprime par :
$h_t = \alpha_t h_{t-1} + \beta_t x_{t-1} + \gamma_t x_t$
où $\beta$ et $\gamma$ pondèrent les observations aux extrémités gauche et droite.
Élévation Non-Causale (Non-Causal Lift) : Les auteurs transforment cette récurrence causale en un opérateur invariant par permutation. Au lieu d'une propagation d'état séquentielle, ils remplacent la matrice de transition causale triangulaire inférieure par un noyau d'interaction entièrement dense et normalisé.
Agrégation Globale : L'interaction est calculée via des statistiques suffisantes globales. Pour un jeton de sortie $i$ $i$ , l'état est dérivé d'une somme globale de tous les jetons d'entrée $j$ $j$ , pondérée par des paramètres dépendants des données ( $\alpha, \beta, \gamma$ $α, β, γ$ ) projetés dans un espace d'interaction.
- La règle d'agrégation est factorisée pour éviter la construction d'une matrice d'interaction $L \times L$ , maintenant une complexité temporelle linéaire ( $O(L)$ ).
- Cela permet à tous les jetons de l'image d'interagir en un seul passage sans balayage directionnel.

2.2. Composants Architecturaux

Paramétrage MIMO à Faible Rang : VNCT incorpore un mécanisme Multi-Input Multi-Output (MIMO) à faible rang pour modéliser conjointement les interactions spatiales et de canaux de manière efficace.
Encodage Positionnel Rotatif 2D (2D RoPE) : Puisque l'agrégation est indépendante de l'ordre, l'information spatiale est injectée via un 2D RoPE appliqué aux projections source et requête, encodant le déplacement spatial relatif.
Squelette Hiérarchique : Le modèle suit une architecture à quatre étapes (similaire à Swin ou ConvNeXt) avec un sous-échantillonnage progressif. Les étapes 1 à 3 utilisent des blocs NC-M3, tandis que l'étape 4 emploie l'Auto-Attention Multi-Têtes (MHSA) sur la carte de caractéristiques à la plus basse résolution pour gérer le contexte global là où le coût quadratique est négligeable.
Perception Locale : Une unité de perception locale (LPU) utilisant des convolutions depth-wise injecte un biais inductif spatial local avant l'agrégation globale.

3. Contributions Clés

Couche NC-M3 : Une couche d'espace d'état non-causale de second ordre qui élimine le balayage directionnel, permettant des interactions en un seul passage entre tous les jetons de l'image.
Squelette VNCT : Un squelette de vision hiérarchique combinant la dynamique non-causale de second ordre avec le paramétrage MIMO à faible rang.
Validation Empirique : Démonstration que l'élimination du balayage directionnel améliore la latence d'inférence, la robustesse à l'orientation et la préservation des contours, surpassant systématiquement les SSM à balayage directionnel et les SSM non-causaux de premier ordre.

4. Résultats Expérimentaux

Les auteurs ont évalué VNCT sur ImageNet-1K (classification), COCO (détection d'objets et segmentation d'instances) et ADE20K (segmentation sémantique).

Classification (ImageNet-1K) : VNCT atteint une précision Top-1 de pointe (SOTA) sur les échelles Micro, Tiny, Small et Base.
- Exemple : VNCT-Tiny atteint 84,2 % de précision Top-1, surpassant VSSD-T (83,7 %) et VMamba-T (82,5 %).
- Efficacité : VNCT démontre une latence d'inférence par image plus faible que VSSD aux échelles Micro, Tiny et Small.
Prédiction Dense (COCO & ADE20K) :
- Détection/Segmentation : VNCT-T surpasse toutes les bases en Box AP et Mask AP sur COCO, avec des gains significatifs à AP75 (indiquant une meilleure précision de localisation).
- Segmentation Sémantique : VNCT atteint le mIoU le plus élevé sur ADE20K à travers toutes les échelles de modèle (par exemple, VNCT-S atteint 50,1 % de mIoU contre 49,2 % pour VSSD-S).
Préservation des Contours : VNCT améliore significativement le Boundary IoU (BIoU).
- Sur ADE20K, VNCT-T améliore le BIoU de +2,3 points par rapport à VSSD-T.
- Sur Cityscapes, l'amélioration est de +3,7 points.
- L'analyse qualitative montre que VNCT produit des contours plus complets et géométriquement précis.
Robustesse à l'Orientation : VNCT présente une robustesse supérieure aux transformations géométriques (renversements et rotations) sans réentraînement.
- Sur ImageNet-1K, VNCT-T montre une chute de précision moyenne de seulement 0,3 % à travers quatre transformations, contre 0,9 % pour VSSD-T et 1,6 % pour VMamba-T.
Analyse du Champ Récepteur : La visualisation du champ récepteur effectif (ERF) révèle que VNCT produit un champ récepteur lisse, symétrique et globalement uniforme, contrairement aux artefacts directionnels vus dans VMamba ou à la couverture irrégulière de VSSD.

5. Signification et Revendications

L'article soutient que le balayage directionnel est inutile pour les SSM de vision de haute performance. Les auteurs affirment que les limitations des précédents SSM de vision proviennent du balayage directionnel causal plutôt que de la modélisation d'espace d'état elle-même.

En remplaçant le balayage causal par une modélisation d'espace d'état non-causale de second ordre, VNCT offre une alternative simple, efficace et robuste pour la reconnaissance visuelle. Les résultats suggèrent que :

L'agrégation non-causale globale combinée à une dynamique de second ordre produit des représentations spatiales plus fortes pour les tâches de prédiction dense.
La suppression du biais directionnel conduit à des caractéristiques plus robustes à l'orientation et à une meilleure préservation des contours.
Des squelettes de vision de haute performance peuvent être obtenus sans la surcharge de calcul de multiples passages de balayage ou la complexité quadratique des mécanismes d'attention complète (sauf à l'étape finale).

Les auteurs concluent que cette approche motive les opérateurs d'espace d'état non-causaux d'ordre supérieur comme une direction prometteuse pour les futurs squelettes de vision.