💻 computer science

MambaPanoptic: A Vision Mamba-based Structured State Space Framework for Panoptic Segmentation

MambaPanoptic est un nouveau cadre de segmentation panoptique qui exploite l'architecture Vision Mamba pour obtenir une représentation de caractéristiques multi-échelle et globalement cohérente avec une complexité computationnelle linéaire, surpassant ainsi les méthodes existantes basées sur les convolutions et les transformateurs en termes de précision et d'efficacité.

Auteurs originaux : Qing Cheng, Damiano Bertolini, Wei Zhang, Dong Wang, Niclas Zeller, Daniel Cremers

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qing Cheng, Damiano Bertolini, Wei Zhang, Dong Wang, Niclas Zeller, Daniel Cremers

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez une rue de ville animée à travers un objectif de caméra. Pour un ordinateur, cette image n'est qu'une grille de millions de petits points colorés (pixels). La Segmentation Panoptique est la tâche consistant à apprendre à l'ordinateur à regarder cette grille et à faire deux choses à la fois :

Compter les objets distincts : « C'est une voiture, c'est une autre voiture, c'est un piéton. » (On appelle cela des « choses »).
Peindre l'arrière-plan : « Tout ce patch est le ciel, toute cette zone est la route, c'est un patch d'herbe. » (On appelle cela des « éléments »).

Réussir les deux parfaitement est difficile. L'ordinateur doit voir les détails infimes d'une roue de voiture (détail local) tout en comprenant que la route s'étend loin à l'horizon (contexte à longue portée).

Le Problème des Anciennes Méthodes

L'article explique que les anciennes méthodes de vision par ordinateur souffraient d'un problème de « choisir un seul » :

Les Experts « Locaux » (CNN) : Ils sont comme une personne regardant à travers une petite loupe. Ils sont excellents pour voir les détails fins et les contours, mais ils ne peuvent pas voir ce qui se passe au loin. Ils manquent la vue d'ensemble.
Les Experts « Globaux » (Transformers) : Ils sont comme une personne avec un gigantesque télescope. Ils peuvent voir toute la ville d'un coup, mais regarder une image haute résolution avec eux est incroyablement lent et coûteux, comme essayer de lire un livre en tournant chaque page une par une.

La Nouvelle Solution : MambaPanoptic

Les auteurs présentent MambaPanoptic, un nouveau système construit sur une technologie appelée Vision Mamba. Imaginez Mamba comme un « scanner intelligent » capable de voir l'image entière et les détails infimes, mais beaucoup plus rapidement et avec moins d'énergie que les experts armés de télescopes.

Voici comment le système fonctionne, décomposé en parties simples :

1. Le Scanner Intelligent (Le Backbone)

Au lieu d'un objectif de caméra standard, le système utilise un encodeur SegMAN. Imaginez cela comme un robot hautement efficace qui scanne l'image. Il ne regarde pas seulement de gauche à droite ; il scanne dans quatre directions (haut, bas, gauche, droite) simultanément. Cela lui permet de comprendre comment une voiture se rapporte à la route au loin, sans s'embourber dans des calculs lents.

2. La Carte Multi-couches (MambaFPN)

Pour gérer différentes tailles d'objets (un oiseau minuscule vs un immense immeuble), le système construit une Pyramide de Caractéristiques.

Analogie : Imaginez créer une carte de la ville. Vous avez une vue éloignée montrant toute la disposition de la ville, une vue moyenne montrant les quartiers, et une vue rapprochée montrant les maisons individuelles.
L'Innovation : L'article introduit MambaFPN, qui construit cette carte en utilisant le scanner intelligent. Il s'assure que même les couches éloignées se souviennent des détails fins, et que les couches rapprochées comprennent le grand contexte. Il fait cela avec une « complexité linéaire », ce qui signifie que si vous doublez la taille de l'image, le travail ne fait que doubler, au lieu d'exploser vers quatre fois plus de travail (ce que faisaient les anciennes méthodes).

3. L'Approche « Emporte-pièce » (La Tête)

Une fois que le système a sa carte multi-couches, il doit tracer les contours finaux.

Ancienne Méthode : Certains systèmes essaient d'abord de deviner où se trouve chaque objet, puis dessinent des boîtes autour d'eux. C'est comme essayer de pêcher un poisson après l'autre avec un filet.
Méthode de MambaPanoptic : Il utilise un Générateur de Noyaux. Imaginez cela comme un « emporte-pièce ». Au lieu de chasser les objets, le système génère une « forme » spécifique (un noyau) pour chaque type de chose ou d'élément qu'il voit.
- S'il voit une « voiture », il génère un emporte-pièce en forme de « voiture ».
- S'il voit le « ciel », il génère un emporte-pièce en forme de « ciel ».
- Il presse ensuite ces emporte-pièces sur l'image pour créer instantanément les masques finaux. C'est rapide et ne nécessite pas de deviner où les objets pourraient se trouver à l'avance.

4. Le Polisseur de Détails (QuadMamba)

Parfois, les « emporte-pièces » peuvent être un peu rugueux sur les bords, surtout pour des formes compliquées. Le système utilise un module QuadMamba comme un « polisseur de détails ».

Analogie : Imaginez un chef coupant un gâteau. La première coupe est bonne, mais QuadMamba est comme une deuxième coupe, plus précise, qui s'adapte à la forme du gâteau. Il regarde l'image par morceaux de tailles différentes (comme un fractal) pour s'assurer que les bords de la voiture ou de la route sont parfaitement nets.

Que Ont-ils Découvert ?

Les auteurs ont testé ce nouveau système sur deux ensembles de données célèbres : Cityscapes (images de rues de ville) et COCO (une immense collection d'objets généraux).

Sur Cityscapes : MambaPanoptic a battu les anciens experts « Locaux » (CNN) et a même égalé ou légèrement surpassé les experts « Globaux » (Transformers comme Mask2Former) en précision.
Le Gain d'Efficacité : Il a obtenu ces scores élevés tout en utilisant moins de paramètres (moins de mémoire et de puissance de calcul) que les lourds modèles Transformer.
Sur COCO : Il s'est très bien débrouillé, battant les anciennes méthodes, bien qu'il soit légèrement en retrait par rapport aux modèles Transformer les plus puissants. Les auteurs expliquent que cela est dû au fait que l'ensemble de données COCO est incroyablement complexe avec des centaines de catégories, et que la méthode « emporte-pièce » a parfois du mal avec autant de variété par rapport à la méthode « télescope ».

La Conclusion

L'article affirme que MambaPanoptic est le premier système à utiliser avec succès cette nouvelle technologie de « scan intelligent » pour cette tâche duale spécifique (compter les choses + peindre les éléments). Il offre une solution « le meilleur des deux mondes » : la vitesse et l'efficacité des anciennes méthodes avec la compréhension à longue portée des nouvelles méthodes, en faisant un outil prometteur pour comprendre des scènes complexes comme la conduite en ville.

Limitations mentionnées : Les auteurs admettent que bien que le système soit excellent pour voir la grande image, il a parfois du mal avec des lignes très fines ou les contours exacts des objets, probablement parce que le mouvement de « scan » n'est pas parfait pour capturer les détails haute fréquence. Ils suggèrent que des travaux futurs pourraient combiner ce scanner avec un « détecteur de bords » plus spécialisé pour corriger cela.

Résumé Technique : MambaPanoptic

Énoncé du Problème
La segmentation panoptique nécessite la reconnaissance simultanée d'instances « choses » dénombrables et de régions « choses » amorphes. Cette tâche exige des représentations de caractéristiques qui préservent les détails locaux fins pour des frontières précises tout en capturant le contexte à longue portée pour des agencements de scènes complexes. Les approches existantes font face à un compromis : les réseaux de neurones convolutifs (CNN) sont efficaces mais limités dans la modélisation des dépendances à longue portée en raison de champs récepteurs bornés, tandis que les méthodes basées sur les Transformers offrent un raisonnement global mais engendrent des coûts computationnels quadratiques prohibitifs pour les entrées haute résolution. De plus, les Transformers manquent souvent de fortes biais inductifs, nécessitant des données à grande échelle et des temps d'entraînement étendus.

Méthodologie
L'article propose MambaPanoptic, un cadre entièrement basé sur Mamba, de bout en bout, conçu pour répondre à ces limitations grâce à une complexité computationnelle linéaire et une modélisation efficace à longue portée. L'architecture comprend trois composants principaux :

Encodeur de Caractéristiques Multi-échelle Mamba :
- Backbone : Utilise l'encodeur SegMAN, un réseau hybride hiérarchique. Il emploie des blocs Local Attention and State Space (LASS), qui combinent l'Attention de Voisinage (pour la précision spatiale locale) avec un mécanisme de Balayage Sélectif 2D (SS2D). Le SS2D balaye les séquences de caractéristiques aplatis dans quatre directions orthogonales pour modéliser les dépendances à longue portée avec une complexité linéaire.
- MambaFPN : Un nouveau Réseau de Pyramide de Caractéristiques (Feature Pyramid Network) descendant qui remplace les FPN standards. Il fusionne les caractéristiques de différentes étapes du backbone en utilisant des blocs SS2D pour générer des représentations de caractéristiques multi-échelles globalement cohérentes ( $F'_1$ à $F'_4$ ) avec une complexité computationnelle linéaire.
Tête Panoptique (Sans Propositions) :
- Adoptant une approche basée sur les noyaux de style PanopticFCN, la tête évite les décodeurs Transformers lourds. Elle se compose d'un Générateur de Noyaux et d'un Encodeur de Caractéristiques Haute Résolution.
- Générateur de Noyaux : Produit des noyaux unifiés pour les choses et les choses. Il inclut une tête de position (prédisant des cartes de chaleur pour les centres des choses et des cartes de score pour les régions de choses) et une tête de noyau (générant des caractéristiques de noyau conscientes de l'espace).
- Fusion de Noyaux : Agrège les estimations de noyaux de différentes résolutions. Les noyaux de choses sont regroupés par similarité cosinus des caractéristiques, tandis que les noyaux de choses sont regroupés par classe sémantique.
- Encodeur de Caractéristiques Haute Résolution : Affine la carte de caractéristiques de la plus haute résolution ( $F'_1$ ) et l'injecte dans les caractéristiques de noyau pour préserver les frontières fines.
Module d'Affinement des Caractéristiques Mamba (MFRM) :
- Intégré à plusieurs étapes (au sein du générateur de noyaux et de l'encodeur haute résolution), ce module utilise un bloc QuadMamba. Il emploie une stratégie de balayage basée sur une quadtree apprenable pour partitionner adaptivement les cartes de caractéristiques et un mécanisme de décalage de fenêtre omnidirectionnel. Cela permet un traitement adaptatif du grossier au fin, mieux adapté aux objets de tailles variables et de formes irrégulières par rapport au partitionnement à fenêtre fixe.

Stratégie d'Entraînement
Le modèle est entraîné avec deux termes de perte complémentaires :

Perte de Noyau ( $L_k$ ) : Utilise la Focal Loss pour optimiser les cartes de score de noyau (cartes de chaleur pour les choses, cartes de score pour les choses). La vérité terrain des choses est formulée comme des cartes de chaleur continues utilisant des noyaux gaussiens 2D.
Perte de Masque ( $L_{seg}$ ) : Utilise la Dice Loss pour la branche de prédiction de masque finale afin de gérer les distributions de labels déséquilibrées dans la segmentation dense.
La perte totale est une combinaison pondérée de ces deux termes.

Contributions Clés

Première Architecture Panoptique Mamba de Bout en Bout : MambaPanoptic est présenté comme la première architecture entièrement basée sur Mamba spécifiquement conçue pour la segmentation panoptique, distincte des travaux antérieurs qui se contentent de remplacer les backbones dans des cadres existants (par exemple, SegMAN remplaçant ResNet dans Mask DINO).
MambaFPN : Une pyramide de caractéristiques multi-échelle en temps linéaire qui fournit conjointement un contexte global et des détails spatiaux fins, surmontant le coût quadratique des Transformers et le biais de localité des CNN.
Affinement basé sur QuadMamba : L'introduction du MFRM pour améliorer efficacement les représentations de caractéristiques à travers plusieurs étapes du réseau en utilisant un balayage adaptatif du grossier au fin.
Évaluation Complète : Des expériences extensives sur les benchmarks Cityscapes et COCO démontrant des performances compétitives par rapport aux bases de référence CNN et Transformer de l'état de l'art.

Résultats Expérimentaux

Cityscapes : MambaPanoptic surpasse les bases de référence basées sur CNN (Panoptic-DeepLab, PanopticFCN) sur toutes les métriques. Il atteint une Qualité Panoptique (PQ) de 64,89 et une Précision Moyenne (AP) de 39,91, surpassant le Transformer Mask2Former (PQ 63,9, AP 39,1) tout en utilisant significativement moins de paramètres (35,7M contre 47,4M).
COCO : Le modèle surpasse constamment les bases de référence CNN (PQ 45,6 contre 41,0 pour PanopticFCN) mais montre un écart de performance par rapport à Mask2Former (PQ 53,2). Les auteurs attribuent cela à la complexité élevée des catégories de COCO (133 classes), où les méthodes basées sur des requêtes avec des représentations persistantes et spécifiques aux catégories peuvent avoir un avantage par rapport à la génération dynamique de noyaux.
Études d'Ablation : Confirment que chaque composant basé sur Mamba (Encodeur, FPN et Module d'Affinement) contribue positivement et indépendamment à la performance finale.

Signification et Revendications
L'article revendique que MambaPanoptic démontre que les Modèles d'Espace d'État Structurés (SSM) sont une alternative prometteuse aux architectures basées sur les convolutions et les Transformers pour la segmentation panoptique. Le cadre équilibre avec succès le besoin de modélisation du contexte à longue portée avec l'efficacité computationnelle, atteignant des résultats de l'état de l'art ou compétitifs avec des nombres de paramètres réduits.

Les auteurs reconnaissent modestement les limitations :

Précision des Frontières : Le modèle éprouve parfois des difficultés avec les frontières d'objets et les structures fines, hypothétiquement un compromis des mécanismes de balayage de Mamba qui privilégient les dépendances à longue portée par rapport aux détails locaux haute fréquence.
Scènes Complexes : Sur des ensembles de données hautement complexes comme COCO, l'approche basée sur les noyaux prend du retard par rapport aux Transformers basés sur des requêtes, suggérant qu'une conception hybride combinant la modélisation de caractéristiques Mamba avec un décodage basé sur des requêtes léger pourrait être une direction fructueuse pour les travaux futurs.

Des travaux futurs sont proposés pour investiguer des backbones plus grands, améliorer la gestion des frontières et étendre le cadre aux tâches de segmentation panoptique aérienne et 3D.