💻 computer science

RS-SSM: Refining Forgotten Specifics in State Space Model for Video Semantic Segmentation

Cet article présente RS-SSM, une approche innovante pour la segmentation sémantique vidéo qui surmonte la perte d'informations spécifiques inhérente aux modèles d'espace d'état grâce à un perceptron d'amplitude par canal et un raffineur de porte d'oubli, permettant ainsi d'atteindre des performances de pointe tout en conservant une efficacité computationnelle élevée.

Auteurs originaux : Kai Zhu, Zhenyu Cui, Zehua Zang, Jiahuan Zhou

Publié 2026-03-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kai Zhu, Zhenyu Cui, Zehua Zang, Jiahuan Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎥 Le Problème : La "Mémoire à Court Terme" des Robots

Imaginez que vous essayez de décrire une vidéo complexe (comme une course de voitures ou une scène de film) à un ami qui ne la voit pas.

Les anciennes méthodes (Transformers) : C'est comme si votre ami devait relire toutes les pages du livre pour chaque phrase qu'il écrit. C'est très précis, mais cela prend une éternité et épuise sa mémoire.
Les nouvelles méthodes (SSM - Modèles à Espace d'État) : C'est plus rapide. Votre ami résume l'histoire en gardant une "mémoire" compacte. Il est très efficace, mais il a un défaut majeur : pour faire tenir l'histoire dans sa petite mémoire, il doit jeter les détails. Il se souvient qu'il y a une "voiture rouge", mais il oublie les rayures sur le pare-chocs ou les reflets sur les phares.

En langage technique, on dit que ces modèles oublient les "spécificités spatio-temporelles" (les détails fins comme les bords, les textures, les mouvements rapides) au profit des informations générales. Résultat : la segmentation (le découpage de l'image) est floue sur les contours.

💡 La Solution : RS-SSM (Le "Rattrapage" des Détails Oubliés)

Les auteurs (une équipe de l'Université de Pékin et d'autres) ont créé RS-SSM. Imaginez-le comme un chef cuisinier perfectionniste qui a un assistant rapide mais distrait.

Voici comment ça marche, étape par étape, avec des analogies :

1. Le Détecteur d'Oublis (CwAP)

Le modèle standard (l'assistant) résume l'image, mais il perd des détails. Le module CwAP agit comme un détective des fréquences.

L'analogie : Imaginez que l'image est une chanson. Les informations générales (le ciel, la route) sont la basse et la rythmique (les basses fréquences). Les détails (les cheveux au vent, les bordures) sont les aigus (les hautes fréquences).
Le détective écoute la chanson et repère : "Ah ! Dans ce canal de mémoire, on a perdu tous les aigus ! C'est là qu'il y a les détails importants." Il dresse une liste précise de ce qui a été oublié.

2. Le Correcteur de Mémoire (FGIR)

Une fois que le détective a identifié les oublis, le module FGIR intervient. C'est le chef cuisinier qui va corriger l'assistant.

L'analogie : L'assistant utilise une "porte de l'oubli" (un filtre) pour décider quoi garder. Normalement, cette porte ferme trop fort sur les détails.
Le chef prend la liste du détective et dit : "Non, non ! Pour ce canal précis, ouvre la porte à l'envers !" Il inverse et affine le filtre pour que, au lieu de jeter les détails, le modèle les récupère et les affine.

3. La Collaboration (Le Duo Gagnant)

Au lieu d'avoir un seul modèle qui essaie de tout faire, RS-SSM utilise une double équipe :

L'Assistant (SSM θ2) : Il garde la vue d'ensemble (la structure globale, la cohérence). Il est rapide et efficace.
Le Correcteur (SSM θ1) : Il utilise la porte inversée pour se concentrer spécifiquement sur ce que l'assistant a oublié.
Le Résultat : Ils se complètent. L'un garde le contexte, l'autre nettoie les bords et les textures. C'est comme avoir un photographe qui prend la photo large, et un second qui vient retoucher les pixels flous à la fin.

🏆 Pourquoi c'est génial ?

Précision chirurgicale : Les résultats montrent que RS-SSM découpe les objets dans la vidéo avec une netteté incroyable (les bords des voitures, les cheveux, les vêtements sont nets), là où les autres modèles font des contours flous.
Vitesse éclair : Contrairement aux méthodes lourdes qui doivent tout recalculer, RS-SSM reste très rapide. Il ne perd pas de temps à tout relire, il se contente de "rattraper" les détails manquants intelligemment.
Économique : Il utilise moins de puissance de calcul (moins d'énergie) que les géants actuels tout en étant plus précis.

En résumé

Si les modèles actuels sont comme un résumé de livre qui perd les détails de l'intrigue, RS-SSM est comme un éditeur qui lit le résumé, repère les trous, et réécrit les paragraphes manquants pour que l'histoire soit à la fois rapide à lire et parfaitement détaillée.

C'est une avancée majeure pour permettre aux voitures autonomes, aux caméras de surveillance et aux outils de montage vidéo de "voir" le monde avec une clarté humaine, mais à la vitesse d'un ordinateur.

1. Problématique

La Segmentation Sémantique Vidéo (VSS) vise à attribuer une étiquette sémantique à chaque pixel d'une vidéo, ce qui nécessite une modélisation spatio-temporelle précise pour assurer la cohérence temporelle des objets.

Limites des approches existantes :
- Les méthodes basées sur les Transformers offrent de bonnes performances mais souffrent d'une complexité quadratique ( $O(N^2)$ ) en raison du mécanisme d'attention, ce qui les rend coûteuses en calcul et en mémoire pour les longues séquences vidéo.
- Les modèles récents basés sur les Modèles d'Espace d'État (SSM), comme Mamba, offrent une complexité linéaire et une compression efficace de l'information. Cependant, lors de la compression de l'espace d'état à taille fixe, ces modèles ont tendance à préserver les informations sémantiques communes (structures globales, régions lisses) tout en oubliant inévitablement les détails spécifiques (bords, textures, variations locales).
Conséquence : Cette perte de détails spécifiques limite la capacité des SSM à réaliser une segmentation précise au niveau des pixels, entraînant des résultats de segmentation grossiers et une incohérence temporelle sur les contours des objets.

2. Méthodologie : RS-SSM

Pour résoudre ce problème, les auteurs proposent RS-SSM (Refining Specifics State Space Model), une architecture conçue pour raffiner de manière complémentaire les informations spécifiques oubliées lors de la compression. L'architecture repose sur deux modules clés :

A. Canal-wise Amplitude Perceptron (CwAP)

Ce module a pour but d'identifier et d'aligner la distribution des informations spécifiques à travers les canaux.

Analyse fréquentielle : Il applique une transformée de Fourier 2D (FFT) sur les caractéristiques projetées pour passer au domaine fréquentiel.
Extraction de caractéristiques spectrales : Il calcule la carte d'amplitude et sépare les basses fréquences (informations sémantiques communes) des hautes fréquences (informations spécifiques : bords, textures).
Mesure de distribution : Il calcule le ratio d'énergie cumulative des bandes de hautes fréquences pour obtenir des "Spectrum Features" ( $F_t$ ) qui quantifient la quantité d'informations spécifiques par canal.
Alignement : Un perte d'information de canal ( $L_{ci}$ ) est introduite pour maximiser la similarité cosinus entre les distributions de ces caractéristiques spectrales sur différents échantillons. Cela force le modèle à allouer les informations spécifiques aux mêmes sous-ensembles de canaux, facilitant leur raffinement ultérieur.

B. Forgetting Gate Information Refiner (FGIR)

Ce module utilise les informations extraites par le CwAP pour corriger dynamiquement le mécanisme d'oubli du SSM.

Inversion de la porte d'oubli : Dans un SSM standard, la matrice de porte d'oubli ( $A$ ) contrôle la compression de l'information historique. Le FGIR calcule une version inversée ( $A^I$ ) de cette matrice le long de la dimension des canaux.
Poids d'inversion adaptatif : Il calcule un poids d'inversion ( $\alpha$ ) en combinant les caractéristiques spectrales (contenu spécifique) et l'importance des canaux (déduite de la matrice $A$ originale). Les canaux riches en détails spécifiques mais fortement compressés par le SSM original reçoivent un poids d'inversion plus élevé.
Raffinement : Une nouvelle porte d'oubli raffinée ( $A^R$ ) est obtenue par interpolation adaptative entre la porte originale et la porte inversée. Cette porte raffinée est utilisée dans un deuxième chemin SSM ( $\theta_1$ ) pour compléter et récupérer les détails oubliés par le premier chemin ( $\theta_2$ ).

3. Contributions Clés

Identification d'une limitation fondamentale : Mise en évidence du compromis inhérent aux SSM entre la compression efficace et la préservation des détails spatiaux-temporels fins (spécificités) nécessaires à la segmentation pixel par pixel.
Nouvelle architecture RS-SSM : Proposition d'une approche à double chemin qui intègre le CwAP pour quantifier les détails et le FGIR pour inverser et affiner dynamiquement la porte d'oubli, permettant une récupération complémentaire des informations perdues.
Performance et Efficacité : Démonstration que cette méthode atteint des performances de pointe (SOTA) tout en conservant la complexité linéaire et l'efficacité computationnelle des SSM.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre benchmarks majeurs de VSS : VSPW, NYUv2, CamVid et Cityscapes.

Performance (mIoU) :
- Sur le jeu de données VSPW, RS-SSM bat l'état de l'art actuel (TV3S) de 1,6 à 1,7 points mIoU selon la taille du backbone (Swin-S et MiT-B5), tout en étant plus rapide.
- Sur NYUv2 et CamVid, les améliorations sont également significatives (jusqu'à +2,2 mIoU sur NYUv2).
- Sur Cityscapes, une amélioration de 2,6 mIoU est observée par rapport aux méthodes SOTA avec un backbone MiT-B1.
Efficacité Computationnelle :
- Contrairement aux méthodes basées sur les Transformers qui sont lourdes, RS-SSM maintient une vitesse d'inférence élevée (FPS) et un faible nombre d'opérations (GFLOPs).
- Par exemple, sur VSPW avec MiT-B5, RS-SSM réduit les GFLOPs de 8,2 et augmente le FPS de 6,2 par rapport à TV3S.
Études d'ablation : Les tests montrent que l'ajout du module CwAP et le raffinement adaptatif de la porte d'oubli sont cruciaux. Sans CwAP (inversion simple de la porte), les performances chutent de 1,4 mIoU, prouvant que l'alignement et la sélection adaptative des canaux sont essentiels.

5. Signification et Impact

L'article RS-SSM représente une avancée significative pour la segmentation vidéo en combinant l'efficacité des modèles d'espace d'état avec une précision au niveau des pixels.

Résolution du compromis : Il résout le dilemme classique entre l'efficacité computationnelle (linéaire) et la précision des détails fins, souvent négligés par les SSM standards.
Applicabilité : La méthode est particulièrement adaptée aux applications temps réel et aux longues séquences vidéo (conduite autonome, surveillance) où la cohérence temporelle et la précision des contours sont critiques.
Innovation conceptuelle : L'idée d'utiliser une analyse fréquentielle pour guider l'inversion dynamique des portes d'oubli dans les SSM ouvre de nouvelles perspectives pour l'amélioration des modèles de séquence dans le domaine de la vision par ordinateur.

En résumé, RS-SSM propose une solution élégante et efficace pour "récupérer" les détails perdus par la compression, permettant aux modèles SSM de rivaliser, voire de surpasser, les architectures basées sur les Transformers pour la segmentation vidéo sémantique.