RS-SSM: Refining Forgotten Specifics in State Space Model for Video Semantic Segmentation

Probleemstelling

Video Semantische Segmentatie (VSS) vereist pixel-niveau ruimtelijk-temporele modellering om consistente segmentatie van semantische objecten in video's te garanderen. Hoewel recente State Space Models (SSM) efficiënt zijn voor het comprimeren van ruimtelijk-temporele informatie met lineaire complexiteit, hebben ze een fundamenteel tekortkoming:

• Verlies van specifieke informatie: De vaste grootte van de state space zorgt ervoor dat tijdens compressie algemene semantische informatie (zoals globale structuur en gladde gebieden) behouden blijft, maar specifieke details (zoals randen, texturen en lokale variaties) onvermijdelijk worden vergeten.
• Gevolg: Dit leidt tot ruwe segmentatie en een gebrek aan temporele consistentie op pixel-niveau, wat de nauwkeurigheid van VSS-taken beperkt. Bestaande methoden op basis van SSM kunnen deze "vergeten" specifics niet effectief herstellen.

Methodologie: RS-SSM

Om dit probleem op te lossen, stellen de auteurs RS-SSM (Refining Specifics State Space Model) voor. Deze architectuur voert een complementaire verfijning uit van de vergeten ruimtelijk-temporele specifics. De kern van de methode bestaat uit twee innovatieve modules:

1. Channel-wise Amplitude Perceptron (CwAP):

   • Doel: Het extraheren en aligneren van de distributiekenmerken van specifieke informatie in de state space.
   • Werking: De module gebruikt Frequentiedomein-analyse (via 2D Fast Fourier Transform) op de projectie-features. Het berekent de energieverdeling over verschillende frequentiebanden.
     • Laagfrequente banden: Vertegenwoordigen algemene semantische informatie.
     • Hoogfrequente banden: Vertegenwoordigen specifieke informatie (randen, texturen).
   • Spectrum Features: De module genereert "Spectrum Features" die de hoeveelheid specifieke informatie per kanaal kwantificeren.
   • Channel Information Loss: Een extra verliesfunctie ($L_{ci}$) wordt geïntroduceerd om de cosinus-similariteit tussen de spectrum-features van verschillende samples te maximaliseren. Dit zorgt ervoor dat specifieke informatie consistent in dezelfde subset van kanalen wordt verdeeld, wat de volgende stap faciliteert.

2. Forgetting Gate Information Refiner (FGIR):

   • Doel: Het adaptief inverteren en verfijnen van de "forgetting gate" matrix van het SSM om de vergeten specifics te herstellen.
   • Werking:
     • De module gebruikt de Spectrum Features van de CwAP en de kanaal-importance van het oorspronkelijke SSM.
     • Het berekent een inversie van de forgetting gate ($A$) door het waardebereik om te keren ($A_{max} + A_{min} - A$). Kanalen die oorspronkelijk sterk werden gecomprimeerd (en dus specifics verloren), worden hierdoor minder gecomprimeerd.
     • Een inversie-gewicht ($\alpha$) wordt berekend op basis van de hoeveelheid specifieke inhoud (hoge frequentie) en de lage importance in het originele SSM.
     • De uiteindelijke verfijnde forgetting gate ($A^R$) is een adaptieve interpolatie tussen de originele gate en de geïnverteerde gate.
   • Effect: Dit geleidt het model om zich te richten op het aanvullen van de specifieke informatie die door de eerste SSM-pas is vergeten.

Architectuur: Het model gebruikt een dual-path SSM-structuur. De ene pas (θ2) levert de basiscompressie en de forgetting gate, terwijl de andere pas (θ1) de verfijnde gate gebruikt om de specifics complementair te herstellen.

Belangrijkste Bijdragen

1. Identificatie van een beperking: De auteurs identificeren en analyseren het specifieke probleem van het verlies van pixel-niveau details in bestaande SSM-based VSS-methoden door state space compressie.
2. Nieuwe Architectuur (RS-SSM): Introductie van een framework dat specifiek ontworpen is om deze vergeten details te herstellen via een complementaire verfijningsstrategie.
3. CwAP en FGIR Modules: Ontwerp van de CwAP-module voor frequentiegebaseerde analyse en kanaal-alignement, en de FGIR-module voor adaptieve herschikking van de forgetting gate.
4. State-of-the-Art Prestaties: Het bereiken van nieuwe topprestaties op meerdere benchmarks met behoud van hoge computationele efficiëntie.

Resultaten

De RS-SSM is uitgebreid getest op vier VSS-benchmarks: VSPW, NYUv2, CamVid en Cityscapes.

• Prestaties:
  • Op het grote VSPW dataset (met MiT-B5 backbone) overtreft RS-SSM de huidige state-of-the-art (TV3S) met 1.5 mIoU en de Transformer-based CFFM++ met 1.7 mIoU.
  • Op Cityscapes (MiT-B1) wordt een verbetering van 2.6 mIoU behaald ten opzichte van de beste bestaande methoden.
  • Zelfs met kleinere backbones (zoals MiT-B1 en Swin-T) behaalt het model consistente verbeteringen.
• Efficiëntie:
  • Ondanks de toegevoegde modules behoudt het model de lineaire complexiteit van SSM's.
  • In vergelijking met TV3S (MiT-B5) op VSPW: 8.2 GFLOPs lager en 6.2 FPS hoger.
  • Op Cityscapes (MiT-B1): 24.1 GFLOPs lager en 2.1 FPS hoger.
• Ablatiestudies:
  • Het verwijderen van de CwAP-module (No-CwAP) leidt tot een daling van 1.4 mIoU, wat aantoont dat de adaptieve verfijning van de forgetting gate cruciaal is.
  • Het gebruik van alleen een standaard SSM (zonder de dual-path verfijning) resulteert in een daling van tot wel 3.1 mIoU.

Betekenis en Impact

Deze studie is significant omdat het een fundamenteel probleem in de toepassing van State Space Models voor visuele taken aanpakt: het compromis tussen efficiëntie en detailbehoud.

• Brug tussen efficiëntie en nauwkeurigheid: RS-SSM bewijst dat het mogelijk is om de lineaire complexiteit en snelheid van SSM's te behouden terwijl de pixel-niveau nauwkeurigheid van Transformer-achtige modellen wordt benaderd of overtroffen.
• Toekomstige richting: De methode opent de deur voor het gebruik van SSM's in complexe, langdurige video-taken waar randen en texturen cruciaal zijn (bijv. autonoom rijden, videobewaking), zonder de rekenkosten van Transformer-attentionmechanismen.
• Algemene toepasbaarheid: De techniek van frequentiedomein-analyse voor het sturen van gating-mechanismen kan potentieel worden toegepast op andere sequentiemodelleringstaken waar specifieke details verloren gaan door compressie.

Kortom, RS-SSM lost het "vergeten" probleem van SSM's op door slimme, frequentie-gestuurde herschikking van de state space, wat leidt tot superieure video-segmentatie met hoge snelheid.