MFil-Mamba: Multi-Filter Scanning for Spatial Redundancy-Aware Visual State Space Models

Probleemstelling

State Space Models (SSM's), en met name de recente Mamba-architectuur, hebben indrukwekkende resultaten geboekt in sequentiemodeleringstaken. Het toepassen van deze modellen op computer vision (beeldverwerking) blijft echter een uitdaging vanwege de niet-sequentiële structuur van visuele data en de complexe 2D ruimtelijke afhankelijkheden.

Bestaande oplossingen voor het aanpassen van selectieve SSM's aan visuele toepassingen vertrouwen voornamelijk op het toepassen van verschillende traversal-strategieën (zoals bidirectioneel scannen, vierrichtingskruisscannen, Hilbert-curves of zigzag-paden) om 2D-beelden om te zetten in 1D-sequenties. De auteurs identificeren twee fundamentele tekortkomingen in deze benadering:

1. Redundantie: Het scannen van hetzelfde beeld vanuit meerdere vaste richtingen introduceert overbodige informatie.
2. Ruimtelijke vervorming: Deze vaste traversale paden verstoren de intrinsieke ruimtelijke relaties binnen het beeld, wat leidt tot een gebrek aan coherentie tussen lokale en globale context.

Methodologie: MFil-Mamba

Om deze beperkingen te overwinnen, stellen de auteurs MFil-Mamba voor, een nieuwe visuele state-space architectuur die de traditionele directionele traversale vervangt door een multi-filter scan-strategie.

De kerncomponenten van de methode zijn:

1. Multi-Filter Scanning Strategie:
   In plaats van het beeld te herschikken via vaste paden, past het model een set dynamische ruimtelijke filters toe op de invoer-kenmerkkaarten. Dit resulteert in vier representaties:

   • De originele invoer ($I$).
   • Een horizontale filter ($F_h$) gebaseerd op Sobel-kernen (voor verticale randen).
   • Een verticale filter ($F_v$) gebaseerd op Sobel-kernen (voor horizontale randen).
   • Een dynamische, leerbare filter ($F_{k,l,t}$) die via dieptewijze convolutie hoge-level discriminatieve patronen vastlegt.
     Deze vier kaarten worden samengevoegd (geconcateneerd) en vervolgens verwerkt door een selectieve state-space module. Hierdoor worden complementaire structurele en contextuele aanwijzingen parallel geëxtraheerd zonder de oorspronkelijke ruimtelijke orde te verstoren.

2. Adaptieve Weegmechanisme (Adaptive Weighting):
   Na het verwerken van de verschillende scans door de SSM-blocks, worden de outputkenmerken niet simpelweg opgeteld. Er wordt een lichtgewicht adaptief weegmechanisme gebruikt (met trainbare gewichten berekend via softmax) om de output van de verschillende scans dynamisch te fusioneren. Dit stelt het model in staat om de meest informatieve ruimtelijke kenmerken te benadrukken en minder relevante representaties te onderdrukken.

3. Architectuur:
   Het model volgt een hiërarchische vier-stadia structuur (vergelijkbaar met Swin Transformer of VMamba). Elke stage bevat MFil-Mamba blokken die een Convolutional Feed-Forward Network (ConvFFN) gebruiken in plaats van een standaard MLP, om ruimtelijke visuele aanwijzingen beter vast te leggen.

4. Theoretische Onderbouwing:
   De auteurs tonen wiskundig aan dat directionele traversale slechts een herschikking (permutatie) is van de bestaande ruimtelijke covariantiestructuur, wat geen nieuwe tweede-orde afhankelijkheden creëert. Multi-filter scanning projecteert de invoer daarentegen op orthogonale en adaptieve subruimtes, waardoor unieke ruimtelijke afhankelijkheden worden vastgelegd zonder redundantie.

Belangrijkste Bijdragen

1. Innovatieve Architectuur: Introductie van MFil-Mamba, een multi-filter scan-architectuur die de beperkingen van directionele traversale strategieën in bestaande visuele SSM-modellen overwint.
2. Verbeterde Integratie: Implementatie van een lichtgewicht adaptief weegmechanisme en architecturale verfijningen (zoals ConvFFN) om de integratie van ruimtelijke kenmerken te verbeteren.
3. State-of-the-Art Prestaties: Ontwikkeling van drie modelvarianten (Tiny, Small, Base) die state-of-the-art resultaten behalen op diverse visuele taken, waaronder classificatie, objectdetectie en segmentatie.

Resultaten

Het model is geëvalueerd op drie belangrijke benchmarks: ImageNet-1K, MS COCO en ADE20K.

• Beeldclassificatie (ImageNet-1K):
  • De MFil-Mamba-T (Tiny) variant bereikt 83,2% top-1 nauwkeurigheid. Dit is een verbetering ten opzichte van vergelijkbare modellen zoals Swin-T (+1,9%), ConvNeXt-T (+1,1%) en VMamba-T (+0,6%).
  • De MFil-Mamba-B (Base) variant bereikt 84,2% top-1 nauwkeurigheid, wat de prestaties van Swin-B en VMamba-B overtreft.
• Objectdetectie en Instance Segmentation (MS COCO):
  • MFil-Mamba-T bereikt 47,3% box AP en 42,7% mask AP, wat een significante verbetering is ten opzichte van Swin-T en andere recente SSM-modellen.
• Semantische Segmentatie (ADE20K):
  • MFil-Mamba-T bereikt 48,5% mIoU (single-scale), wat beter is dan Swin-T, ConvNeXt-T en VMamba-T.

Visualisatie en Analyse:

• ERF (Effective Receptive Field): Visualisaties tonen aan dat MFil-Mamba een gladde, globale receptieve veld heeft zonder de "kruisvormige artefacten" die vaak voorkomen bij directionele scannen (zoals bij VMamba).
• Interpreteerbaarheid (Grad-CAM): De modellen focussen nauwkeurig op de hoofdobjecten in afbeeldingen, wat aantoont dat ze semantisch betekenisvolle componenten leren herkennen in plaats van door achtergrondruis te worden afgeleid.

Betekenis en Impact

MFil-Mamba bewijst dat het mogelijk is om State Space Models efficiënter en effectiever toe te passen op computer vision zonder afhankelijk te zijn van rigide, directionele herschikkingen van beelddata. Door de ruimtelijke redundantie te minimaliseren en de inherente 2D-structuur van beelden te respecteren via multi-filtering, biedt de architectuur een robuustere basis voor visuele taken.

De resultaten suggereren dat deze aanpak een nieuwe richting opent voor SSM-ontwikkeling in het visuele domein, met potentie voor uitbreiding naar gespecialiseerde toepassingen zoals medische beeldvorming en super-resolutie, waar het behoud van complexe ruimtelijke relaties cruciaal is.