Technische Samenvatting: Norm of Richting? Het ontcijferen van Vision Mamba's voor Hoog-Resolutie Visie

Probleemstelling

Vision Mamba-modellen, zoals VMamba, zijn opgekomen als efficiënte visuele backbones door kwadratische zelf-aandacht te vervangen door lineair-complexe Selectieve State Space Models (SSMs). Recente studies (MambaOut) tonen echter aan dat Gated CNN-blokken de prestaties van VMamba op standaard beeldclassificatie kunnen evenaren of overtreffen, wat de noodzaak van SSMs voor visuele taken in twijfel trekt. Dit creëert een fundamentele ambiguïteit: coderen VMamba en MambaOut visuele informatie anders op het niveau van de representatie, en zo ja, hoe beïnvloeden deze verschillen de prestaties bij taken met hoge resolutie en dichte voorspelling (bijv. semantische segmentatie)? Terwijl MambaOut beargumenteert dat SSMs niet noodzakelijk zijn voor classificatie (een niet-autoregressieve taak met korte sequenties), behoudt VMamba voordelen op benchmarks voor dichte voorspelling waar ruimtelijke sequenties langer zijn. Het kernproblein is het decoderen van de interne representatiestrategieën van deze modellen om de bron van het voordeel van VMamba in hoog-resolutie settings te begrijpen.

Methodologie

De auteurs voeren een vergelijkende analyse uit tussen VMamba-T en MambaOut-T (Tiny varianten) met behulp van een veelzijdige aanpak:

1. Cross-Model en Binnen-Model CKA Analyse: De auteurs passen Centered Kernel Alignment (CKA) toe om de gelijkenis tussen representaties te meten over verschillende stadia, tussen de twee modellen, en tussen classificatie-gepreteinde en segmentatie-gefinetunde versies.
2. Token Decompositie (Magnitude vs. Richting): Ruimtelijke tokens worden gedecomposeerd in $\ell_2$ norm (magnitude) en eenheidvectoren (richting). De studie onderzoekt waar hoge activaties optreden en of klasse-onderscheidende informatie wordt gecodeerd in magnitude of richting.
3. Attributie en Lokalisatie:
   • Grad-CAM: Gebruikt om token-activatiekaarten te vergelijken met klasse-attributie heatmaps.
   • Token Vervanging Attributie: Een perturbatie-gebaseerde methode waarbij individuele tokens worden vervangen door het gemiddelde van de afbeelding om hun bijdrage aan de doelklasse-logit te meten.
   • Eenheidsvector Evaluatie: Classifiers worden getest op genormaliseerde (eenheidsnorm) tokens om de informatie te isoleren die puur in de token-richtingen zit.
   • High-Norm Token Testen: Classifiers worden getraind of geëvalueerd met enkel de top-k hoogste-norm tokens om te testen of magnitude alleen klasse-informatie draagt.
4. Taakspecifieke Evaluatie: De modellen worden geëvalueerd op:
   • Hoog-Resolutie Classificatie: Fine-tuning op ImageNet-1k bij een resolutie van 768×768.
   • Semantische Segmentatie: Training op ADE20K en Pascal VOC 2012 onder twee regimes: bevroren backbone en volledige fine-tuning.
   • Ablatie: Het verwijderen van de SS2D-module om de specifieke bijdrage van deze module aan de geobserveerde fenomenen te testen.

Belangrijkste Bevindingen

1. Divergerende Representatiestrategieën

• CKA Divergentie: De laatste stadium-blokken van VMamba vormen representaties die kwalitatief verschillend zijn van zowel MambaOut als hun eigen voorgaande blokken. In tegenstelling hiertoe behoudt MambaOut consistente representaties over de lagen heen. VMamba vertoont ook een grotere gevoeligheid voor veranderingen in supervisie (classificatie vs. segmentatie) in het laatste stadium.
• Magnitude vs. Richting:
  • MambaOut: Concentreert klasse-onderscheidende informatie in een kleine set van high-norm foreground tokens. Deze tokens komen ruimtelijk overeen met de Grad-CAM attributies. Het verwijderen van magnitude (het normaliseren van tokens) veroorzaakt een scherpe daling in prestaties (single-token accuratesse daalt naar ~31,5%).
  • VMamba: Produceert high-norm tokens voornamelijk in background regio's, die niet uitgelijnd zijn met de Grad-CAM foreground focus. Echter, discriminatieve signalen blijven primair behouden in de token-richtingen. Het normaliseren van tokens resulteert in een veel kleinere daling in prestaties (single-token accuratesse blijft ~52,5%, aanzienlijk hoger dan MambaOut).

2. Bewijsvoering Aggregatie en Resolutie

• Token Vervanging: VMamba verdeelt de logit-ondersteuning breed over objectregio's, terwijl MambaOut vertrouwt op ijle (sparse), dominante tokens.
• Impact van Hoge Resolutie: Bij een standaard resolutie (224×224) presteert MambaOut licht beter dan VMamba. Echter, bij een hoge resolutie (768×768) overtreft VMamba MambaOut. De auteurs schrijven dit toe aan de stabiliteit van de brede bewijsvoering-aggregatie van VMamba, die minder gevoelig is voor ruimtelijke bemonsteringsvariaties naarmate het aantal tokens toeneemt, vergeleken met de afhankelijkheid van MambaOut van ijle pieken.

3. Dichte Voorspelling en Fine-Tuning

• Bevroren Backbone: MambaOut presteert iets beter op segmentatie met een bevroren backbone, waarschijnlijk omdat de magnitude-uitgelijnde foreground cues direct bruikbaar zijn voor een nieuwe head.
• Volledige Fine-Tuning: VMamba presteert aanzienlijk beter dan MambaOut wanneer de backbone volledig wordt gefinetuned.
• Directionele Robuustheid: In een "unit-token decoder" test (waarbij magnitude wordt verwijderd), blijft de segmentatieprestatie van VMamba grotendeels intact (47,9 $\to$ 47,5 mIoU), terwijl MambaOut scherp degradeert (47,1 $\to$ 41,5 mIoU).
• Ruimtelijke Reorganisatie: Onder dichte supervisie reorganiseert de richting-gebaseerde codering van VMamba zich tot duidelijkere ruimtelijke selectiviteit, terwijl de magnitude-geconcentreerde codering van MambaOut weinig verandering vertoont.

Belangrijkste Bijdragen

1. Ontcijferen van Coderingstrategieën: Het paper identificeert dat VMamba en MambaOut vertrouwen op fundamenteel verschillende coderingstrategieën: MambaOut gebruikt magnitude-uitgelijnde foreground concentratie, terwijl VMamba gebruikmaakt van richting-gebaseerde distributie over ruimtelijke tokens.
2. Verklaring van het Voordeel bij Hoge Resolutie: De auteurs demonstreren dat het voordeel van VMamba bij taken met dichte voorspelling en hoge resolutie niet louter voortkomt uit de SSM-mechanisme of sequentielengte, maar uit de manier waarop semantische bewijsvoering over token-magnitude en -richting is georganiseerd.
3. Rol van Token Richting: De studie stelt vast dat token-richting dient als een kritieke, vaak over het hoofd geziene as voor visuele representatie, met name voor taken met dichte supervisie waar informatie stabiel over vele tokens geaggregeerd moet worden.

Betekenis en Claims

Het paper concludeert dat het succes van Vision Mamba-modellen in hoog-resolutie en dichte voorspellingssettings geworteld is in hun directionele coderingstrategie. Deze strategie maakt het volgende mogelijk:

• Stabiele Aggregatie: Robustere aggregatie van bewijsvoering naarmate het aantal tokens toeneemt (hoge resolutie).
• Adaptiviteit: Grotere capaciteit om ruimtelijke selectiviteit te reorganiseren onder dichte supervisie (segmentatie).

De auteurs suggereren dat toekomstige visuele backbone-ontwerpen de token magnitude en directionele structuur als kritieke assen moeten beschouwen. Specifiek stellen zij voor dat foreground-aligned magnitude regularisatie de standaard classificatie kan verbeteren, terwijl angular regularisatie of token-wise contrastieve objectieven de prestaties in dichte en hoog-resolutie settings kunnen verbeteren.

Het paper blijft bescheiden over de specifieke architecturale componenten die verantwoordelijk zijn, waarbij wordt opgemerkt dat hoewel de SS2D-module een kandidaat is, het fenomeen persisteert zelfs wanneer SS2D wordt verwijderd, wat suggereert dat het effect voortkomt uit de bredere blokstructuur in plaats van alleen het selectieve scanmechanisme.