Partial Ring Scan: Revisiting Scan Order in Vision State Space Models

Technische Samenvatting: Partial Ring Scan: Het heroverwegen van de Scan-volgorde in Vision State Space Models

Probleemstelling
State Space Models (SSM's), in het bijzonder Vision Mamba-varianten, zijn opgekomen als efficiënte alternatieven voor aandachtmechanismen voor visuele taken, waarbij ze lineaire-tijd sequentieverwerking bieden. Deze modellen vereisen echter het serialiseren van 2D-afbeeldingen naar 1D-tokensequenties op basis van een vooraf gedefinieerde scanvolgorde (bijv. raster, serpentine). De auteurs stellen dat deze scanvolgorde een cruciale, vaak over het hoofd geziene factor is die de ruimtelijke nabijheid binnen de sequentie bepaalt.

Conventionele vaste padscans (raster, bidirectioneel, diagonaal) behouden de sequentieruimte-uitlijning alleen onder specifieke transformaties zoals spiegelingen. Onder in-plane rotaties lijden deze paden aan globale herindexering en padding, wat de continuïteit van objecten fragmenteert en de buurt van de recurrente kernel ontlijnt. Dit dwingt de SSM om capaciteit te besteden aan het herstellen van lokale coherentie in plaats van semantiek te modelleren, wat leidt tot prestatievermindering (1–2% Top-1 daling) en verminderde robuustheid tegen geometrische transformaties.

Methodologie: PRISMamba
Het artikel stelt Partial Ring Scan Mamba (PRISMamba) voor, een rotatie-robuuste architectuur die ontworpen is om de sequentie-nabijheid af te stemmen op de geometrische structuur zonder dat rotatie-specifieke training nodig is. De methode bestaat uit drie kerncomponenten:

1. Ring-by-Ring Alternating Scan:

   • Partitionering: De afbeelding wordt gepartitioneerd in concentrische ringen op basis van de Euclidische afstand van pixels tot het centrum van de afbeelding.
   • Intra-Ring Aggregatie: Binnen elke ring worden pixels doorlopen in een gesloten lus (afwisselend met de klok mee en tegen de klok in voor aangrenzende ringen). Een lichtgewicht selectieve SSM verwerkt deze lus, en de output wordt geaggregeerd tot een ring-descriptor via middeling. Deze aggregatie is orde-agnostisch; een rotatie induceert slechts een cyclische verschuiving in de lus, wat de gemiddelde descriptor niet verandert.
   • Inter-Radiale Propagatie: De ring-descriptors worden van de binnenste naar de buitenste ring verwerkt met behulp van een tweede, korte selectieve SSM om context radiaal te propageren. Dit twee-niveau ontwerp behoudt de lineaire-tijd complexiteit ($O(HW)$) terwijl het de kwetsbaarheid van globale pad-gebaseerde serialisatie vermijdt.

2. Partial Channel Filtering (PCF):

   • Om de efficiëntie te verbeteren, introduceren de auteurs een harde routing-mechanisme dat feature-kanalen filtert voordat ze de recurrente ring-pathway ingaan.
   • Kanaalsalientie wordt bepaald via Global Average Pooling (GAP). Kanalen met een salientie boven de gemiddelde drempelwaarde worden door de ring-wise SSM gerouteerd, terwijl de resterende kanalen deze zware berekening omzeilen via een lichtgewicht residu-branch.
   • Deze aanpak vermindert FLOPs en activatiegeheugen terwijl de nauwkeurigheid behouden blijft, in contrast met soft attention-mechanismen (bijv. SE, CBAM) die alle kanalen downstream verwerken.

3. Write-Back en Fusie:

   • De radiale outputs worden teruggebroadcast naar het pixelgrid en gefuseerd met de backbone stream via een 1×1 projectie en een residu-verbinding, waarbij de ruimtelijke dimensies behouden blijven.

Belangrijkste Bijdragen

• Systematische Scan-Order Analyse: Het artikel biedt de eerste systematische studie die aantoont dat scanvolgorde een "first-class" hyperparameter is. Het toont aan dat veelvoorkomende raster- en serpentine-scans de objectcontinuïteit fragmenteren en zeer gevoelig zijn voor rotatie, terwijl ring-gebaseerde scans stabiliteit behouden.
• Rotatie-stabiele Traversatie: De introductie van een ring-gebaseerd scan-schema dat pixels groepeert in concentrische ringen en orde-agnostische aggregatie uitvoert. Dit behoudt de lineaire-tijd kern van SSM's terwijl het de noodzaak voor polar remapping of rotatie-specifieke data-augmentatie elimineert.
• Partial Channel Filtering (PCF): Een nieuw efficiëntie-module die alleen de meest informatieve kanalen door het recurrente pad routeert. Dit vermindert de computationele kosten en verbetert de doorvoer terwijl de nauwkeurigheid licht wordt verbeterd door de recurrente updates te focussen op signalen met een hoog signaal.
• Unified Architecture (PRISMamba): Een geïntegreerd model dat deze elementen combineert om state-of-the-art prestaties te behalen onder de Vision SSM's.

Experimentele Resultaten
De auteurs evalueren PRISMamba op ImageNet-1K, MS COCO, en onder rotatie/occlusie stress-tests:

• ImageNet-1K Classificatie: PRISMamba bereikt 84,5% Top-1 nauwkeurigheid met 3,9G FLOPs en 3.054 img/s doorvoer op een A100 GPU. Dit presteert beter dan VMamba (82,6%, 5,6G FLOPs, 1.686 img/s) met 1,9% in nauwkeurigheid, terwijl het 30% minder FLOPs gebruikt en ~1,8× hogere doorvoer bereikt.
• MS COCO Detectie/Segmentatie: Gebruikmakend van een 1× schema (1280×800), bereikt PRISMamba 48,9 APbox en 43,2 APmask met 235G FLOPs, waarmee het VMamba en GroupMamba verslaat terwijl het 10–19% minder FLOPs gebruikt.
• Rotatie-robuustheid: Onder 30° en 60° rotaties behoudt PRISMamba bijna perfecte stabiliteit (een daling van slechts 0,1–0,2%), terwijl vaste-pad baselines (VMamba, GroupMamba, etc.) degraderen met 1,0–2,0%.
• Occlusie-robuustheid: In willekeurige mask-occlusietests vertoont PRISMamba aanzienlijk lagere prestatiedalingen (≤0,6%) vergeleken met vaste-pad varianten (tot 1,3%), toegeschreven aan de verdunning van lokale schade via ring-middeling en radiale propagatie.
• Ablatie: De PCF-module alleen vermindert de FLOPs met ~15% en verhoogt de doorvoer met ~40%, terwijl de nauwkeurigheid met 0,4% wordt verbeterd, wat aantoont dat harde kanaalfiltering effectiever is dan soft attention voor recurrente SSM's.

Betekenis en Claims
Het artikel claimt dat scan-order ontwerp, gekoppeld aan gerichte kanaalallocatie, een cruciale maar onderbelichte factor is voor nauwkeurigheid, efficiëntie en robuustheid in Vision SSM's. PRISMamba demonstreert dat het mogelijk is om de sequentie–geometrie mismatch in pad-gebaseerde modellen op te lossen zonder de modelgrootte te vergroten of gespecialiseerde training te vereisen. De auteurs positioneren hun werk als een principiële, laag-kosten benadering om Vision SSM's robuuster te maken tegen geometrische transformaties en efficiënter door selectieve kanaalverwerking.

Beperkingen en Toekomstig Werk
De auteurs erkennen dat hun huidige implementatie steunt op een vast beeldcentrum en discrete ringbreedte, wat suboptimaal kan zijn voor objecten die niet in het midden staan of voor extreme aspectratio's. Toekomstig werk omvat het leren van ring-oorsprong en breedtes, het ontwerpen van content-adaptieve partities, en het uitbreiden van het ring-traversatieconcept naar spatio-temporele domeinen (video) en 3D-volumes.