💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

Het artikel introduceert Vision Non-Causal Trapezoidal Mamba (VNCT), een tweede-orde niet-causaal State Space Model dat directionele token-scanning elimineert om oriëntatie-robuuste representaties en superieure prestaties over diverse visuele taken te bereiken, terwijl een lage inferentie-latentie behouden blijft.

Oorspronkelijke auteurs: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, complexe puzzel probeert te begrijpen die bestaat uit duizenden kleine plaatjes (tokens). Lange tijd gedroegen computervisiemodellen zich als een zeer strikte, eenrichtingsweg. Ze moesten naar de stukjes kijken in een specifieke volgorde: van links naar rechts, van boven naar beneden, of in een andere vaste route. Dit wordt directionele scanning genoemd. Het is als het lezen van een boek waarbij je niet vooruit kunt kijken of terug kunt bladeren; je moet elk woord in een regel lezen voordat je naar de volgende gaat.

Het artikel introduceert een nieuw model genaamd Vision Non-Causal Trapezoidal Mamba (VNCT). De belangrijkste bevinding is dat de strikte "eenrichtingsverkeer"-regel eigenlijk niet nodig is om goed te kunnen zien. Sterker nog, het loslaten ervan maakt het model sneller en slimmer.

De Oude Manier vs. De Nieuwe Manier

Denk aan de oude modellen (zoals veel Vision Transformers of eerdere "Mamba"-modellen) als een team detectives dat in een enkele rij door een museumzaal moet lopen. Ze kunnen alleen naar het schilderij kijken dat vóór hen staat, en dan naar het volgende, enzovoort. Als ze een detail aan de linkerkant missen omdat ze gefocust waren op de rechterkant, merken ze dat pas als ze een rondje hebben gelopen, wat extra tijd kost. Dit creëert een bias; het model raakt "gewend" aan het kijken in een specifieke richting.

VNCT gooit het regelboekje weg. In plaats van in een rij te lopen, laat het elk enkel plaatje van de afbeelding tegelijkert met elk ander plaatje praten in één enkele passage. Het is alsof je een enorme, instant spotlight aanzet die de hele museumzaal tegelijkertijd verlicht. Elke detective kan elk schilderij direct zien, zonder op een beurt te hoeven wachten. Het artikel laat zien dat deze "alles-tegelijk"-aanpak de vreemde biases elimineert die ontstaan door in een rij te lopen.

Het Geheime Ingrediënt: Tweede-Orde Dynamiek

Maar hoe praat het zo snel met iedereen zonder in de war te raken? De auteurs gebruiken een slimme wiskundige truc genaamd tweede-orde dynamiek (specifiek "trapeziumvormige" dynamiek).

Stel je voor dat je probeert de temperatuur van een kamer te raden.

Eerste-orde (de oude manier): Je controleert de thermometer één keer en doet een gok op basis van die enkele meting.
Tweede-orde (de manier van VNCT): Je controleert de thermometer, maar je kijkt ook naar hoe snel de temperatuur net een fractie van een seconde geleden veranderde. Je neemt een gemiddelde van het "nu" en het "net hiervoor".

Deze "trapeziummethode" (het middelen van de begin- en eindpunten van een stap) geeft het model een rijker, gedetailleerder begrip van de afbeelding. Het artikel suggereert dat deze extra laag van detail het model helpt om vormen en grenzen veel beter te begrijpen dan de simpelere, enkelvoudige stappenmethoden die door eerdere modellen werden gebruikt.

Wat het Papier Uitsluit

Het artikel betoogt expliciet tegen het idee dat computervisiemodellen directionele scanning nodig hebben om goed te functioneren. Veel eerdere modellen probeerden het "eenrichtingsverkeer"-probleem op te lossen door complexere routes toe te voegen (zoals een zig zag of een spiraal), maar de auteurs laten zien dat je de route niet eens hoeft te repareren — je moet de route gewoon volledig verwijderen. Ze sluiten de noodzaak van sequentiële scanning uit voor hoogwaardige visie.

De Resultaten: Sneller, Sterker en Robuuster

De auteurs hebben hun model getest op verschillende grote uitdagingen, en de resultaten waren zeer duidelijk:

Snelheid: Omdat het niet hoeft te wachten tot er een rij gevormd is, is VNCT sneller. Op een enkele afbeelding deed de "Micro"-versie er 5,25 milliseconden over en de "Tiny"-versie 7,31 milliseconden om een voorspelling te doen. Dit is sneller dan het vorige non-causale model (VSSD), dat respectievelijk 5,80 ms en 8,01 ms nodig had.
Nauwkeurigheid: Het behaalde betere scores op standaardtests. Op de ImageNet-1K test bereikte de "Tiny"-versie een nauwkeurigheid van 84,2%, waarmee het de vorige beste non-causale model (VSSD-Tiny) versloeg, dat op 83,7% uitkwam.
Draaien en Spiegelen: Een van de coolste bevindingen gaat over "oriëntatie-robuustheid". Als je een afbeelding ondersteboven draait of spiegelt, raken de oude modellen een beetje in de war en daalt hun nauwkeurigheid. VNCT is hier veel relaxter onder. Wanneer de afbeelding werd gedraaid of gespiegeld, was de gemiddelde daling in nauwkeurigheid slechts 0,3%, vergeleken met 0,9% voor VSSD en 1,6% voor het directionele scanning-model. Dit suggereert dat het model het object als een geheel ziet, en niet slechts als een reeks pixels.
Grenzen: Bij het tekenen van de contouren van objecten (zoals het scheiden van een auto van de weg), was VNCT scherper. Het verbeterde de "Boundary IoU" (een score voor hoe goed de randen overeenkomen) met wel 3,7 punten op de Cityscapes-dataset vergeleken met VSSD.

De Kernboodschap

Het artikel suggereert niet alleen dat dit zou kunnen werken; het heeft het gemeten over classificatie-, objectdetectie- en segmentatietaken. De auteurs concluderen dat de "eenrichtingsweg" van directionele scanning een artefact is van het proberen te dwingen van sequentiemodellen op afbeeldingen, en dat een tweede-orde, non-causale aanpak een eenvoudigere, efficiëntere en robuustere manier is om visuele AI te bouwen. Ze hebben niet alleen het oude systeem aangepast; ze hebben de verkeersregels volledig vervangen, en de auto's rijden sneller en rijden rechter.

Technische Samenvatting: Vision Non-Causal Trapezoidal Mamba (VNCT)

1. Probleemstelling

State Space Models (SSM's) zijn naar voren gekomen als efficiënte alternatieven voor Vision Transformers (ViTs) voor het modelleren van langetermijnafhankelijkheden met lineaire tijdscomplexiteit. De meeste bestaande vision SSM's (bijv. ViM, VMamba) erven echter directionele token-scanning van causale sequentiemodellering. Om 1D SSM's toe te passen op 2D-afbeeldingen, moeten tokens langs vooraf gedefinieerde paden (horizontaal, verticaal of multidirectioneel) worden geserialiseerd.

De auteurs identificeren drie kritieke beperkingen van deze aanpak:

Ruimtelijke Bias: Directionele scanning legt een kunstmatige doorloopvolgorde op die niet inherent is aan visuele data, wat leidt tot oriëntatiegevoelige feature-interacties.
Inefficiëntie: Het aggregeren van bidirectionele context vereist vaak meerdere scan-passes, wat de inferentielatentie verhoogt.
Misalignement: Visuele scènes zijn niet-causaal; ruimtelijke relaties bestaan onafhankelijk van de tokenvolgorde.

Hoewel recent werk zoals Vision State Space Duality (VSSD) niet-causale aggregatie introduceerde, blijft dit beperkt tot eerste-orde dynamiek. De paper stelt de vraag of directionele scanning noodzakelijk is voor hoogwaardige vision SSM's, of dat het slechts een artefact is van het aanpassen van sequentiemodellen aan afbeeldingen.

2. Methodologie: Vision Non-Causal Trapezoidal Mamba (VNCT)

De auteurs stellen VNCT voor, een hiërarchische vision backbone gebouwd op een tweede-orde niet-causale state-space formulering. De kerninnovatie is de NC-M3 (Non-Causal Mamba-3) laag.

2.1. Kernmechanisme: NC-M3

De NC-M3 laag herformuleert de exponentiële-trapeziumdynamiek van Mamba-3 naar een globale, niet-causale aggregatie-operator.

Tweede-orde Dynamiek: In tegenstelling tot standaard SSM's die een single-step update gebruiken, maakt Mamba-3 gebruik van een trapeziumregel (quadrature rule), waarbij over zowel de linker- als de rechter eindpunten van de integratie wordt gemiddeld. Dit wordt uitgedrukt als:
$h_t = \alpha_t h_{t-1} + \beta_t x_{t-1} + \gamma_t x_t$
waarbij $\beta$ en $\gamma$ de observaties aan het linker- en rechteruiteinde wegen.
Non-Causal Lift: De auteurs transformeren deze causale recursie naar een permutatie-invariante operator. In plaats van sequentiële state-propagatie, vervangen ze de lager-triangulaire causale transitie-matrix door een volledig dichte, genormaliseerde interactie-kernel.
Globale Aggregatie: De interactie wordt berekend via globale voldoende statistieken. Voor een output-token $i$ $i$ wordt de state afgeleid van een globale som van alle input-tokens $j$ $j$ , gewogen door data-afhankelijke parameters ( $\alpha, \beta, \gamma$ $α, β, γ$ ) geprojecteerd in een interactieruimte.
- De aggregatieregel is gefactoriseerd om de constructie van een $L \times L$ interactie-matrix te vermijden, waardoor de lineaire tijdscomplexiteit ( $O(L)$ ) behouden blijft.
- Dit maakt het mogelijk dat alle beeld-tokens in een enkele pass interageren zonder directionele scanning.

2.2. Architecturale Componenten

Low-Rank MIMO Parameterisatie: VNCT bevat een low-rank Multi-Input Multi-Output (MIMO) mechanisme om ruimtelijke en kanaal-gewijze interacties efficiënt gezamenlijk te modelleren.
2D Rotary Positional Encoding (RoPE): Omdat de aggregatie volgorde-onafhankelijk is, wordt ruimtelijke informatie geïnjecteerd via 2D RoPE toegepast op de source- en query-projecties, wat de relatieve ruimtelijke verplaatsing codeert.
Hiërarchische Backbone: Het model volgt een vierfasige architectuur (vergelijkbaar met Swin of ConvNeXt) met progressieve downsampling. Stages 1–3 maken gebruik van NC-M3 blocks, terwijl Stage 4 Multi-Head Self-Attention (MHSA) gebruikt op de laagste-resolutie feature map om globale context te behanden waar de kwadratische kosten verwaarloosbaar zijn.
Lokale Perceptie: Een Local Perception Unit (LPU) met behulp van depth-wise convoluties injecteert lokale ruimtelijke inductieve bias vóór de globale aggregatie.

3. Belangrijkste Bijdragen

NC-M3 Laag: Een tweede-orde niet-causale state-space laag die directionele scanning elimineert, wat single-pass interacties tussen alle beeld-tokens mogelijk maakt.
VNCT Backbone: Een hiërarchische vision backbone die tweede-orde niet-causale dynamiek combineert met low-rank MIMO parameterisatie.
Empirische Validatie: Demonstratie dat het elimineren van directionele scanning de inferentielatentie, oriëntatie-robuustheid en randbehoud (boundary preservation) verbetert, en consequent presteert beter dan zowel directionele-scanning SSM's als eerste-orde niet-causale SSM's.

4. Experimentele Resultaten

De auteurs evalueerden VNCT op ImageNet-1K (classificatie), COCO (objectdetectie en instantie-segmentatie) en ADE20K (semantische segmentatie).

Classificatie (ImageNet-1K): VNCT bereikt state-of-the-art Top-1 nauwkeurigheid over Micro, Tiny, Small en Base schalen.
- Voorbeeld: VNCT-Tiny bereikt 84,2% Top-1 nauwkeurigheid, waarmee het VSSD-T (83,7%) en VMamba-T (82,5%) verslaat.
- Efficiëntie: VNCT vertoont een lagere single-image inferentielatentie dan VSSD op Micro, Tiny en Small schalen.
Dense Predictie (COCO & ADE20K):
- Detectie/Segmentatie: VNCT-T overtreft alle baselines in Box AP en Mask AP op COCO, met significante winsten bij AP75 (wat wijst op verbeterde lokalisatieprecisie).
- Semantische Segmentatie: VNCT bereikt de hoogste mIoU op ADE20K over alle model-schalen (bijv. VNCT-S bereikt 50,1% mIoU versus 49,2% voor VSSD-S).
Randbehoud (Boundary Preservation): VNCT verbetert de Boundary IoU (BIoU) aanzienlijk.
- Op ADE20K verbetert VNCT-T de BIoU met +2,3 punten ten opzichte van VSSD-T.
- Op Cityscapes is de verbetering +3,7 punten.
- Kwalitatieve analyse laat zien dat VNCT meer volledige en geometrisch nauwkeurige contouren produceert.
Oriëntatie-robuustheid: VNCT vertoont superieure robuustheid tegen geometrische transformaties (flips en rotaties) zonder hertraining.
- Op ImageNet-1K vertoont VNCT-T een gemiddelde nauwkeurigheidsdaling van slechts 0,3% over vier transformaties, vergeleken met 0,9% voor VSSD-T en 1,6% voor VMamba-T.
Receptief Veld Analyse: Visualisatie van het Effectieve Receptieve Veld (ERF) laat zien dat VNCT een gladt, symmetrisch en globaal uniform receptief veld produceert, in tegenstelling tot de directionele artefacten gezien in VMamba of de onregelmatige dekking van VSSD.

5. Betekenis en Claims

Het paper betoogt dat directionele scanning onnodig is voor hoogwaardige vision SSM's. De auteurs beweren dat de beperkingen van vorige vision SSM's voortkomen uit de causale directionele scan in plaats van de state-space modellering zelf.

Door causale scanning te vervangen door tweede-orde niet-causale state-space modellering, biedt VNCT een eenvoudig, efficiënt en robuust alternatief voor visuele herkenning. De resultaten suggereren dat:

Globale niet-causale aggregatie gecombineerd met tweede-orde dynamiek sterkere ruimtelijke representaties oplevert voor dense predictie-taken.
Het verwijderen van directionele bias leidt tot meer oriëntatie-robuuste features en betere randbehoud.
Hoogwaardige vision backbones kunnen worden bereikt zonder de computationele overhead van meerdere scan-passes of de kwadratische complexiteit van volledige attention-mechanismen (behalve in de laatste fase).

De auteurs concluderen dat deze aanpak motiveert dat niet-causale, hogere-orde state-space operators een veelbelovende richting zijn voor toekomstige vision backbones.