💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

Il documento introduce il Vision Non-Causal Trapezoidal Mamba (VNCT), un modello di spazio di stato non causale del secondo ordine che elimina la scansione direzionale dei token per ottenere rappresentazioni robuste rispetto all'orientamento e prestazioni superiori in vari compiti di visione, mantenendo al contempo una bassa latenza di inferenza.

Autori originali: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Pubblicato 2026-07-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire un enorme e complesso puzzle composto da migliaia di minuscoli pezzi di immagine (token). Per molto tempo, i modelli di visione artificiale si sono comportati come una strada molto rigida e a senso unico. Dovevano guardare i pezzi in un ordine specifico: da sinistra a destra, dall'alto in basso o secondo un altro percorso fisso. Questo è chiamato scansione direzionale. È come leggere un libro dove non puoi guardare avanti o sfogliare le pagine all'indietro; devi leggere ogni parola di una riga prima di passare alla successiva.

Il documento introduce un nuovo modello chiamato Vision Non-Causal Trapezoidal Mamba (VNCT). La sua scoperta principale è che questa rigida regola della "strada a senso unico" è in realtà superflua per vedere bene. Anzi, eliminarla rende il modello più veloce e intelligente.

Il Vecchio Modo vs Il Nuovo Modo

Pensa ai vecchi modelli (come molti Vision Transformer o i precedenti modelli "Mamba") come a una squadra di detective che devono attraversare una stanza di un museo in fila indiana. Possono guardare solo il dipinto davanti a loro, poi quello successivo, e così via. Se perdono un dettaglio a sinistra perché erano concentrati sulla destra, potrebbero accorgersene solo dopo essere tornati indietro, il che richiede tempo extra. Questo crea un pregiudizio; il modello si "abitua" a guardare in una direzione specifica.

VNCT butta via il regolamento. Invece di camminare in fila, permette a ogni singolo pezzo dell'immagine di parlare con tutti gli altri pezzi tutti insieme in un unico passaggio. È come accendere un enorme riflettore istantaneo che illumina l'intera stanza del museo simultaneamente. Ogni detective può vedere ogni dipinto istantaneamente, senza aspettare il proprio turno. Il documento mostra che questo approccio "tutto in una volta" elimina i bizzarri pregiudizi causati dal camminare in fila.

Il Segreto: Dinamica del Secondo Ordine

Ma come fa a parlare con tutti così velocemente senza confondersi? Gli autori utilizzano un astuto trucco matematico chiamato dinamica del secondo ordine (specificamente, dinamica "trapezoidale").

Immagina di cercare di indovinare la temperatura di una stanza.

Primo ordine (il vecchio modo): Controlli il termometro una volta sola e fai una supposizione basandoti su quella singola lettura.
Secondo ordine (il modo di VNCT): Controlli il termometro, ma guardi anche quanto velocemente la temperatura stava cambiando un istante prima. Fai una media tra il "presente" e il "poco prima".

Questo metodo "trapezoidale" (che media i punti di inizio e di fine di un passaggio) fornisce al modello una comprensione più ricca e dettagliata dell'immagine. Il documento suggerisce che questo strato extra di dettaglio aiuta il modello a comprendere forme e confini molto meglio rispetto ai metodi a passaggio singolo utilizzati dai modelli precedenti.

Ciò che il Documento Esclude

Il documento argomenta esplicitamente contro l'idea che i modelli di visione abbiano bisogno della scansione direzionale per funzionare bene. Molti modelli precedenti hanno cercato di risolvere il problema della "strada a senso unico" aggiungendo percorsi più complessi (come camminare a zig-zag o a spirale), ma gli autori dimostrano che non è necessario correggere il percorso affatto — basta rimuoverlo del tutto. Essi escludono la necessità della scansione sequenziale per una visione ad alte prestazioni.

I Risultati: Più Veloci, Più Forti e Più Robusti

Gli autori hanno misurato il loro modello su diverse grandi sfide, e i risultati sono stati molto chiari:

Velocità: Poiché non deve aspettare che si formi una fila, VNCT è più veloce. Su una singola immagine, la versione "Micro" ha impiegato 5,25 millisecondi e la versione "Tiny" 7,31 millisecondi per fare una previsione. Questo è più veloce del precedente modello non causale (VSSD), che impiegava rispettivamente 5,80 ms e 8,01 ms.
Accuratezza: Ha ottenuto punteggi migliori nei test standard. Nel test ImageNet-1K, la versione "Tiny" ha raggiunto un'accuratezza dell'84,2%, superando il precedente miglior modello non causale (VSSD-Tiny) che aveva ottenuto l'83,7%.
Rotazione e Inversione: Una delle scoperte più interessanti riguarda la "robustezza dell'orientamento". Se si capovolge un'immagine o la si ruota, i vecchi modelli si confondono un po' e la loro accuratezza cala. VNCT è molto più tranquillo riguardo a ciò. Quando l'immagine è stata ruotata o invertita, il calo medio di accuratezza è stato solo dello 0,3%, rispetto allo 0,9% di VSSD e all'1,6% del modello a scansione direzionale. Ciò suggerisce che il modello vede l'oggetto come un insieme, non solo come una sequenza di pixel.
Confini: Quando si disegnano i contorni degli oggetti (come separare un'auto dalla strada), VNCT è stato più nitido. Ha migliorato la "Boundary IoU" (un punteggio che indica quanto bene corrispondono i bordi) fino a 3,7 punti sul dataset Cityscapes rispetto a VSSD.

In Sintesi

Il documento non si limita a suggerire che questo potrebbe funzionare; lo ha misurato attraverso compiti di classificazione, rilevamento di oggetti e segmentazione. Gli autori concludono che la "strada a senso unico" della scansione direzionale è un artefatto del tentativo di forzare i modelli di sequenza sulle immagini, e che un approccio non causale del secondo ordine è un modo più semplice, efficiente e robusto per costruire l'IA visiva. Non hanno solo perfezionato il vecchio sistema; hanno sostituito interamente le regole del traffico, e le auto si muovono più velocemente e guidano più dritte.

Riassunto Tecnico: Vision Non-Causal Trapezoidal Mamba (VNCT)

1. Definizione del Problema

I Modelli a Spazio di Stato (SSM) sono emersi come alternative efficienti ai Vision Transformer (ViT) per la modellazione di dipendenze a lungo raggio con complessità temporale lineare. Tuttavia, la maggior parte degli esistenti SSM per la visione (ad es., ViM, VMamba) eredita la scansione di token direzionale dalla modellazione di sequenze causali. Per applicare gli SSM 1D alle immagini 2D, i token devono essere serializzati lungo percorsi predefiniti (orizzontali, verticali o multidirezionali).

Gli autori identificano tre limitazioni critiche di questo approccio:

Bias Spaziale: La scansione direzionale impone un ordine di attraversamento artificiale non intrinseco ai dati visivi, creando interazioni di caratteristiche sensibili all'orientamento.
Inefficienza: L'aggregazione del contesto bidirezionale spesso richiede molteplici passaggi di scansione, aumentando la latenza di inferenza.
Disallineamento: Le scene visive sono non-causali; le relazioni spaziali esistono indipendentemente dall'ordine dei token.

Sebbene lavori recenti come Vision State Space Duality (VSSD) abbiano introdotto l'aggregazione non-causale, essi rimangono limitati alla dinamica del primo ordine. Il documento mette in discussione se la scansione direzionale sia necessaria per gli SSM di visione ad alte prestazioni o se sia semplicemente un artefatto dell'adattamento dei modelli di sequenza alle immagini.

2. Metodologia: Vision Non-Causal Trapezoidal Mamba (VNCT)

Gli autori propongono VNCT, un backbone visivo gerarchico basato su una formulazione di spazio di stato non-causale del secondo ordine. L'innovazione principale è lo strato NC-M3 (Non-Causal Mamba-3).

2.1. Meccanismo Core: NC-M3

Lo strato NC-M3 riformula la dinamica trapezoidale esponenziale di Mamba-3 in un operatore di aggregazione globale e non-causale.

Dinamica del Secondo Ordine: A differenza degli SSM standard che utilizzano un aggiornamento a singolo step, Mamba-3 utilizza una regola di quadratura trapezoidale, mediando tra entrambi gli endpoint di integrazione (sinistro e destro). Questo è espresso come:
$h_t = \alpha_t h_{t-1} + \beta_t x_{t-1} + \gamma_t x_t$
dove $\beta$ e $\gamma$ pesano le osservazioni agli endpoint sinistro e destro.
Sollevamento Non-Causale (Non-Causal Lift): Gli autori trasformano questa ricorrenza causale in un operatore permutazione-invariante. Invece della propagazione sequenziale dello stato, sostituiscono la matrice di transizione causale triangolare inferiore con un kernel di interazione completamente denso e normalizzato.
Aggregazione Globale: L'interazione è calcolata tramite statistiche sufficienti globali. Per un token di output $i$ $i$ , lo stato è derivato da una somma globale di tutti i token di input $j$ $j$ , pesata da parametri dipendenti dai dati ( $\alpha, \beta, \gamma$ $α, β, γ$ ) proiettati in uno spazio di interazione.
- La regola di aggregazione è fattorizzata per evitare la costruzione di una matrice di interazione $L \times L$ , mantenendo la complessità temporale lineare ( $O(L)$ ).
- Ciò consente a tutti i token dell'immagine di interagire in un singolo passaggio senza scansione direzionale.

2.2. Componenti Architetturali

Parametrizzazione MIMO a Basso Rango: VNCT incorpora un meccanismo Multi-Input Multi-Output (MIMO) a basso rango per modellare congiuntamente le interazioni spaziali e di canale in modo efficiente.
Codifica Posizionale Rotatoria 2D (2D RoPE): Poiché l'aggregazione è indipendente dall'ordine, l'informazione spaziale viene iniettata tramite 2D RoPE applicata alle proiezioni di sorgente e query, codificando lo spostamento spaziale relativo.
Backbone Gerarchico: Il modello segue un'architettura a quattro stadi (simile a Swin o ConvNeXt) con downsampling progressivo. Gli stadi 1–3 utilizzano blocchi NC-M3, mentre lo stadio 4 impiega la Multi-Head Self-Attention (MHSA) sulla mappa delle caratteristiche a risoluzione più bassa per gestire il contesto globale dove il costo quadratico è trascurabile.
Percezione Locale: Un'unità di percezione locale (LPU) che utilizza convoluzioni depth-wise inietta il bias induttivo spaziale locale prima dell'aggregazione globale.

3. Contributi Chiave

Strato NC-M3: Uno strato di spazio di stato non-causale del secondo ordine che elimina la scansione direzionale, consentendo interazioni in un singolo passaggio tra tutti i token dell'immagine.
Backbone VNCT: Un backbone visivo gerarchico che combina la dinamica non-causale del secondo ordine con la parametrizzazione MIMO a basso rango.
Validazione Empirica: Dimostrazione che l'eliminazione della scansione direzionale migliora la latenza di inferenza, la robustezza all'orientamento e la preservazione dei bordi, superando costantemente sia gli SSM con scansione direzionale che gli SSM non-causali del primo ordine.

4. Risultati Sperimentali

Gli autori hanno valutato VNCT su ImageNet-1K (classificazione), COCO (rilevamento di oggetti e segmentazione di istanze) e ADE20K (segmentazione semantica).

Classificazione (ImageNet-1K): VNCT raggiunge la stato dell'arte in termini di accuratezza Top-1 nelle scale Micro, Tiny, Small e Base.
- Esempio: VNCT-Tiny raggiunge l'84,2% di accuratezza Top-1, superando VSSD-T (83,7%) e VMamba-T (82,5%).
- Efficienza: VNCT dimostra una latenza di inferenza per singola immagine inferiore a VSSD nelle scale Micro, Tiny e Small.
Predizione Densa (COCO & ADE20K):
- Rilevamento/Segmentazione: VNCT-T supera tutti i baseline in Box AP e Mask AP su COCO, con guadagni significativi in AP75 (che indica una migliore precisione di localizzazione).
- Segmentazione Semantica: VNCT raggiunge il mIoU più alto su ADE20K in tutte le scale del modello (ad es., VNCT-S raggiunge il 50,1% di mIoU rispetto al 49,2% di VSSD-S).
Preservazione dei Bordi: VNCT migliora significativamente la Boundary IoU (BIoU).
- Su ADE20K, VNCT-T migliora il BIoU di +2,3 punti rispetto a VSSD-T.
- Su Cityscapes, il miglioramento è di +3,7 punti.
- L'analisi qualitativa mostra che VNCT produce contorni più completi e geometricamente accurati.
Robustezza all'Orientamento: VNCT esibisce una robustezza superiore alle trasformazioni geometriche (flip e rotazioni) senza riaddestramento.
- Su ImageNet-1K, VNCT-T mostra un calo medio di accuratezza di soli 0,3% attraverso quattro trasformazioni, rispetto allo 0,9% di VSSD-T e all'1,6% di VMamba-T.
Analisi del Campo Recettivo: La visualizzazione del Campo Recettivo Effettivo (ERF) rivela che VNCT produce un campo recettivo liscio, simmetrico e globalmente uniforme, a differenza degli artefatti direzionali visti in VMamba o della copertura irregolare di VSSD.

5. Significato e Rivendicazioni

Il documento sostiene che la scansione direzionale è superflua per gli SSM di visione ad alte prestazioni. Gli autori affermano che i limiti dei precedenti SSM per la visione derivano dalla scansione direzionale causale piuttosto che dal modello a spazio di stato in sé.

Sostituendo la scansione causale con la modellazione dello spazio di stato non-causale del secondo ordine, VNCT offre un'alternativa semplice, efficiente e robusta per il riconoscimento visivo. I risultati suggeriscono che:

L'aggregazione globale non-causale combinata con la dinamica del secondo ordine produce rappresentazioni spaziali più forti per i compiti di predizione densa.
La rimozione del bias direzionale porta a caratteristiche più robuste all'orientamento e a una migliore preservazione dei bordi.
È possibile ottenere backbone visivi ad alte prestazioni senza l'overhead computazionale di molteplici passaggi di scansione o la complessità quadratica dei meccanismi di full attention (eccetto che nell'ultimo stadio).

Gli autori concludono che questo approccio motiva gli operatori a spazio di stato non-causali di ordine superiore come una direzione promettente per i futuri backbone visivi.