🤖 AI

Norm or Direction? Decoding Vision Mambas for High-Resolution Vision

Questo articolo rivela che, mentre MambaOut codifica le informazioni discriminanti la classe principalmente nell'ampiezza dei token di primo piano, VMamba distribuisce in modo unico l'evidenza semantica attraverso le direzioni dei token e le regioni di sfondo, una strategia di codifica distinta che le conferisce una stabilità e una prestazione superiori nei compiti di predizione densa ad alta risoluzione.

Autori originali: Jin Yu, Juyoun Park

Pubblicato 2026-07-22

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jin Yu, Juyoun Park

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot a riconoscere un gatto in una foto. Per molto tempo, il modo migliore per farlo era far controllare al robot ogni singolo pixel e confrontare ogni pixel con tutti gli altri, come un detective che controlla ogni singolo indizio contro tutti gli altri. Questo è potente ma lento, specialmente per le foto enormi e ad alta definizione. Recentemente, gli scienziati hanno inventato un modo nuovo e più veloce chiamato "Vision Mamba". Immagina un robot che legge un'immagine come un libro, scansionandola riga per riga per capire la storia senza lasciarsi sopraffare. Ma poi, un altro team ha costruito un robot che non legge affatto il libro; invece, usa un diverso tipo di filtro a "cancello" (gated) per individuare il gatto. Sorprendentemente, questo nuovo robot è altrettanto bravo a trovare i gatti in foto di dimensioni standard. Questo lascia gli scienziati di fronte a un grande mistero: se entrambi i robot portano a termine il lavoro, stanno vedendo il mondo nello stesso modo? O uno di loro sta usando un superpotere segreto che l'altro non ha? Questa domanda è importante perché, mentre ci spostiamo da piccole foto a immagini massicce e dettagliate (come mappe satellitari o scansioni mediche), il modo in cui questi robot "vedono" potrebbe determinare se saranno in grado di gestire il compito o se inizieranno a confondersi.

Questo articolo, intitolato "Norm or Direction? Decoding Vision Mambas for High-Resolution Vision", si immerge in questo mistero per vedere come due cervelli robotici specifici — VMamba e MambaOut — elaborano effettivamente le informazioni. I ricercatori hanno scoperto che, sebbene entrambi i modelli siano bravi a individuare oggetti, conservano le "indizi" di ciò che vedono in modi completamente diversi.

Pensa a un token (un piccolo pezzetto dell'immagine che il robot analizza) come a un piccolo messaggero che porta un biglietto. Ogni messaggero ha due cose: quanto forte urla (la sua "magnitudo" o intensità) e la direzione in cui punta (la sua "direzione"). Lo studio ha scoperto che MambaOut è come una squadra di urlatori. Concentra tutte le sue informazioni importanti in pochi messaggeri molto rumorosi ed energici che si trovano proprio sopra l'oggetto (il gatto). Se si silenziano i messaggeri silenziosi sullo sfondo, MambaOut sta comunque bene perché i grandi urlatori stanno facendo tutto il lavoro.

VMamba, invece, è più simile a un coro. Non si affida a pochi urlatori rumorosi. Invece, distribuisce le informazioni importanti in tutta la stanza, incluso lo sfondo. I messaggeri rumorosi nel team di VMamba finiscono spesso per stare sullo sfondo (come il cielo o l'erba), non sul gatto stesso. Se guardi solo chi urla più forte, potresti pensare che VMamba sia confuso. Ma ecco il colpo di scena: la direzione in cui puntano i messaggeri custodisce il segreto. Anche se abbassi il volume di tutti i messaggeri in modo che siano tutti sussurratori, VMamba può ancora dirti che si tratta di un gatto perché la direzione dei loro sussurri è perfettamente allineata. MambaOut, invece, cade a pezzi se abbassi il volume; ha bisogno delle urla per funzionare.

I ricercatori hanno testato questo facendo guardare ai robot immagini molto più grandi, ad alta risoluzione. Quando l'immagine diventa enorme, ci sono migliaia di messaggeri in più da gestire. MambaOut, che si affida a pochi urlatori rumorosi, inizia a inciampare perché è difficile scegliere i giusti pochi urlatori da una folla di migliaia. VMamba, con il suo coro di sussurri direzionali, gestisce la folla molto meglio. Distribuisce le prove, rendendolo più stabile e affidabile man mano che l'immagine diventa più grande.

Questa differenza diventa ancora più chiara quando ai robot viene chiesto di fare un lavoro più difficile: non solo dire "c'è un gatto", ma indicare esattamente dove si trova il gatto nella foto (un compito chiamato segmentazione). Quando i ricercatori hanno lasciato che i robot imparassero da zero su questi compiti dettagliati, VMamba ha preso il sopravvento. Si è scoperto che la capacità di VMamba di riorganizzare i suoi indizi "direzionali" rendeva molto più facile insegnargli come indicare parti specifiche di un'immagine. MambaOut, che si affida alla forza delle urla in punti specifici, era più difficile da insegnare per questo lavoro dettagliato.

L'articolo suggerisce che il segreto per costruire robot migliori per compiti ad alta risoluzione non è solo nel meccanismo di scansione (la parte "Mamba"), ma nel modo in cui organizzano le loro informazioni. Sembra che, per i grandi lavori dettagliati, affidarsi alla "direzione" dei dati sia più potente che affidarsi alla "magnitudo" (l'intensità). Gli autori propongono che i futi cervelli robotici dovrebbero essere progettati per prestare più attenzione a questi indizi direzionali, forse addestrandoli a essere migliori nell'organizzare le informazioni attraverso l'intera immagine piuttosto che concentrarsi solo sui punti più rumorosi. Sebbene l'articolo non sostenga di aver risolto tutto (ammettono di non essere sicuri al 100% di quale parte specifica del cervello del robot causi questo rumore di fondo), l'evidenza suggerisce fortemente che spostare il focus da "quanto forte" a "in che direzione" sia la chiave per sbloccare una visione migliore per le immagini ad alta risoluzione.

Sintesi Tecnica: Norma o Direzione? Decodificare i Vision Mamba per l'Alta Risoluzione

Definizione del Problema

I modelli Vision Mamba, come VMamba, sono emersi come backbone visivi efficienti sostituendo l'auto-attenzione quadratica con Modelli di Spazio di Stato (SSM) selettivi a complessità lineare. Tuttavia, un lavoro recente (MambaOut) dimostra che i blocchi Gated CNN possono eguagliare o superare le prestazioni di VMamba nella classificazione di immagini standard, mettendo in discussione la necessità degli SSM per i compiti di visione. Ciò crea un'ambiguità fondamentale: VMamba e MambaOut codificano l'informazione visiva in modo differente a livello di rappresentazione e, se così fosse, come queste differenze impattano sulle prestazioni in compiti di predizione densa e ad alta risoluzione (es. segmentazione semantica)? Mentre MambaOut sostiene che gli SSM siano superflui per la classificazione (un compito non autoregressivo e a sequenza breve), VMamba mantiene vantaggi nei benchmark di predizione densa dove le sequenze spaziali sono più lunghe. Il problema centrale è decodificare le strategie rappresentazionali interne di questi modelli per comprendere l'origine del vantaggio di VMamba nei contesti ad alta risoluzione.

Metodologia

Gli autori conducono un'analisi comparativa tra VMamba-T e MambaOut-T (varianti Tiny) utilizzando un approccio multifasico:

Analisi CKA Cross-Modello e Intra-Modello: Gli autori applicano il Centered Kernel Alignment (CKA) per misurare la similarità tra le rappresentazioni attraverso diversi stadi, tra i due modelli e tra le versioni pre-addestrate per la classificazione e quelle affinate per la segmentazione.
Decomposizione dei Token (Magnitudo vs. Direzione): I token spaziali vengono decomposti in norma $\ell_2$ (magnitudo) e vettori unitari (direzione). Lo studio investiga dove si verificano le alte attivazioni e se l'informazione discriminante della classe sia codificata nella magnitudo o nella direzione.
Attribuzione e Localizzazione:
- Grad-CAM: Utilizzato per confrontare le mappe di attivazione dei token con le mappe di calore dell'attribuzione della classe.
- Attribuzione tramite Sostituzione dei Token: Un metodo basato sulla perturbazione in cui i singoli token vengono sostituiti con la media dell'immagine per misurare il loro contributo al logit della classe target.
- Valutazione del Vettore Unitario: I classificatori vengono testati su token normalizzati (norma unitaria) per isolare l'informazione contenuta puramente nelle direzioni dei token.
- Test sui Token ad Alta Magnitudo: I classificatori vengono addestrati o valutati utilizzando solo i top-k token con la magnitudo più elevata per testare se la sola magnitudo trasporti informazione di classe.
Valutazione Specifica del Task: I modelli vengono valutati su:
- Classificazione ad Alta Risoluzione: Fine-tuning su ImageNet-1k a una risoluzione di 768×768.
- Segmentazione Semantica: Addestramento su ADE20K e Pascal VOC 2012 sotto due regimi: backbone congelato e fine-tuning completo.
- Ablazione: Rimozione del modulo SS2D per testare il suo specifico contributo ai fenomeni osservati.

Risultati Chiave

1. Strategie Rappresentazionali Divergenti

Divergenza CKA: I blocchi dello stadio finale di VMamba formano rappresentazioni che sono qualitativamente distinte sia da MambaOut che dai propri blocchi precedenti. Al contrario, MambaOut mantiene rappresentazioni coerenti attraverso i layer. VMamba mostra anche una maggiore sensibilità ai cambiamenti di supervisione (classificazione vs. segmentazione) nello stadio finale.
Magnitudo vs. Direzione:
- MambaOut: Concentra l'informazione discriminante della classe in un piccolo set di token di foreground ad alta magnitudo. Questi token si allineano spazialmente con le attribuzioni Grad-CAM. Rimuovere la magnitudo (normalizzando i token) causa un calo drastico delle prestazioni (l'accuratezza del singolo token scende a circa il 31,5%).
- VMamba: Produce token ad alta magnitudo prevalentemente in regioni di background, che sono disallineati con il focus del foreground di Grad-CAM. Tuttavia, i segnali discriminanti sono preservati principalmente nelle direzioni dei token. Normalizzare i token risulta in un calo delle prestazioni molto minore (l'accuratezza del singolo token rimane a circa il 52,5%, significativamente più alta di MambaOut).

2. Aggregazione dell'Evidenza e Risoluzione

Sostituzione dei Token: VMamba distribuisce il supporto del logit ampiamente sulle regioni dell'oggetto, mentre MambaOut si affida a token dominanti e sparsi.
Impatto dell'Alta Risoluzione: Alla risoluzione standard (224×224), MambaOut supera leggermente VMamba. Tuttavia, ad alta risoluzione (768×768), VMamba supera MangaOut. Gli autori attribuiscono ciò alla stabilità dell'aggregazione di evidenza ampia di VMamba, che è meno sensibile alle variazioni di campionamento spaziale all'aumentare dei token, rispetto alla dipendenza di MambaOut da picchi sparsi.

3. Predizione Densa e Fine-Tuning

Backbone Congelato: MambaOut performa leggermente meglio sulla segmentazione con un backbone congelato, probabilmente perché i suoi indizi di magnitudo allineati al foreground sono immediatamente sfruttabili da una nuova testa.
Fine-Tuning Completo: VMamba supera significativamente MambaOut quando il backbone è completamente affinato.
Robustezza Direzionale: In un test di "decodificatore a token unitari" (dove la magnitudo viene rimossa), le prestazioni di segmentazione di VMamba rimangono largamente intatte (47,9 $\to$ 47,5 mIoU), mentre quelle di MambaOut degradano bruscamente (47,1 $\to$ 41,5 mIoU).
Riorganizzazione Spaziale: Sotto supervisione densa, la codifica basata sulla direzione di VMamba si riorganizza in una selettività spaziale più chiara, mentre la codifica concentrata sulla magnitudo di MambaOut mostra pochi cambiamenti.

Contributi Chiave

Decodifica delle Strategie di Codifica: Il paper identifica che VMamba e MambaOut si affidano a strategie di codifica fondamentalmente diverse: MambaOut utilizza la concentrazione della magnitudo allineata al foreground, mentre VMamba utilizza la distribuzione basata sulla direzione attraverso i token spaziali.
Spiegazione del Vantaggio ad Alta Risoluzione: Gli autori dimostrano che il vantaggio di VMamba nella predizione densa e nei compiti ad alta risoluzione non deriva semplicemente dal meccanismo SSM o dalla lunghezza della sequenza, ma da come l'evidenza semantica è organizzata tra magnitudo e direzione dei token.
Ruolo della Direzione del Token: Lo studio stabilisce che la direzione del token funge da asse critico, spesso trascurato, per la rappresentazione visiva, particolarmente per i compiti di supervisione densa dove l'informazione deve essere aggregata stabilmente attraverso molti token.

Significato e Rivendicazioni

Il paper conclude che il successo dei modelli Vision Mamba nei contesti di alta risoluzione e predizione densa è radicato nella loro strategia di codifica direzionale. Questa strategia permette:

Aggregazione Stabile: Un'aggregazione dell'evidenza più robusta all'aumentare del numero di token (alta risoluzione).
Adattabilità: Una maggiore capacità di riorganizzare la selettività spaziale sotto supervisione densa (segmentazione).

Gli autori suggeriscono che i futuri design di backbone visivi dovrebbero considerare la struttura della magnitudo e della direzione del token come assi critici. Nello specifico, propongono che una regolarizzazione della magnitudo allineata al foreground potrebbe migliorare la classificazione standard, mentre una regolarizzazione angolare o obiettivi contrastivi per token potrebbero potenziare le prestazioni nei contesti densi e ad alta risoluzione.

Il paper rimane modesto riguardo ai componenti architettonici specifici responsabili, notando che, sebbene il modulo SS2D sia un candidato, il fenomeno persiste anche quando SS2D viene rimosso, suggerendo che l'effetto derivi dalla struttura del blocco più ampia piuttosto che dal solo meccanismo di scansione selettiva.