Riepilogo Tecnico: GraphScan per Modelli dello Stato Spaziale per la Visione

1. Enunciato del Problema

I Modelli dello Stato Spaziale (SSM) per la visione, in particolare quelli basati sull'architettura Mamba, offrono una modellazione a lungo raggio efficiente con complessità lineare. Tuttavia, le loro prestazioni dipendono criticamente da come le mappe di caratteristiche visive bidimensionali vengono serializzate in sequenze di token unidimensionali per l'elaborazione.

Gli operatori di scansione esistenti negli SSM per la visione rientrano generalmente in due categorie:

1. Traversate Geometriche Fisse: Percorsi predefiniti (ad esempio, raster, bidirezionali, frattali) che serializzano il reticolo 2D in una sequenza 1D. Questi espongono il modello a ordinamenti fissi che potrebbero non allinearsi con il contenuto semantico.
2. Scansioni Dinamiche Basate su Coordinate: Metodi che prevedono offset o posizioni di campionamento e reindirizzano i token tramite interpolazione (ad esempio, interpolazione bilineare). Sebbene adattivi, questi regolano principalmente dove campionare in base alla geometria piuttosto che modellare esplicitamente quali patch locali dovrebbero scambiare informazioni in base alla rilevanza semantica prima della miscelazione globale.

Gli autori identificano un divario: i meccanismi attuali adattano percorsi o coordinate di campionamento, ma non modellano esplicitamente i vicinati semantici locali per precondizionare i token prima che entrino nel mixer dello stato spaziale selettivo. La domanda centrale posta è se l'instradamento basato su grafi possa aiutare gli SSM per la visione a "vedere meglio" stabilendo connessioni semantiche prima della propagazione globale.

2. Metodologia: GraphScan

Il documento introduce GraphScan, un operatore di scansione dinamico indotto da grafi progettato per precedere l'SSM selettivo. A differenza dei metodi che sostituiscono l'SSM con una Rete Neurale su Grafo (GNN), GraphScan agisce come un precondizionatore leggero e adattivo all'input che arricchisce i token con il contesto semantico locale.

Meccanismo Principale

Per ogni token $x_i$ nella mappa di caratteristiche:

1. Costruzione del Grafo Locale: Viene definito un insieme di candidati locali spazialmente delimitato $S_r(i)$ attorno alla coordinata del reticolo del token, con un raggio fisso $r$.
2. Affinità Condizionate dalle Caratteristiche: Invece dell'interpolazione geometrica, GraphScan calcola affinità simili all'attenzione tra il token query e i suoi vicini basandosi sulla similarità delle caratteristiche e su un bias posizionale relativo.
   • Vengono calcolate le proiezioni Query, Key e Value: $q_i, k_j, v_j$.
   • I punteggi di affinità $s_{ij}$ sono calcolati utilizzando prodotti scalari e un bias posizionale relativo apprendibile $b_{rel}(g_j - g_i)$.
   • La normalizzazione softmax produce i pesi $\alpha_{ij}$.
3. Passaggio di Messaggi in Un Passo: Il token di output $x'_i$ viene generato aggregando le caratteristiche di valore dal vicinato semantico e aggiungendo una connessione residua:
   $$x'_i = x_i + \left( \sum_{j \in S_r(i)} \alpha_{ij} v_j \right) W_o$$
   Questo sostituisce la rappresentazione isolata della patch con una miscela semantica di evidenze visive vicine.

Integrazione nel Backbone

GraphScan è integrato in un backbone gerarchico Vision Mamba (GraphScan-Mamba) come strato di instradamento pre-SSM.

• Architettura: Il backbone segue un design standard a quattro stadi con steli convoluzionali sovrapposti e downsampling per stadio.
• Posizionamento: All'interno di ogni blocco, il flusso è: Convoluzione Profonda (Locale Fissa) $\to$ GraphScan (Locale Appresa) $\to$ SSM Selettivo (Globale).
• Adattività: Il raggio del grafo $r$ aumenta con la profondità dello stadio (ad esempio, $r=1$ negli stadi iniziali, $r=3$ negli stadi successivi), permettendo al campo ricettivo di crescere da locale a globalmente efficace mantenendo una scalabilità lineare.

Implicazioni Teoriche

Gli autori analizzano GraphScan come un precondizionatore sparso e adattivo all'input. Modificando la sequenza di token $X$ in $X'$ prima dell'SSM, GraphScan influenza l'SSM in due modi:

1. Iniezione di Valori: Modifica i valori scritti nello stato ricorrente.
2. Modulazione dei Parametri: Poiché gli SSM in stile Mamba generano parametri di ricorrenza ($\Delta, B, C$) dal token corrente, cambiare il token modifica anche i parametri selettivi che governano la propagazione e la lettura dello stato.
   Ciò crea un "kernel locale-globale" in cui una patch sorgente influenza l'output attraverso un'affinità semantica locale $\alpha_{ij}$ e un fattore di propagazione selettiva globale $K'_{t,i}$.

3. Contributi Chiave

1. Operatore GraphScan: Un meccanismo di scansione innovativo che tratta la scansione come "instradamento semantico locale appreso" piuttosto che come serializzazione geometrica o selezione di coordinate. Preserva il conteggio dei token e la scalabilità lineare introducendo al contempo la consapevolezza semantica.
2. Backbone GraphScan-Mamba: Un'implementazione gerarchica di GraphScan che ottiene prestazioni allo stato dell'arte (SOTA) tra gli SSM per la visione su più compiti senza alterare la logica di ricorrenza centrale dell'SSM.
3. Ortogonalità: Il metodo si dimostra ortogonale ai miglioramenti lato ricorrenza (ad esempio, SSD, formulazioni non causali), offrendo una leva di progettazione complementare per gli SSM per la visione.
4. Interpretabilità: Il metodo induce campi di spostamento interpretabili sul reticolo dei token, visualizzando come il modello instrada le informazioni in base al contenuto semantico piuttosto che alla geometria fissa.

4. Risultati Sperimentali

Gli autori valutano GraphScan-Mamba su tre benchmark standard, confrontandolo con ConvNet, Transformer e SSM per la visione esistenti (ad esempio, VMamba, DAMamba, Spatial-Mamba) con budget di parametri e FLOP comparabili.

• Classificazione ImageNet-1K:
  • GraphScan-Mamba-B raggiunge un'accuratezza top-1 del 86,5%, superando la baseline SSM per la visione più forte (Spatial-Mamba-B al 85,3%) di +1,2% e VMamba-B di +2,6%.
  • Supera anche solide backbones ConvNet e Transformer (ad esempio, ConvNeXt-B, Swin-B) a scale simili.
• Rilevamento Oggetti e Segmentazione di Istanza COCO (Mask R-CNN):
  • Con il programma 1x, GraphScan-Mamba-B raggiunge 51,9 box mAP e 46,0 mask mAP, guidando tutte le baseline SSM per la visione.
  • I guadagni si trasferiscono efficacemente ai compiti di previsione densa, indicando che i token appresi sono robusti alle strutture spaziali su scala di rilevamento.
• Segmentazione Semantica ADE20K (UperNet):
  • GraphScan-Mamba-B raggiunge un mIoU del 53,2% (singola scala), superando la migliore baseline SSM per la visione (DAMamba-B al 51,9%) di +1,3%.
  • I risultati multi-scala mostrano miglioramenti coerenti (53,6% contro 52,3%).

Studi di Ablazione:

• Posizionamento: Il posizionamento pre-SSM è critico; spostare GraphScan post-SSM comporta un calo di accuratezza dello 0,7%.
• Programma del Raggio: Un programma di raggio crescente $(1, 1, 2, 3)$ offre il miglior fronte di Pareto tra calcolo e accuratezza.
• Bias Posizionale Relativo: L'inclusione di un bias posizionale relativo apprendibile fornisce un guadagno costante, sebbene piccolo.

5. Significato e Affermazioni

Il documento conclude che i grafi aiutano effettivamente gli SSM per la visione a vedere meglio. Il significato di questo lavoro risiede nello spostamento del paradigma di progettazione per gli SSM per la visione:

• Dalla Geometria alla Semantica: La scansione non dovrebbe essere trattata meramente come serializzazione geometrica (scegliere un percorso o una coordinata) ma come instradamento semantico locale appreso prima della modellazione globale dello stato spaziale.
• Complemento lato Input: GraphScan fornisce una soluzione lato input che completa i progressi lato ricorrenza. Garantisce che i token che entrano nel mixer selettivo siano già localmente radicati e consapevoli semanticamente, migliorando il condizionamento della sequenza globale senza cambiare la dinamica interna dell'SSM.
• Generalizzabilità: L'approccio è ortogonale al nucleo specifico dell'SSM (ad esempio, Mamba-1/S6), suggerendo che può essere applicato a future varianti SSM.

Gli autori affermano con modestia che, sebbene GraphScan migliori le prestazioni e l'interpretabilità, non garantisce la generalizzazione in un senso formale di teoria del controllo senza ulteriori assunzioni, ma fornisce un meccanismo strutturale per input semantici locali più ricchi.