Riassunto Tecnico: Framework di Riduzione Spazialmente Consapevole (STORM)

1. Definizione del Problema

Sebbene i modelli State Space (SSM) come Mamba abbiano dimostrato un'efficienza superiore nella modellazione di dipendenze a lungo raggio per compiti di visione, riducendo la complessità computazionale da quadratica a lineare, essi affrontano un collo di bottiglia critico quando vengono integrati con tecniche di riduzione dei token. I metodi di riduzione dei token esistenti (ad esempio, pruning e merging), altamente efficaci nei Vision Transformer (ViT), causano un grave collasso delle prestazioni quando applicati a varianti di Mamba strutturalmente potenziate come VMamba.

Gli autori attribuiscono questo degrado alla natura spazialmente agnostica delle attuali strategie di riduzione. A differenza dei ViT, che si affidano all'auto-attenzione globale, le architetture Mamba (specificamente quelle che utilizzano il meccanismo di Scansione Selettiva 2D, o SS2D) dipendono da una rigorosa scansione sequenziale con dipendenze di stato ricorsive. I metodi di riduzione standard appiattiscono la griglia di token 2D in una sequenza 1D, effettuano la riduzione e rimappano i token. Questo processo interrompe le relazioni spaziali originali e la topologia della griglia, violando i presupposti strutturali necessari affinché il meccanismo SS2D funzioni correttamente. Di conseguenza, la propagazione dello stato causale viene interrotta, portando a una perdita di informazioni a cascata e a cali catastrofici di accuratezza (ad esempio, un calo da circa l'83% al 31% in VMamba-B utilizzando ToMe).

2. Metodologia: STORM

Per affrontare questo problema, gli autori propongono STORM (Spatial-aware TOken Reduction), un framework plug-and-play progettato per mantenere l'integrità strutturale durante la compressione senza richiedere un ulteriore addestramento. STORM riformula la riduzione dei token come un'operazione strutturata su primitive spaziali piuttosto che come un'operazione globale su una sequenza appiattita.

Componenti Core

1. Riduzione Spaziale Strutturata (Workflow Decomposto per Dimensioni):
   Invece di elaborare una sequenza globalmente appiattita, STORM decompone il processo di riduzione in due stadi disaccoppiati allineati con la griglia 2D:

   • Riduzione per Righe (Row-wise Reduction): La mappa delle caratteristiche viene elaborata riga per riga. Un operatore di base per la riduzione (ad esempio, pruning o merging) viene applicato indipendentemente a ogni riga.
   • Riduzione per Colonne (Column-wise Reduction): Il risultato intermedio viene quindi elaborato colonna per colonna, applicando l'operatore di riduzione indipendentemente a ogni colonna.
     Ciò assicura che l'output rimanga una sottogriglia regolare, preservando le relazioni topologiche richieste dai percorsi di scansione SS2D.

2. Meccanismo di Finestra Localizzata (Localized Window Mechanism):
   Per prevenire interferenze a lungo raggio che potrebbero interrompere la coerenza semantica locale, STORM introduce un vincolo di finestra localizzata.

   • All'interno di ogni riga o colonna, la sequenza è partizionata in finestre non sovrapponibili.
   • Le decisioni di riduzione sono confinate strettamente entro questi vicinati locali.
   • Questo meccanismo sopprime l'interferenza tra regioni, garantendo che i token semanticamente non correlati non vengano uniti, preservando così la semantica fine essenziale per una stabile evoluzione dello stato.

Base Teorica

Gli autori forniscono un'analisi teorica che mostra come i metodi di riduzione globale causino uno spostamento spaziale illimitato tra i token consecutivi nella sequenza di scansione, portando alla divergenza dell'errore. Al contrario, la decomposizione dimensionale e i vincoli di finestra di STORM limitano strettamente lo spostamento spaziale dei token. Limitando lo spostamento massimo di mappatura alla dimensione della finestra, il framework garantisce un limite superiore stretto sugli errori di propagazione dello stato, assicurando prestazioni stabili anche sotto compressione aggressiva.

3. Contributi Chiave

• Identificazione dell'Integrità Strutturale come Elemento Critico: Il documento identifica che il fallimento della riduzione dei token nella visione Mamba non è dovuto meramente ai criteri di selezione dei token, ma deriva dalla perturbazione della struttura spaziale 2D.
• Paradigma di Riduzione Strutturata: Gli autori propongono un nuovo paradigma che opera su primitive spaziali (righe e colonne) piuttosto che su token globalmente appiattiti, mitigando efficacementamente il collasso delle prestazioni.
• Framework Generalizzabile: STORM è progettato come un modulo generico, senza necessità di addestramento, che può essere integrato con pipeline di riduzione esistenti (come EViT e ToMe) per dotarle di una consapevolezza spaziale esplicita.
• Prestazioni allo Stato dell'Arte: Il framework stabilisce nuovi benchmark di prestazione per la riduzione di vision Mamba, fornendo un'accuratezza e un throughput superiori attraverso diversi backbone.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet-1K (classificazione) e COCO 2017 (rilevamento di oggetti e segmentazione delle istanze) utilizzando un setting senza addestramento.

• Classificazione ImageNet-1K:

  • STORM recupera significativamente l'accuratezza su VMamba. Per VMamba-B, l'applicazione di solo ToMe fa scendere l'accuratezza al 35,7%, mentre STORM (ToMe) raggiunge l'82,6% (solo un calo dell'1,3% rispetto al baseline).
  • Su VMamba-S, STORM (ToMe) raggiunge un'accuratezza dell'80,9% rispetto al 32,9% di ToMe standard, rappresentando un miglioramento relativo del 61,2% nel recupero dell'accuratezza.
  • STORM supera altri metodi di riduzione specifici per Mamba (come HSA, MTR, QuarterMap) con un ampio margine, con HSA che scende al 46,2% su VMamba-S mentre STORM raggiunge l'82,0%.

• Rilevamento Oggetti (COCO):

  • STORM consente un recupero drammatico nei compiti di rilevamento. Per VMamba-S, il baseline APb è 48,7. Lo standard ToMe crolla a 2,8, mentre STORM (ToMe) recupera a 44,2.
  • Miglioramenti simili si osservano sui backbone PlainMamba e LocalMamba.

• Efficienza e Robustezza:

  • Throughput: STORM raggiunge un throughput più elevato rispetto a ToMe in tutti i rapporti di riduzione grazie alle sue operazioni riga/colonna parallele, che evitano i colli di bottiglia di scalabilità delle computazioni di similarità globale.
  • Robustezza: Anche utilizzando una strategia di selezione dei token casuale (senza punteggi di importanza appresi), STORM mantiene prestazioni robuste (accuratezza del 69,1% al 36% di riduzione), mentre ToMe scende all'11,7%. Ciò evidenzia che la preservazione strutturale del framework è il principale motore del successo, non solo il criterio di selezione.
  • Fine-tuning: Anche con il fine-tuning, STORM supera costantemente i baseline, recuperando il 78,4% di accuratezza su VMamba-T con un rapporto di riduzione di 0,32 rispetto al 32,7% di ToMe.

5. Significato e Rivendicazioni

Il documento afferma che STORM rappresenta un cambiamento fondamentale nel modo in cui viene approcciata la riduzione dei token per architetture spazialmente sensibili. Imponendo una regolarità del layout globale e una fedeltà contestuale locale, STORM risolve l'incompatibilità tra la riduzione dei token e la propagazione dello stato a catena di Mamba.

Gli autori sottolineano che STORM è una soluzione plug-and-play che non richiede addestramento e non richiede il riaddestramento dei modelli backbone. Il suo significato risiede nel rendere praticabile l'implementazione dei modelli vision Mamba, consentendo una compressione aggressiva (fino al 40% di riduzione) senza il severo collasso delle prestazioni precedentemente osservato. Il lavoro suggerisce che mantenere la coerenza spaziale sia più critico del semplice mantenimento dei token salienti per l'efficacia dei modelli basati su SS2D.