🤖 AI

SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging

Questo articolo introduce SEMA, un meccanismo di attenzione scalabile ed efficiente che combina la localizzazione dei token per prevenire la dispersione dei pesi con la media aritmetica per catturare il contesto globale, superando così i modelli esistenti di attenzione lineare e vision Mamba nei compiti di classificazione di immagini.

Autori originali: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Pubblicato 2026-07-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot a riconoscere un gatto in una foto. Per farlo, il robot usa uno strumento speciale chiamato "attenzione", che agisce come un riflettore. Questo riflettore scansiona l'intera immagine, decidendo quali pixel sono importanti (come le orecchie del gatto) e quali sono solo rumore di fondo (come un albero sfocato). Il problema è che, man mano che la foto diventa più grande, il riflettore deve controllare ogni singolo pixel rispetto a tutti gli altri pixel. Se la foto è piccola, è veloce. Ma se la foto è enorme, il robot viene sopraffatto, passando così tanto tempo a controllare le connessioni da esaurire la batteria prima ancora di poter dire "gatto".

Gli scienziati hanno cercato di risolvere questo problema rendendo il riflettore "lineare", il che significa che controlla i pixel in una linea più semplice e veloce. Ma c'è un problema: questi riflettori veloci spesso perdono la concentrazione. Man mano che l'immagine si ingrandisce, iniziano a trattare ogni singolo pixel come ugualmente importante, come una torcia che è stata abbassata così tanto da emettere solo una luce uniforme su tutta la stanza. Il robot smette di vedere il gatto e inizia a vedere una macchia grigia. Questo articolo, scritto da ricercatori dell'Università della California, Irvine, e di Qualcomm AI Research, affronta esattamente questo problema. Vogliono costruire un riflettore che sia abbastanza veloce da gestire immagini gigantesche e abbastanza nitido da vedere ancora i dettagli.

I ricercatori, guidati da Nhat Thanh Tran e colleghi, hanno scoperto una verità matematica che spiega perché questi riflettori veloci falliscono: man mano che il numero di pixel (o "token") tende all'infinito, il meccanismo di attenzione si diffonde naturalmente e diventa inutile. Chiamano questo fenomeno "dispersione". È come cercare di sentire un sussurro in uno stadio; se provi ad ascoltare tutti contemporaneamente, finisci per sentire solo rumore. Il documento dimostra che, indipendentemente da come si modifichi la matematica di questi strumenti di attenzione veloce, essi finiranno inevitabilmente per perdere la concentrazione se l'immagine diventa troppo grande.

Per risolvere questo, il team ha inventato un nuovo metodo chiamato SEMA (Scalable and Efficient Mamba-like Attention). Invece di combattere la matematica, hanno deciso di lavorare con essa. Si sono resi conto che, sebbene il riflettore dovrebbe concentrarsi su dettagli specifici, deve anche avere un modo per comprendere il "quadro generale" senza perdersi. Così, hanno progettato un sistema in due parti. Primo, utilizzano la Localizzazione dei Token, che è come dare al riflettore una piccola finestra attraverso cui guardare. Si concentra solo su un piccolo vicinato di pixel alla volta, assicurando di non essere mai sopraffatto o distratto. Questo mantiene la messa a fuoco nitida.

Ma guardare attraverso una piccola finestra ha un lato negativo: il robot potrebbe perdere l'intero gatto se guarda solo una zampa. Per risolvere questo, SEMA aggiunge un secondo passaggio: l'Averaging (Mediazione). Questo è come scattare una rapida foto sfocata dell'intera stanza e aggiungerla alla vista dettagliata. I ricercatori hanno dimostrato matematicamente che, quando l'immagine diventa enorme, il modo migliore per catturare la sensazione "globale" dell'immagine è semplicemente fare la media di tutto. Combinando la vista nitida della finestra locale con questa semplice media globale, SEMA ottiene il meglio dei due mondi.

Il documento mostra che questo approccio funziona incredibilmente bene. Quando hanno testato SEMA su dataset di immagini standard come ImageNet-1K, ha superato altri modelli popolari, inclusi i recenti modelli "Mamba", specialmente quando le immagini erano molto grandi. Ad esempio, quando la dimensione dell'immagine è stata aumentata a 1024x1024 pixel, altri modelli hanno avuto difficoltà significative, calando nella precisione, mentre SEMA è rimasto forte e ha persino migliorato le prestazioni. I ricercatori hanno anche scoperto che SEMA era più veloce dei suoi concorrenti, impiegando meno tempo per elaborare immagini grandi.

Una delle parti più interessanti del documento è come hanno gestito il problema della "dispersione". Invece di cercare di forzare l'attenzione a rimanere nitida in un modo che rompe la matematica, hanno accettato che per immagini enormi, l'attenzione dovrebbe diffondersi. Hanno usato questa natura diffusa a loro vantaggio, usando una semplice media per rappresentare l'informazione globale. È un po' come rendersi conto che, se hai un milione di amici, non puoi ricordare ogni dettaglio di ognuno di loro, ma puoi ricordare l'atmosfera generale del gruppo. SEMA ricorda i dettagli del vicinato immediato e l'atmosfera generale dell'intero gruppo, permettendogli di riconoscere perfettamente il gatto, indipendentemente da quanto sia grande la foto.

Gli autori hanno testato la loro idea su varie attività, dal riconoscimento di oggetti al ritrovamento di parti specifiche di un'immagine (segmentazione). In ogni caso, SEMA ha dimostrato di poter scalare verso immagini più grandi senza perdere la testa. Hanno persino mostrato che, man mano che le immagini diventavano più grandi, la parte di "mediazione" del loro sistema diventava più importante, provando la loro teoria secondo cui questo semplice passaggio è cruciale per gestire enormi quantità di dati. Sebbene il documento si concentri sulla visione artificiale, il team suggerisce che questa idea potrebbe aiutare con altri problemi che coinvolgono lunghe sequenze di dati, come l'analisi di enormi scansioni mediche.

In breve, SEMA è un trucco intelligente che ammette quando un riflettore diventa troppo ampio per essere utile e passa a una strategia diversa: guarda da vicino i dettagli vicini e fai una media rapida e semplice del resto. È un modo scalabile, efficiente e matematicamente fondato per aiutare i computer a vedere il mondo chiaramente, anche quando il mondo diventa molto grande.

Riepilogo Tecnico: SEMA – Un'attenzione simile a Mamba, scalabile ed efficiente tramite localizzazione dei token e media

1. Definizione del Problema

Il documento affronta due sfide primarie nell'applicazione dei meccanismi di attenzione ai compiti di visione artificiale:

Complessità Computazionale: L'attenzione completa vanilla (basata su softmax) presenta una complessità computazionale quadratica ( $O(n^2)$ ) rispetto alla dimensione dell'input, il che è proibitivo per immagini ad alta risoluzione.
Il Fenomeno della Dispersione: Le varianti di attenzione lineare, progettate per ottenere una complessità lineare, soffrono spesso di un'incapacità di concentrarsi sulle informazioni rilevanti. Man mano che il numero di token ( $n$ ) aumenta, questi meccanismi tendono a "disperdersi", assegnando pesi quasi uguali a tutte le chiavi, perdendo così il potere discriminativo inerente all'attenzione softmax.

Sebbene lavori recenti come Mamba (modelli a spazio di stato) e MILA (attenzione lineare ispirata a Mamba) abbiano tentato di risolvere questi problemi, gli autori osservano che i meccanismi di attenzione lineare mancano ancora di un potere di focalizzazione espressivo, e le soluzioni esistenti per la dispersione (ad esempio, temperatura adattiva o attenzione differenziale) sono spesso euristiche o comunque teoricamente soggette a dispersione.

2. Metodologia

2.1 Fondamento Teorico: Attenzione Generalizzata e Dispersione

Gli autori stabiliscono innanzitutto un framework di Attenzione Generalizzata che comprende sia l'attenzione softmax vanilla che l'attenzione lineare. Definiscono un meccanismo di attenzione $\Phi$ -normalizzato in cui i coefficienti di attenzione sono determinati da una funzione di normalizzazione continua $\phi$ .

Risultato Teorico Chiave (Teorema della Dispersione):
Il documento dimostra che per qualsiasi funzione di normalizzazione continua $\phi$ , man mano che il numero di token $n$ tende all'infinito, i coefficienti di attenzione si disperdono inevitabilmente. Ovvero, il peso di attenzione assegnato a una specifica chiave tende a zero ( $\Theta(1/n)$ ), assegnando di fatto un peso uguale a tutti i token.

Ciò vale sia per la softmax vanilla ( $\phi(x) = \exp(x)$ ) che per l'attenzione lineare ( $\phi(x) = x$ ).
La dimostrazione si basa sulla compattezza dello spazio delle caratteristiche di input e sulla continuità delle funzioni coinvolte.
Gli autori notano che, sebbene l'attenzione differenziale tenti di mitigare il rumore, essa rimane teoricamente soggetza alla dispersione ( $\Theta(1/n)$ ).

2.2 Soluzione Proposta: SEMA

Motivati dalla dimostrata proprietà di dispersione, gli autori progettano SEMA (Scalable and Efficient Mamba-like Attention). La filosofia centrale è quella di abbracciare il comportamento asintotico dell'attenzione globale (dispersione) preservando al contempo le capacità di focalizzazione locale.

SEMA combina due componenti:

Localizzazione dei Token (Window Attention): Per mantenere la proprietà di "focalizzazione" dell'attenzione vanilla sulle caratteristiche ad alta frequenza, SEMA impiega un meccanismo di attenzione a finestra localizzata. Questo restringe ogni query all'interazione con un numero fisso di chiavi all'interno di una finestra predefinita, prevenendo la dispersione all'interno di quel contesto locale.
Media Teorica (Approssimazione Globale): Per catturare l'aspetto globale dell'attenzione senza incorrere in una complessità quadratica o soffrire della dispersione della piena attenzione lineare, SEMA incorpora un termine di media aritmetica.
- Sulla base dell'analisi asintotica, gli autori sostengono che, nel limite di un $n$ grande, la componente globale della piena attenzione può essere approssimata da una semplice media di tutti i vettori valore ( $\frac{1}{n}\sum v_j$ ).
- Questo funge da "mixing omogeneo" o filtro passa-basso, aggregando l'informazione globale in modo efficiente.

Formulazione:
L'attenzione SEMA per una query $q$ , chiavi $K$ e valori $V$ con dimensione della finestra $w$ è definita come:
$\text{SEMA}(Q, K, V) = A_{\Phi}(Q, K, V, w) + \frac{1}{n} \sum_{j=1}^{n} v_j$
Dove $A_{\Phi}$ è l'attenzione a finestra (utilizzando varianti softmax o lineari) e il secondo termine è la media globale trasmessa (broadcasted).

2.3 Architettura

SEMA è integrato in una macro-architettura di tipo Mamba (simile a MILA). Gli autori sostituiscono i blocchi di attenzione lineare in MILA con i blocchi SEMA. A differenza di MILA, SEMA include una proiezione lineare per i valori $V$ , che gli autori hanno ritenuto necessaria per le prestazioni, aumentando leggermente il numero di parametri ma mantenendo l'efficienza.

3. Contributi Chiave

Dimostrazione Teorica della Dispersione: Il documento fornisce una rigorosa dimostrazione matematica che l'attenzione generalizzata (inclusi varianti softmax e lineari) si disperde man mano che il conteggio dei token si avvicina all'infinito, indipendentemente dalla specifica funzione di normalizzazione continua utilizzata.
Design di SEMA: Un nuovo meccanismo di attenzione che utilizza la localizzazione dei token per evitare la dispersione locale e la media aritmetica per approssimare teoricamente l'aspetto globale, offrendo un'alternativa scalabile all'attenzione lineare.
Validazione Empirica: Dimostrare che SEMA supera i recenti modelli vision Mamba (es. VMamba) e le baseline di attenzione lineare (MILA) nei benchmark standard, particolarmente all'aumentare della risoluzione delle immagini.

4. Risultati Sperimentali

4.1 Classificazione ImageNet-1K

Risoluzione Standard (224²): SEMA-T raggiunge l'83,7% di accuratezza Top-1, superando MILA-T (83,3%) e DefMamba (83,5%) con un numero di parametri simile (~26M).
Scalabilità (Risoluzioni Maggiori): I guadagni più significativi si osservano alle risoluzioni più elevate.
- A 1024², VMamba-T scende significativamente (74,7% senza fine-tuning, 83,4% con), mentre SEMA-T mantiene la robustezza (75,4% senza fine-tuning, 84,2% con fine-tuning).
- Il divario tra SEMA e VMamba si amplia al 7,3% a 1024² senza fine-tuning, indicando la superiore resilienza di SEMA all'aumento del numero di token.

4.2 Compiti Downstream

COCO (Segmentazione delle Istanze): Utilizzando Mask R-CNN, SEMA-T raggiunge prestazioni state-of-the-art o top-2 in tutti i parametri (AP, AP50, AP75) per entrambi gli schemi di addestramento 1x e 3x, superando MILA-T e VMamba-T.
ADE20K (Segmentazione Semantica): SEMA-T raggiunge 48,2 mIOU (scala singola), superando VMamba-T (47,9) e rimanendo competitivo negli scenari multi-scala.

4.3 Efficienza

Tempo di Inferenza: SEMA dimostra una scalabilità superiore nel tempo di esecuzione. Alla risoluzione 1024², SEMA è circa il 33% più veloce di MILA. A 2048², il miglioramento di velocità è ancora più pronunciato, confermando il vantaggio di complessità lineare della componente di media.

4.4 Studi di Ablazione

Proiezione del Valore: La rimozione del livello di proiezione del valore riduce l'accuratezza di circa lo 0,8%, evidenziandone l'importanza.
Componente di Media: A 224², il termine di media contribuisce minimamente (~0,2%). Tuttavia, all'aumentare della risoluzione a 672², il suo contributo cresce significativamente (+2,2% senza fine-tuning), validando l'affermazione teorica che la media diventa cruciale al crescere del numero di token e all'intensificarsi degli effetti di dispersione.

5. Significato e Rivendicazioni

Il documento afferma che SEMA offre una soluzione teoricamente fondata al problema della dispersione nell'attenzione lineare. Dimostrando che la dispersione è una proprietà intrinseca dell'attenzione globale nel limite, gli autori giustificano l'uso della media aritmetica come una valida approssimazione globale.

Il significato di SEMA risiede nella sua capacità di:

Scalare Efficacemente: Mantiene prestazioni ed efficienza all'aumentare della risoluzione delle immagini (e del numero di token), un punto debole noto degli attuali modelli di visione basati su Mamba.
Bilanciare Locale e Globale: Combina con successo il potere di focalizzazione dell'attenzione a finestra con il contesto globale della media, evitando il costo quadratico della piena attenzione e il focus "sfocato" della pura attenzione lineare.
Fornire un'Alternativa Robusta: Funge da alternativa scalabile ed efficiente per i compiti di visione artificiale, in particolare in scenari con input grandi o sequenze lunghe (es. imaging medico), dove il numero di token può raggiungere ordini di grandezza superiori rispetto alla classificazione di immagini standard.

Gli autori concludono che, sebbene la componente di media sia marginale alle risoluzioni standard, essa fornisce una "rete di sicurezza" critica e un incremento delle prestazioni nel regime di grandi numeri di token, rendendo SEMA una scelta robusta per architetture di visione scalabili.