Sintesi Tecnica: Attenzione Sparsa per la Predizione Open-Vocabulary Densa in CLIP

Definizione del Problema

Il Contrastive Language–Image Pre-training (CLIP) e le sue varianti su larga scala (ad esempio, EVA-CLIP, SigLIP) eccellono nella semantica globale a livello di immagine grazie ai loro obiettivi di addestramento contrastivo. Tuttavia, quando applicati a compiti di predizione densa come la segmentazione semantica o il recupero di regioni fine-grained, soffrono di una scarsa localizzazione spaziale. Il problema centrale risiede nel meccanismo di auto-attenzione con softmax densa utilizzato negli strati finali dell'encoder visivo.

La funzione softmax assegna una massa di probabilità strettamente positiva a ogni coppia di token, inclusi i token di background semanticamente irrilevanti. Sebbene efficace per raccogliere un contesto ampio durante il pre-addestramento, questa distribuzione "densa" distribuisce l'attenzione su token a bassa salienza, creando rumore che oscura gli indizi fini e spazialmente localizzati necessari per compiti a livello di pixel o di regione. I metodi esistenti che non richiedono addestramento (training-free) e che modificano la sorgente dell'attenzione (ad esempio, passando da query-key a auto-correlazione come $Q-Q$ o $V-V$) migliorano la localizzazione, ma non riescono ad affrontare il ruolo fondamentale del normalizzatore softmax nel distribuire globalmente la massa tra tutti i token.

Metodologia

Gli autori propongono una sostituzione a tempo di inferenza e senza addestramento del normalizzatore softmax riga per riga nei livelli finali dell'auto-attenzione visiva di un encoder CLIP congelato, utilizzando la trasformazione $\alpha$-entmax.

La Trasformazione $\alpha$-entmax

A differenza della softmax, che è la soluzione di un obiettivo regolarizzato dall'entropia di Shannon, $\alpha$-entmax è derivata da un regolarizzatore di entropia $\alpha$ di Tsallis ($\alpha \in (1, 2]$).

• Meccanismo: Applica una soglia $\tau$ dipendente dai dati ai punteggi di attenzione. I punteoli al di sotto di questa soglia vengono mappati esattamente a zero, mentre i punteggi rimanenti vengono rinormalizzati affinché la loro somma sia pari a uno.
• Effetto: Questo agisce come un denoiser implicito, azzerando le dipendenze contestualmente irrilevanti (la "coda lunga" dei token di background a bassa rilevanza) e ridistribuendo la massa di probabilità sui token più rilevanti.
• Parametri: Il metodo non introduce parametri apprendibili e non modifica l'architettura né i pesi pre-addestrati. Generalizza fluidamente la softmax (recuperandola quando $\alpha \to 1$).

Configurazione Sperimentale

Lo studio valuta questa sostituzione attraverso due compiti principali:

1. Segmentazione Semantica Densa: Predizione a livello di pixel su Pascal VOC, Pascal Context e ADE20K.
2. Rilevamento Open-Vocabulary Fine-Grained (FG-OVD): Riconoscimento a livello di regione focalizzato sulla discriminazione degli attributi (colore, materiale, pattern).

Gli autori testano varie sorgenti di punteggio di attenzione:

• Standard ($QK^\top$): Attenzione query-key nativa.
• Auto-correlazione ($SS^\top$): Sostituzione del prodotto query-key con prodotti auto-correlativi di Query ($Q$), Key ($K$) o Value ($V$) (ad esempio, $Q-Q$, $K-K$, $V-V$ e le loro combinazioni).

Gli esperimenti sono condotti su backbone CLIP ViT-B/16 e ViT-L/14 congelati.

Contributi Chiave

1. Sparsificazione Senza Addestramento: Il paper valuta empiricamente la sostituzione della softmax con $\alpha$-entmax negli strati finali degli encoder CLIP congelati, isolando la densità dell'attenzione come singola variabile senza modificare l'architettura o i pesi del modello.
2. Analisi della Sparsità dell'Attenzione: Gli autori stabiliscono un risultato centrale: il guadagno di performance dalla sparsificazione è proporzionale alla diffusività dell'attenzione di base.
   • Se l'attenzione di base è già concentrata sulla classe target, l'entmax offre poco beneficio o può degradare le prestazioni scartando massa utile.
   • Se l'attenzione di base è diffusa (distribuendo la massa su token non appartenenti alla classe), l'entmax migliora significativamente le prestazioni potando la coda irrilevante.
3. Risoluzione e Scalabilità del Backbone: Lo studio dimostra che i benefici della sparsificazione aumentano con risoluzioni di input più elevate e backbone più grandi (ad esempio, ViT-L/14), poiché queste condizioni aumentano il numero di token e l'estensione della "coda rumorosa" che l'entmax può eliminare.

Risultati

La valutazione rivela comportamenti distinti attraverso diverse distribuzioni di attenzione:

• Auto-correlazione + Entmax: La combinazione di attenzione di auto-correlazione (ad esempio, $Q-Q$, $K-K$, $V-V$) con $\alpha$-entmax produce guadagni consistenti e significativi.
  • Su ADE20K (ViT-B/16, $Q-Q$), l'mIoU è migliorato da 5.69 a 12.90.
  • Su FG-OVD (ViT-B/16, $Q-Q$), l'mHME è migliorato da 9.96 a 17.50.
  • I guadagni sono monotoni attraverso dataset e scale del modello.
• Attenzione Standard $QK$: Sebbene l'entmax migliori l'attenzione $QK$ standard, i punteggi assoluti rimangono inferiori rispetto ai metodi di auto-correlazione. Ciò accade perché l'attenzione $QK$ standard è per natura globalmente diffusa; l'entmax può solo ridurre la coda di una distribuzione già rumorosa, ma l'operatore di raggruppamento sottostante rimane subottimale per la localizzazione.
• Anomalia del Solo Valore ($V-V$): Sul backbone più piccolo ViT-B/16, la distribuzione $V-V$ concentra già bene la massa sui token rilevanti. L'applicazione dell'entmax qui degrada le prestazioni (ad esempio, -2.8 mIoU su VOC) perché la soglia scarta massa utile. Tuttavia, sul modello più diffuso ViT-L/14, il $V-V$ beneficia dell'entmax, confermando l'ipotesi del "guadagno proporzionale alla diffusività".
• Scalabilità della Risoluzione: All'aumentare della risoluzione (224 $\to$ 448), il divario tra softmax ed entmax si amplia monotonicamente per le distribuzioni di auto-correlazione, poiché l'aumento del numero di token espande la coda rumorosa che l'entmax rimuove.

Significato e Rivendicazioni

Il paper sostiene che la sparsità dell'attenzione è un fattore rilevante, sebbene ampiamente trascurato, nel risolvere i limiti di CLIP per la predizione densa.

• Denoising vs. Sparsificazione: Gli autori sottolineano che il beneficio non deriva semplicemente dal rendere la distribuzione sparsa, ma dalla rimozione del rumore consapevole del contenuto. Una maschera casuale con lo stesso livello di sparsità non produce guadagni simili; la specifica soglia dipendente dai dati dell'entmax è cruciale per identificare e azzerare i token irrilevanti.
• Separazione delle Variabili: Mantenendo l'architettura congelata e cambiando solo il normalizzatore, lo studio separa l'effetto della sorgente dello score (ad esempio, $QK$ vs. $VV$) dalla funzione di normalizzazione (softmax vs. entmax). Ciò chiarisce che, sebbene l'auto-correlazione migliori la localizzazione, il normalizzatore softmax continua a distribuire la massa globalmente, e l'entmax è necessario per realizzare appieno il potenziale delle caratteristiche localizzate.
• Ambito Modesto: Gli autori posizionano questo lavoro come un'analisi sistematica piuttosto che come un nuovo processo di addestramento allo stato dell'arte. Il metodo è strettamente a tempo di inferenza e senza addestramento, progettato per spiegare dove e perché la sparsificazione dell'attenzione aiuti, piuttosto che proporre un nuovo paradigma di addestramento.