Vision Transformers Need Better Token Interaction

Riepilogo Tecnico: I Vision Transformers necessitano di un'interazione tra token più efficace

Enunciato del Problema
I Vision Transformers (ViT) sono rinomati per l'apprendimento di rappresentazioni a livello di immagine robuste, tuttavia le loro rappresentazioni a livello di patch spesso si degradano durante l'addestramento prolungato, diventando meno efficaci per compiti di previsione densa come la segmentazione semantica e la stima della profondità. Sebbene ricerche precedenti abbiano attribuito questa "degradazione densa" ad artefatti ad alta norma o a token outlier, questo articolo sostiene che tali elementi siano sintomi e non la causa radice. Gli autori identificano il problema centrale come diffusione semantica: una scorciatoia di ottimizzazione in cui le informazioni semantiche globali si diffondono indiscriminatamente attraverso i token delle patch oltre quanto giustificato localmente. Questo fenomeno permette al modello di migliorare il riconoscimento globale sfruttando interazioni tra token illimitate, ma a scapito della degradazione della struttura spaziale necessaria per i compiti densi.

Metodologia
Gli autori propongono che la soluzione non consista nell'eliminare il contesto globale o nel sopprimere completamente i token di sfondo, ma nel rendere le interazioni tra token più selettive. Introducono l'attenzione sparsa come intervento minimo per modificare la geometria dell'attenzione.

• Meccanismo: Il meccanismo standard di attenzione softmax viene sostituito con entmax-1.5. A differenza di softmax, che produce distribuzioni di probabilità dense, entmax-1.5 è una mappatura di probabilità sparsa che può assegnare pesi esattamente zero alle interazioni a bassa utilità.
• Implementazione: Il metodo preserva la connettività globale dei token (a differenza dell'attenzione a finestra locale) e non introduce parametri aggiuntivi, token registro o rami di elaborazione separati (a differenza degli approcci basati su specializzazione o registro).
• Ipotesi: Incoraggiando distribuzioni di attenzione sparse, il modello è costretto a essere più selettivo nel suo mixing di token. Questo riduce la "scorciatoia di ottimizzazione" della diffusione semantica, impedendo che le patch di sfondo semanticamente irrilevanti diluiscano la struttura locale delle patch di primo piano, mantenendo al contempo la capacità di catturare la semantica globale.

Contributi Chiave

1. Riformulazione della Degradazione Densa: L'articolo caratterizza la degradazione densa non semplicemente come un problema di artefatti, ma come una conseguenza della diffusione semantica, una scorciatoia di ottimizzazione in cui le semantica globali si diffondono nei token delle patch in modo localmente incoerente.
2. Analisi dei Ruoli dei Token: Attraverso l'analisi Point-in-Box (PiB) e il probing a livello di strato, gli autori dimostrano che, sebbene gli strati superficiali mantengano un migliore allineamento spaziale (PiB più alto), mancano della ricchezza semantica degli strati più profondi. Crucialmente, mostrano che il token [CLS] conserva informazioni globali complementari che, quando concatenate alle caratteristiche delle patch, aiutano significativamente la previsione densa, suggerendo che il contesto globale dovrebbe essere preservato ma meglio gestito.
3. Intervento Minimo: L'articolo introduce un semplice cambiamento architetturale — lo scambio di softmax con entmax-1.5 — che agisce come un bias rappresentazionale verso un'interazione tra token selettiva senza richiedere supervisione aggiuntiva, modelli insegnante o modifiche architetturali complesse.

Risultati Sperimentali
Il metodo è stato valutato su modelli DINOv1 ViT-S/16 addestrati per 200 epoche su ImageNet-1K. I risultati indicano che l'attenzione sparsa migliora le rappresentazioni dense senza sacrificare il riconoscimento globale:

• Riconoscimento a Livello di Immagine: La variante Entmax-1.5 ha raggiunto una precisione Top-1 del 70,06% nel probing lineare su ImageNet, superando leggermente la baseline CLS (69,50%) e altre varianti come Register-4 e Specialization.
• Segmentazione Semantica: I guadagni più significativi sono stati osservati qui. Rispetto alla baseline CLS, Entmax-1.5 ha migliorato:
  • VOC mIoU: da 42,80 a 48,78 (+5,98).
  • ADE20K mIoU: da 19,85 a 21,97 (+2,12).
  • Cityscapes mIoU: da 36,79 a 37,87 (+1,08).
  • Ha superato sia Register-4 che la specializzazione CLS/patch su tutti e tre i benchmark di segmentazione.
• Stima della Profondità: I miglioramenti sono stati più moderati ma coerenti sui benchmark NYUv2, SUN RGB-D e KITTI (riducendo l'RMSE di 0,004–0,005). Gli autori notano che il protocollo di probing della profondità di base concatena già [CLS] e caratteristiche delle patch, il che potrebbe compensare parzialmente la diffusione semantica, rendendo più difficili da ottenere i guadagni.
• Analisi Qualitativa: Le visualizzazioni PCA delle caratteristiche delle patch hanno mostrato che Entmax-1.5 produce mappe di caratteristiche più pulite e spazialmente coerenti, con una migliore separazione tra regioni di primo piano e sfondo rispetto alle baseline.

Significato e Affermazioni
L'articolo afferma che il mixing selettivo dei token è un bias semplice ed efficace per migliorare le rappresentazioni ViT dense. Il significato risiede nel dimostrare che l'obiettivo della previsione densa non è rimuovere il contesto globale, ma rifinire come i token interagiscono con esso. Sostituendo softmax con entmax-1.5, gli autori mostrano che una modifica leggera alla normalizzazione dell'attenzione può mitigare la diffusione semantica, portando a miglioramenti sostanziali nella segmentazione semantica mentre si mantiene o si migliora leggermente il riconoscimento a livello di immagine.

Gli autori rimangono modesti riguardo alle loro affermazioni, notando che questo studio è limitato a DINOv1 ViT-S/16 e non ha ancora valutato backbones più grandi o programmi di pre-addestramento più lunghi. Posizionano l'attenzione sparsa non come un'architettura finale definitiva, ma come evidenza a supporto del principio più ampio secondo cui rendere le interazioni tra token più selettive è un percorso praticabile per risolvere la degradazione densa.