Riepilogo Tecnico: Nuclei di Attenzione Elastici per Vision Transformer Scalabili

Enunciato del Problema

I Vision Transformer (ViT) hanno raggiunto una forte scalabilità guidata dai dati sfruttando l'attenzione self-alla-all-to-all, che consente campi ricettivi globali e un apprendimento flessibile delle rappresentazioni. Tuttavia, questa flessibilità comporta un costo computazionale che scala quadraticamente ($O(N^2)$) con la risoluzione dell'immagine, dove $N$ è il numero di patch dell'immagine. Questa scalatura quadratica diventa proibitiva nei domini ad alta risoluzione, limitando l'applicabilità dei ViT standard.

L'assunzione prevalente nella progettazione dei ViT è che le interazioni dense e a coppie tra token siano necessarie per apprendere rappresentazioni visivo-semantiche ricche. Questo lavoro sfida tale assunzione, ipotizzando che rappresentazioni visive efficaci possano essere apprese senza interazioni dirette tra patch.

Metodologia: VECA (Visual Elastic Core Attention)

Gli autori propongono VECA, un'architettura di vision transformer che sostituisce l'attenzione self-alla-all standard con un meccanismo di attenzione a nucleo e periferia block-sparse.

Architettura di Base

• Struttura Nucleo-Periferia: L'architettura introduce un piccolo insieme appreso di $C$ token "nucleo" che fungono da interfaccia di comunicazione. Le patch dell'immagine formano la "periferia".
• Meccanismo di Interazione:
  • Token Nucleo: Formano un clique completamente connesso, prestando attenzione a tutti gli altri token nucleo e a tutti i token patch.
  • Token Patch: Prestano attenzione solo ai token nucleo attivi. Non prestano attenzione direttamente ad altri token patch.
  • Flusso di Informazioni: Tutto lo scambio di informazioni tra le patch è instradato esclusivamente attraverso i token nucleo.
• Complessità: Il costo dell'attenzione viene ridotto da $O(N^2)$ a $O(2NC + C^2)$. Per un numero di nuclei predeterminato $C$ (dove $C \ll N$), la complessità scala linearmente ($O(N)$) con la risoluzione dell'immagine.
• Dinamiche Spaziali: I token nucleo sono inizializzati con coordinate 2D apprendibili e vengono aggiornati attraverso i livelli tramite una testa di coordinate leggera. Utilizzano una Codifica Posizionale Rotazionale (RoPE) assiale 2D, permettendo loro di mantenere sia rappresentazioni semantiche che posizioni spaziali in evoluzione.

Addestramento e Inferenza Elastica

• Nested Dropout: Durante l'addestramento, il modello impiega un dropout annidato sulla banca ordinata di token nucleo. Il modello viene addestrato con un budget variabile di nuclei attivi ($C$), campionato da una distribuzione.
• Classifica Implicita: Questa procedura classifica implicitamente i token nucleo in base alla loro importanza. I nuclei iniziali sono attivi su tutti i budget e imparano a codificare le informazioni visive più essenziali e ampiamente utili. I nuclei successivi si specializzano in dettagli spaziali più fini o concetti semantici specifici.
• Flessibilità di Inferenza: Al momento del test, il numero di nuclei attivi può essere regolato senza riaddestramento. Questo consente un compromesso elastico tra costo computazionale (velocità) e accuratezza. Ridurre $C$ produce mappe di attenzione più grezze ma con FLOPs significativamente inferiori.

Obiettivo di Addestramento

Il modello viene addestrato utilizzando la distillazione di caratteristiche da un insegnante DINOv3 congelato. La funzione di perdita allinea sia le rappresentazioni globali dell'immagine (dal primo token nucleo) che le rappresentazioni dense delle patch con gli obiettivi dell'insegnante, utilizzando immagini non etichettate di Objects365.

Contributi Chiave

1. Architettura VECA: Un backbone visivo che sostituisce l'attenzione self-alla-all quadratica con un'attenzione a nucleo e periferia a tempo lineare in ogni livello, forzando le interazioni tra token attraverso un collo di bottiglia invariante alla risoluzione.
2. Prestazioni vs Costo: La valutazione su compiti di classificazione e spaziali densi dimostra che VECA raggiunge prestazioni competitive con i modelli fondazionali all'avanguardia (in particolare DINOv3) riducendo significativamente il costo computazionale.
   • Classificazione: Alla dimensione ViT-Base, VECA raggiunge un'accuratezza Top-1 del 81,93% su ImageNet-1k, entro circa l'1,6% di DINOv3 (83,56%), nonostante utilizzi solo una frazione delle interazioni di attenzione.
   • Predizione Densa: Sul benchmark di segmentazione PASCAL Context, VECA raggiunge un mIoU di 57,46 rispetto ai 57,74 mIoU di DINOv3, nonostante abbia l'87,1% in meno di interazioni di attenzione per livello.
3. Comportamenti Emergenti: Gli autori identificano che i token nucleo sviluppano rappresentazioni centrate sugli oggetti e evolvono da distribuzioni isotrope (sferiche) nei livelli iniziali a strutture semanticamente raggruppate nei livelli più profondi, nonostante non vi sia alcuna supervisione esplicita per tale comportamento.

Risultati

• Scalabilità: VECA mantiene prestazioni stabili su diverse risoluzioni di input (da 256px a 1024px), mentre i ViT standard soffrono di una crescita quadratica dei FLOP. VECA mostra una scalatura lineare nei FLOP e nella latenza all'aumentare della risoluzione.
• Elasticità: Il modello può scambiare elasticamente accuratezza per velocità. Ad esempio, ridurre il budget dei nuclei da $C=64$ a $C=8$ mantiene prestazioni significative (ad esempio, >96% delle prestazioni del modello completo sulla classificazione) tagliando drasticamente il calcolo.
• Caratteristiche Dense: Le visualizzazioni (UMAP) confermano che VECA produce caratteristiche dense stabili e di alta qualità che rimangono robuste a risoluzioni più elevate, paragonabili a DINOv3.

Significato e Affermazioni

Il lavoro afferma che l'attenzione self-alla-all diretta tra patch non è strettamente necessaria per apprendere rappresentazioni visive dense di alta qualità. Instradando le informazioni attraverso un insieme compatto di token nucleo appresi, VECA stabilisce l'attenzione elastica a nucleo e periferia come un blocco costitutivo scalabile alternativo per i Vision Transformer.

Il lavoro suggerisce che la flessibilità dell'attenzione all-to-all può essere sostituita da un'interfaccia strutturata a tempo lineare che preserva l'allineamento spaziale e la qualità delle caratteristiche dense. Questo offre una strada promettente per il dispiegamento dei Vision Transformer in domini ad alta risoluzione dove l'efficienza computazionale è critica, consentendo ai modelli di adattare dinamicamente il costo di inferenza in base alle risorse disponibili o ai requisiti del compito.