Riepilogo Tecnico: Induzione della Località Spaziale nei Vision Transformers attraverso il Protocollo di Addestramento

Enunciato del Problema

I Vision Transformers (ViT) hanno raggiunto prestazioni competitive nella classificazione di immagini, ma differiscono fondamentalmente dalle Reti Neurali Convoluzionali (CNN) nelle loro bias induttivi. Mentre le CNN incorporano esplicitamente la località spaziale attraverso convoluzioni e campi ricettivi limitati, i ViT utilizzano l'attenzione globale self-attention, permettendo a ogni token di prestare attenzione a ogni altro token senza restrizioni spaziali. Sebbene questa flessibilità consenta di catturare dipendenze a lungo raggio, rende necessario che il modello apprenda a prestare attenzione localmente se tale comportamento è vantaggioso per il compito.

Il lavoro precedente di Raghu et al. [12] ha dimostrato che la località nei primi strati dei ViT emerge principalmente attraverso un pre-addestramento su larga scala (ad esempio su JFT-300M) o quando la capacità del modello è bassa rispetto alla dimensione dei dati. Tuttavia, rimane incerto se il protocollo di addestramento stesso—specificamente le tecniche di augmentazione e regolarizzazione applicate durante l'addestramento da zero—possa indurre località spaziale su dataset di scala moderata (50.000–100.000 immagini) senza la necessità di un pre-addestramento massiccio.

Metodologia

Gli autori hanno progettato un esperimento controllato per isolare gli effetti dei protocolli di addestramento sulla struttura interna dell'attenzione dei ViT.

Configurazione Sperimentale

• Architettura: Un ViT compatto (Profondità $L=8$, Dimensione dell'embedding $D=192$, 8 teste, $\approx$2,4M parametri) addestrato da zero. Il dropout interno è stato impostato a 0,0 per garantire che qualsiasi effetto osservato fosse attribuibile esclusivamente al protocollo di addestramento e non alla regolarizzazione stocastica all'interno della rete.
• Dataset: Sono stati utilizzati tre dataset di complessità crescente: CIFAR-10, CIFAR-100 e Tiny-ImageNet. Per garantire la comparabilità delle metriche spaziali, tutte le immagini sono state elaborate in $N_p=64$ patch (una griglia $8 \times 8$).
• Protocolli:
  • Baseline: Augmentazione minima (Crop Casuale, Flip Orizzontale Casuale) e perdita CrossEntropy standard.
  • Moderno: Incorpora tre componenti standard nell'addestramento efficiente dei Transformer: AutoAugment (o ColorJitter per Tiny-ImageNet), CutMix e Label Smoothing.
• Metriche: Lo studio caratterizza i pattern di attenzione utilizzando due metriche per testa:
  1. Distanza Media dell'Attenzione (MAD): Quantifica la distanza spaziale media dei token a cui viene prestata attenzione. Valori più bassi indicano attenzione locale.
  2. Entropia dell'Attenzione Normalizzata: Misura la concentrazione della distribuzione dell'attenzione. Valori più bassi indicano un'attenzione concentrata su pochi token.

Studio di Ablazione

Per identificare il driver specifico della località, è stato condotto uno studio di ablation sistematico su CIFAR-100. Questo ha comportato:

1. La rimozione dei singoli componenti dal protocollo Moderno.
2. L'aggiunta dei singoli componenti al protocollo Baseline.
   Questo disegno ha coperto tutte le otto combinazioni possibili dei tre componenti (AutoAugment, CutMix, Label Smoothing).

Risultati Chiave

1. Confronto dei Protocolli

Su tutti e tre i dataset, il protocollo Moderno ha prodotto costantemente un'attenzione più locale e concentrata nei primi strati rispetto alla Baseline.

• CIFAR-100: L'effetto è stato il più pronunciato. La MAD minima è scesa da 0,316 (Baseline) a 0,008 (Moderno).
• Spazio Comportamentale: Nello spazio MAD-Entropia, il protocollo Baseline ha mostrato una distribuzione uniforme delle teste nella regione ad alta distanza e alta entropia (attenzione globale e diffusa). Il protocollo Moderno ha indotto una traiettoria in cui i primi strati si sono spostati verso la regione a bassa distanza e bassa entropia (locale e concentrata), mimando la struttura gerarchica delle CNN prima di convergere verso un'attenzione globale negli strati più profondi.

2. Risultati dell'Ablazione

Lo studio di ablation ha identificato CutMix come l'unico fattore determinante per l'emergere della località spaziale.

• Separazione Binaria: Tutte le condizioni contenenti CutMix (Moderno, $-$AutoAugment, $-$Label Smoothing, $+$CutMix) hanno esibito una MAD minima $\le 0,024$. Al contrario, tutte le condizioni senza CutMix (Baseline, $-$CutMix, $+$AutoAugment, $+$Label Smoothing) sono rimaste a MAD $\ge 0,210$.
• Indipendenza degli Altri Componenti: AutoAugment e Label Smoothing non hanno mostrato alcun effetto indipendente sulla località. L'aggiunta di solo AutoAugment o Label Smoothing alla Baseline ha portato a valori MAD quasi identici alla Baseline.
• Accuratezza vs. Località: Sia CutMix che AutoAugment hanno migliorato l'accuratezza di test con margini comparabili rispetto alla Baseline ($\approx$6–7 punti percentuali). Tuttavia, solo CutMix ha alterato la geometria dell'attenzione per indurre località.

Significato e Affermazioni

Il documento afferma di dimostrare che i protocolli di addestramento possono indurre località spaziale nei Vision Transformers addestrati da zero su dataset di scala moderata, sfidando la nozione che tale comportamento richieda pre-addestramento su scala massiva o vincoli architetturali specifici.

• Meccanismo: Gli autori ipotizzano che CutMix induca località costringendo il modello a classificare correttamente utilizzando solo regioni parziali dell'immagine. Questa pressione incentiva i primi strati a estrarre informazioni discriminative dai vicinati locali, creando efficacemente un bias induttivo simile a quello delle CNN.
• Distinzione dal Lavoro Precedente: Mentre Raghu et al. [12] hanno stabilito la scala dei dati come un fattore critico per la località, questo lavoro identifica la pressione a classificare da regioni parziali (tramite CutMix) come un fattore alternativo e sufficiente.
• Insight Strutturale: Lo studio evidenzia che i miglioramenti nell'accuratezza di classificazione non sono necessariamente correlati a cambiamenti nella struttura interna dell'attenzione. Tecniche come AutoAugment e CutMix possono produrre guadagni di accuratezza simili ma operano attraverso meccanismi interni fondamentalmente diversi (aumento della diversità degli input vs. induzione dell'estrazione di caratteristiche locali).

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Gli esperimenti sono stati condotti su una singola architettura compatta; la generalizzazione a modelli più grandi (ad esempio ViT-B, ViT-L) richiede validazione.
• Lo studio ha utilizzato un singolo seed di inizializzazione.
• Lo studio di ablation è stato eseguito esclusivamente su CIFAR-100.
• Le dinamiche temporali di quando emerge la località durante l'addestramento non sono state analizzate.

Il lavoro futuro proposto include la validazione multi-seed, la replica su altri dataset, l'estensione ad architetture più grandi e l'analisi temporale dell'emergere della località.