SVD-ViT: Does SVD Make Vision Transformers Attend More to the Foreground?

Riassunto Tecnico: SVD-ViT

1. Il Problema: Mancanza di Inductive Bias per la Separazione Foreground/Background

I Vision Transformers (ViT) sono modelli fondamentali nel campo della computer vision, ma presentano un limite strutturale: il meccanismo di self-attention opera globalmente tra tutti i patch dell'immagine. A differenza delle CNN, i ViT mancano di un "bias induttivo" esplicito che permetta di distinguere facilmente tra l'oggetto principale (foreground) e lo sfondo (background).

Questa mancanza porta a due problemi principali:

• Contaminazione da rumore: Il token di classificazione [CLS] può aggregare caratteristiche irrilevanti provenienti dallo sfondo, degradando l'accuratezza.
• Presenza di artefatti: Nelle profondità della rete, emergono spesso "token ad alta norma" (artefatti) che non contengono informazioni semantiche ma influenzano negativamente l'attenzione e l'aggregazione delle feature.

2. Metodologia: L'integrazione della SVD nel processo di estrazione

Gli autori ipotizzano che la Singular Value Decomposition (SVD) possa fungere da meccanismo di separazione: poiché la SVD concentra la varianza di una matrice nei suoi valori singolari principali, e assumendo che il foreground presenti una varianza maggiore nello spazio delle feature rispetto al background, la SVD può essere usata per isolare le informazioni dell'oggetto.

Il metodo proposto, SVD-ViT, introduce tre componenti chiave:

• Modulo SPC (Spatial Principal Components): Invece di affidarsi solo al token [CLS] tradizionale, il modulo SPC utilizza la SVD randomizzata (RSVD) per estrarre i vettori singolari sinistri principali dalle feature intermedie. Questi vettori catturano le direzioni spaziali dominanti (il foreground). Viene quindi generato un nuovo token, il [SPC] token, che funge da aggregatore di informazioni focalizzato sull'oggetto, sostituendo o integrando il [CLS].
• SSVA (Spatial Singular Value Aggregator): Poiché i componenti con la varianza più alta non sono sempre quelli più utili per la classificazione (specialmente in compiti fine-grained), l'SSVA è un modulo plugin che seleziona e aggrega dinamicamente i vettori singolari estratti. Utilizza pesi apprendibili per miscelare i componenti in base all'input specifico, creando una base di token [SPC] più robusta e task-specific.
• ID-RSVD (Input-Dependent Randomized SVD): La RSVD standard utilizza una matrice di proiezione casuale fissa. L'ID-RSVD rende questo processo "input-dipendente" e apprendibile. Genera una matrice di sketching basata sulle feature correnti, permettendo alla rete di cercare attivamente sottospazi che siano discriminativi per il compito, riducendo l'impatto di rumore e artefatti.

3. Contributi Chiave

1. Nuova prospettiva sull'uso della SVD: Mentre la SVD è stata usata in precedenza principalmente per la compressione dei pesi (modelli statici), questo lavoro la applica alle feature map dinamiche durante l'inferenza per l'analisi spettrale dello spazio delle feature.
2. Architettura SVD-ViT: Un nuovo framework che integra la decomposizione spettrale direttamente nel flusso di estrazione delle feature per enfatizzare il foreground.
3. Analisi Spettrale delle Feature: Dimostrazione empirica che i vettori singolari principali dei ViT corrispondono effettivamente alle regioni del foreground, fornendo una base teorica per l'approccio proposto.

4. Risultati Sperimentali

Il modello è stato testato su cinque dataset (CUB-200-2011, FGVC-Aircraft, Stanford Cars, Food-101 e CIFAR-100).

• Miglioramento dell'accuratezza: SVD-ViT supera costantemente il baseline ViT in tutti i dataset.
• Performance su compiti Fine-Grained: I guadagni più significativi si sono osservati su dataset complessi come CUB-200-2011 (+2.52 punti) e FGVC-Aircraft (+2.82 punti).
• Efficacia della profondità: Gli esperimenti indicano che inserire il modulo SPC negli strati più profondi della rete (es. Layer 10 o 11) è più efficace rispetto agli strati iniziali, poiché in quelle fasi le feature sono più astratte e semantiche.
• Qualitativo: Le visualizzazioni confermano che, rispetto al ViT standard, SVD-ViT sopprime i picchi di attivazione isolati (artefatti) a favore di strutture continue che seguono la forma dell'oggetto.

5. Significato e Conclusioni

Il lavoro dimostra che è possibile migliorare la robustezza dei Vision Transformers contro il rumore di fondo non attraverso modifiche alla struttura dell'attenzione, ma attraverso una ri-parametrizzazione delle feature tramite analisi spettrale. L'approccio SVD-ViT offre un nuovo modo di interpretare e manipolare le rappresentazioni visive, suggerendo che la gestione della varianza nello spazio delle feature sia fondamentale per ottenere modelli di visione più precisi e focalizzati sugli oggetti di interesse.