Vision Transformers Need More Than Registers

Questo lavoro dimostra che gli artefatti nei Vision Transformers derivano da un comportamento di aggregazione pigro che sfrutta patch di sfondo irrilevanti come scorciatoie semantiche, e propone una soluzione che integra selettivamente le caratteristiche delle patch nel token CLS per migliorare le prestazioni su diversi compiti di supervisione.

L'essenziale

Immagina di avere un detective molto intelligente (il Vision Transformer, o ViT) il cui lavoro è guardare una foto e dire: "Cosa c'è in questa immagine?".

Finora, questo detective aveva un problema strano: quando doveva descrivere la scena, invece di concentrarsi sul protagonista (ad esempio, un cane), si distruggeva guardando lo sfondo (l'erba, il cielo, i muri). Peggio ancora, quando gli chiedevano di indicare dove era il cane, il detective puntava il dito verso l'erba, dicendo: "Ah, sì, è qui che ho visto il cane!".

Questo comportamento è chiamato "aggregazione pigra" (lazy aggregation). Il detective ha preso una scorciatoia: invece di studiare attentamente il cane, ha detto: "Ok, c'è un cane, quindi tutto ciò che è nella foto è legato al cane". È come se, per vincere una gara di chi sa di più sugli animali, tu iniziassi a urlare "CANE!" ogni volta che vedi un prato, sperando che il giudice pensi che tu sia un esperto.

Il Problema: La "Scorciatoia" dello Sfondo

Gli scienziati hanno scoperto che questo succede perché il detective è stato addestrato in modo un po' "fatto in casa". Gli hanno detto: "Guarda la foto e indovina l'animale", ma non gli hanno detto dove guardare.
Così, il detective ha imparato che è più facile guardare lo sfondo (che è ovunque) e dire "Ecco, c'è tutto qui dentro", piuttosto che concentrarsi sul soggetto specifico. Questo crea dei difetti (artifacts): la mappa mentale del detective è piena di "punti caldi" (segnali forti) sullo sfondo, che non dovrebbero esserci.

La Soluzione: "LazyStrike" (Il Colpo alla Pigrizia)

Gli autori di questo paper hanno creato un nuovo metodo chiamato LaSt-ViT (LazyStrike ViT), che possiamo immaginare come un allenatore severo che corregge il detective.

Ecco come funziona, con una metafora semplice:

1. Il Problema della Frequenza: Immagina che ogni pezzo della foto (ogni "patch") sia una nota musicale. Lo sfondo è spesso rumoroso e caotico (molte frequenze diverse), mentre il soggetto principale (il cane) è più stabile e coerente.
2. Il Filtro Magico: Il nuovo metodo usa un trucco matematico (una trasformata di Fourier) per ascoltare queste "note". Chiede: "Quale pezzo della foto rimane stabile e coerente, senza fare rumore inutile?".
3. La Selezione: Invece di ascoltare tutti i pezzi della foto (incluso il rumore dello sfondo), l'allenatore dice al detective: "Ignora il rumore! Concentrati solo sulle note stabili che appartengono al cane".
4. Il Risultato: Il detective smette di guardare l'erba e inizia a guardare davvero il cane. La sua mappa mentale diventa pulita: i punti caldi sono solo sul cane, non sullo sfondo.

Perché è importante?

Prima di questo lavoro, c'era un'altra soluzione proposta da altri ricercatori: aggiungere dei "registri" (come dei post-it) per salvare le informazioni globali. Ma gli autori dicono: "Basta con i post-it! Il problema è più profondo". Non serve aggiungere note, serve insegnare al detective a non essere pigro fin dall'inizio.

Grazie a LazyStrike:

• Il detective funziona meglio in 12 diverse prove (dalla ricerca di oggetti nascosti alla descrizione di immagini con le parole).
• Funziona sia quando è addestrato con etichette precise (supervisione), sia quando impara da solo guardando milioni di foto (auto-supervisione).
• Risolve il mistero del perché i modelli moderni a volte "vedono cose che non ci sono" o puntano il dito nel posto sbagliato.

In sintesi

Questo paper ci dice che i modelli di intelligenza artificiale per le immagini sono diventati molto bravi a riconoscere le cose, ma a volte sono troppo pigri: usano lo sfondo come scusa per non guardare davvero l'oggetto.
Con LazyStrike, abbiamo insegnato loro a smettere di prendere scorciatoie, a filtrare il "rumore" e a concentrarsi su ciò che conta davvero. È come passare da un detective distratto che indovina a caso, a un detective professionista che osserva attentamente ogni dettaglio.

Sommario tecnico

1. Il Problema: Artefatti e Aggregazione "Pigra" nei ViT

Nonostante i Vision Transformers (ViT) siano diventati lo standard de facto per il riconoscimento delle immagini e offrano rappresentazioni generali per compiti downstream, recenti studi hanno evidenziato la presenza di artefatti nelle loro mappe di attenzione e nelle feature dense. Questi problemi si manifestano in diverse modalità di supervisione (supervisionata, auto-supervisionata e supervisionata da testo).

• Osservazione Chiave: I ViT tendono ad assegnare punteggi di attenzione elevati (o "token ad alta norma") a patch di sfondo semanticamente irrilevanti, invece di concentrarsi sugli oggetti in primo piano.
• La Causa Radice: Gli autori identificano un comportamento fondamentale chiamato "aggregazione pigra" (lazy aggregation).
  • A causa della supervisione semantica a grana grossa (etichette a livello di immagine, non a livello di patch) e della capacità dei ViT di modellare dipendenze globali (attenzione a lungo raggio), il modello trova una "scorciatoia" ottimizzazione.
  • Invece di apprendere una rappresentazione densa e precisa dell'oggetto, il token CLS (che rappresenta la semantica globale) impara ad aggregare informazioni dalle vaste regioni di sfondo, che sono numericamente dominanti nelle immagini naturali. Questo permette di ottenere un'alta accuratezza di classificazione a livello di immagine, ma fallisce nell'allineamento semantico a livello di patch.
• Limiti delle Soluzioni Esistenti: Metodi precedenti come l'introduzione di "Register" (token aggiuntivi per assorbire le feature globali) mitigano solo i sintomi (es. i token ad alta norma) senza risolvere la causa sottostante, ovvero la tendenza del modello a diffondere la semantica del primo piano sullo sfondo.

2. Metodologia: Analisi e Soluzione LaSt-ViT

Analisi e Nuove Metriche

Per quantificare e analizzare il problema, gli autori introducono due metriche unificate:

1. Patch Score: La similarità tra le feature di ogni patch e il token CLS globale. Un alto punteggio indica che la patch è fortemente allineata con la semantica globale dell'immagine.
2. Point-in-Box (PiB): Una metrica che misura la percentuale di immagini in cui la patch con il punteggio più alto cade all'interno del bounding box dell'oggetto annotato.
   • Risultato dell'analisi: I ViT mostrano un PiB basso (spesso < 50%), indicando che le patch con punteggio più alto sono spesso sullo sfondo. Inoltre, mascherare le patch ad alto punteggio non degrada l'accuratezza di classificazione, confermando che il modello si affida allo sfondo.

La Soluzione: LaSt-ViT (LazyStrike ViT)

Gli autori propongono LaSt-ViT, un metodo semplice ma efficace per eliminare l'aggregazione pigra durante il pre-addestramento, senza richiedere modifiche architetturali complesse o fine-tuning post-hoc.

• Concetto Fondamentale: Il metodo si basa sull'idea che le feature del primo piano siano semanticamente più omogenee e stabili rispetto allo sfondo, che è più diversificato.
• Meccanismo di Funzionamento:
  1. Stability Score: Viene calcolato un punteggio di stabilità per ogni token (patch) applicando un filtro passa-basso (tramite trasformata di Fourier 1D lungo la dimensione dei canali) alle feature. Le patch che rimangono stabili dopo il filtraggio (tipicamente quelle del primo piano) ricevono un punteggio di stabilità più alto.
  2. Aggregazione Selettiva: Invece di una media globale semplice, il token CLS viene aggiornato selezionando e aggregando solo i K token più stabili per ciascun canale.
  3. Voto: Ogni patch riceve un "voto" basato su quante volte è stata selezionata come stabile tra tutti i canali.
• Risultato: Questo meccanismo forza il token CLS ad ancorarsi alle regioni del primo piano, riducendo l'influenza delle scorciatoie basate sullo sfondo.

3. Contributi Chiave

1. Analisi Sistematica: Identificazione della "aggregazione pigra" come causa radice degli artefatti nei ViT, dimostrando che il problema nasce all'inizio dell'addestramento e persiste.
2. Nuova Ipotesi: Collegamento diretto tra supervisione a grana grossa, dipendenze globali e il comportamento di scorciatoia del modello.
3. Metodo Unificato (LaSt-ViT): Proposta di un meccanismo di aggregazione selettiva guidato dalla frequenza (frequency-aware) che risolve gli artefatti indipendentemente dal tipo di supervisione (etichette, testo o auto-supervisione).
4. Superiorità Empirica: Dimostrazione che LaSt-ViT supera i metodi basati su "Register" e altre tecniche di allineamento, migliorando le prestazioni su 12 benchmark diversi.

4. Risultati Sperimentali

Il metodo è stato valutato su tre paradigmi di addestramento e molteplici task downstream:

• Eliminazione degli Artefatti:
  • Il punteggio Point-in-Box (PiB) aumenta drasticamente (es. da 42.7 a 55.1 per ViT supervisionato; da 44.5 a 69.7 per DINO), avvicinandosi o superando le prestazioni delle CNN (ResNet).
  • Scompare il fenomeno dei token ad alta norma (high-norm tokens), confermando che questi erano una manifestazione degli artefatti di patch score.
• Task Supervisionati (Label-Supervised):
  • Miglioramento significativo nella segmentazione semantica "emergente" (coarse segmentation) su VOC12, raggiungendo prestazioni vicine a quelle dei modelli auto-supervisionati (DINO) pur usando supervisione con etichette.
• Task Auto-Supervisionati (Self-Supervised):
  • Nel task di scoperta di oggetti non supervisionata (Unsupervised Object Discovery), LaSt-ViT supera lo stato dell'arte (DINO-seg, LOST) su VOC e COCO, con un aumento del CorLoc (Correct Localization) e una maggiore efficienza computazionale (nessun bisogno di calcoli di autovettori pesanti).
• Task Supervisionati da Testo (Text-Supervised / CLIP):
  • Miglioramenti sostanziali nella segmentazione semantica zero-shot su 6 benchmark (VOC, Cityscapes, ADE20K, ecc.). Ad esempio, su CLIP ViT-B/16, il mIoU su VOC passa dal 49.0% al 75.0%.
  • Miglioramenti nella rilevazione di oggetti open-vocabulary e segmentazione istanziata.

5. Significato e Implicazioni

Questo lavoro offre una nuova prospettiva sul comportamento interno dei Vision Transformers:

• Oltre i Register: Dimostra che l'aggiunta di token "Register" non è la soluzione definitiva; è necessario correggere il meccanismo di aggregazione fondamentale durante il pre-addestramento.
• Interpretabilità: Il metodo rende le feature dense dei ViT più interpretabili e allineate con la semantica visiva reale, rendendoli più affidabili per compiti che richiedono una comprensione spaziale fine (segmentazione, rilevazione).
• Generalità: La soluzione è semplice, non richiede modifiche architetturali complesse e funziona universalmente su diversi modelli (ViT-B, ViT-L) e diversi regimi di supervisione, suggerendo che l'aggregazione pigra è un problema intrinseco e risolvibile dell'architettura ViT standard.

In sintesi, LaSt-ViT risolve il problema fondamentale per cui i ViT "guardano" lo sfondo invece dell'oggetto, trasformandoli in estrattori di feature più robusti e precisi per una vasta gamma di applicazioni di visione artificiale.