What-Where Transformer: A Slot-Centric Visual Backbone for Concurrent Representation and Localization

Riepilogo Tecnico: What-Where Transformer (WWT)

Enunciato del Problema
Le attuali attività di comprensione delle immagini richiedono l'identificazione di "cosa" è presente (classificazione) e "dove" appare (localizzazione). Sebbene i Vision Transformer (ViT) eccellano nella classificazione, le loro capacità di localizzazione sono spesso limitate. Nei ViT standard, le mappe di attenzione sono implicitamente intrecciate con le rappresentazioni dei token; servono solo per aggiornare i token all'interno di un blocco e vengono immediatamente assorbite, mancando di una struttura spaziale persistente. Di conseguenza, le mappe di attenzione dell'encoder soffrono spesso di attivazioni rumorose, confini vaghi e limitata interpretabilità semantica, rendendole difficili da trasferire a compiti di localizzazione a valle come la scoperta di oggetti o la segmentazione senza complessi post-processing o decoder specifici per il compito. Gli autori ipotizzano che la progettazione centrata sui token dei ViT sopprima la separazione esplicita tra contenuto semantico e posizione spaziale.

Metodologia
Gli autori propongono il What-Where Transformer (WWT), un backbone visivo in stile ViT che impone esplicitamente un pregiudizio induttivo di separazione "what-where" lungo tutta la rete.

• Architettura a Doppio Flusso: A differenza dei ViT standard che elaborano un singolo flusso di token, il WWT mantiene due flussi concorrenti:
  1. Flusso What: Una sequenza di vettori di caratteristiche (slot) che rappresentano la semantica degli oggetti.
  2. Flusso Where: Una sequenza di mappe di attenzione (maschere) che rappresentano le posizioni spaziali.
• Mutual Attention (µAttn): Il blocco costitutivo fondamentale è un nuovo strato di attenzione reciproca in cui token e slot interagiscono tramite un meccanismo di prodotto scalare. Questo strato facilita una comunicazione bidirezionale: i token aggiornano gli slot in base alla rilevanza spaziale, e gli slot aggiornano i token in base al contesto semantico. Crucialmente, le mappe di attenzione ($A$) non vengono scartate, ma vengono propagate e raffinate attraverso i livelli.
• Rappresentazione Slot-Mask: Ogni entità visiva è rappresentata come una coppia di un vettore di caratteristiche (slot) e una maschera soft. La rete è composta da blocchi WWT impilati in cui i Multi-Layer Perceptrons (MLP) elaborano token, slot e maschere. Viene introdotto un design specifico "MLP-over-attention" ($MLP_A$) per raffinare le mappe di attenzione utilizzando bias condizionati all'input, aiutando a eliminare le attivazioni spurie dello sfondo.
• Connessione: Il WWT sostituisce l'attenzione self-attention globale da token a token del ViT con una comunicazione bipartita mediata dagli slot. I token comunicano solo attraverso gli slot, costringendo la rete ad associare patch locali a slot informativi. Questo riduce la complessità computazionale per input ad alta risoluzione e propaga esplicitamente gli stati di localizzazione.
• Addestramento e Teste: Il modello è pre-addestrato su ImageNet-1k utilizzando una testa di classificazione e una testa di autoencoding ausiliaria (per incoraggiare le maschere a raggruppare regioni ricostruibili). Per i compiti a valle, le coppie slot-maschera servono come rappresentazione dell'immagine:
  • Classificazione: Gli slot vengono classificati e le previsioni di classe globali vengono mediate.
  • Segmentazione: Le maschere vengono risampolate e combinate con le classificazioni degli slot per generare mappe di etichette.
  • Scoperta/Rilevamento di Oggetti: Le maschere vengono binarizzate o utilizzate per aggregare coordinate per la regressione delle scatole, richiedendo spesso un addestramento aggiuntivo minimo o nullo.

Principali Contributi

1. Principio di Progettazione: Il documento inquadra la "separazione what-where" come un pregiudizio induttivo critico, stabilendo un design in cui i token rappresentano la semantica ("what") e le mappe di attenzione rappresentano la localizzazione ("where").
2. Architettura: Gli autori sviluppano il WWT, un backbone che sostituisce l'attenzione self-attention densa da token a token con un'attenzione reciproca mediata dagli slot, propagando esplicitamente gli stati di localizzazione attraverso i livelli senza un decoder separato.
3. Scoperta Emergente di Multi-Oggetti: Sotto supervisione di classificazione a etichetta singola, il WWT esibisce un comportamento emergente in cui le mappe di attenzione si decompongono naturalmente in più regioni di oggetti. Questo permette una scoperta di oggetti zero-shot direttamente dalle mappe di attenzione grezze, bypassando la necessità di post-processing di clustering dei token.
4. Versatilità a Valle: Grazie al meccanismo di localizzazione incorporato, il WWT può essere adattato a vari compiti (segmentazione, rilevamento, scoperta) con modifiche architetturali minime, fungendo da fondamento per modelli generalisti compatti.

Risultati

• Classificazione e Spiegabilità: Su ImageNet-1k, il WWT raggiunge una precisione Top-1 paragonabile a DeiT (ad esempio, 71,3% contro 72,2% per i modelli Tiny). Tuttavia, supera significativamente DeiT nelle metriche di spiegabilità (Drop e Increase), indicando che le sue mappe di attenzione sono più valide per l'attribuzione della classificazione.
• Segmentazione Debolmente Supervisionata: Su ImageNet-S 50, il WWT raggiunge un'Intersezione sull'Unione media (mIoU) del 49,1% utilizzando output di maschera grezzi, superando DeiT con Rollout (35,9%) e metodi basati su ResNet (45,2%).
• Scoperta di Oggetti Zero-Shot: Nella scoperta di singoli oggetti (VOC12), il WWT raggiunge un CorLoc del 41,4%, superando le varianti DeiT e avvicinandosi a metodi auto-supervisionati forti come DINOv2. Nella scoperta di multi-oggetti, il WWT dimostra una recall più elevata e la capacità di rilevare più oggetti senza sovrapposizione, un comune modo di fallimento negli approcci basati sul clustering.
• Scoperta Non Supervisionata: In un setting di distillazione stile DINOSAUR, il WWT raggiunge risultati competitivi (mBOi del 37,5% su VOC12) senza richiedere un modulo Slot Attention separato, suggerendo che il backbone stesso internalizza il binding degli oggetti.
• Fine-tuning Supervisionato: Con teste di compito minime, il WWT raggiunge un mAP del 63,1% sul rilevamento VOC07 e un mIoU del 61,3% sulla segmentazione VOC12, superando le baseline basate su token e avvicinandosi alle prestazioni di DETR.

Significato e Affermazioni
Il documento afferma che il WWT riesce a rivitalizzare il concetto classico di separazione "what-where" all'interno delle moderne architetture Transformer. Trattando le mappe di attenzione come cittadini di prima classe (rappresentanti "where") piuttosto che stati intermedi transitori, il modello apprende rappresentazioni posizionali esplicite anche quando pre-addestrato esclusivamente su compiti di classificazione. Gli autori sostengono che questo approccio semplifica la necessità di decoder specifici per il compito e migliora la trasferibilità dei backbone visivi. Posizionano il WWT come un passo verso backbone visivi centrati sugli oggetti che possono supportare il ragionamento spaziale e il grounding degli oggetti con una dipendenza ridotta dall'annotazione, aspetto cruciale per i futuri Modelli Vision-Language (VLM) e sistemi Vision-Language-Action (VLA). Il lavoro rimane modesto riguardo ai setting auto-supervisionati, notando che la proprietà emergente di decomposizione degli oggetti è stata dimostrata principalmente sotto pre-addestramento supervisionato.