What-Where Transformer: A Slot-Centric Visual Backbone for Concurrent Representation and Localization

Technische Samenvatting: What-Where Transformer (WWT)

Probleemstelling
Huidige taken voor beeldbegrip vereisen het identificeren van "wat" aanwezig is (classificatie) en "waar" het verschijnt (localisatie). Hoewel Vision Transformers (ViTs) uitstekend presteren in classificatie, zijn hun localisatiecapaciteiten vaak beperkt. In standaard ViTs zijn attentiekaarten impliciet verweven met tokenrepresentaties; ze dienen alleen om tokens binnen een blok bij te werken en worden direct geabsorbeerd, zonder een persistente ruimtelijke structuur. Bijgevolg lijden encoder-attentiekaarten vaak aan ruisachtige activaties, vage grenzen en beperkte semantische interpreteerbaarheid, waardoor ze moeilijk over te dragen zijn naar downstream localisatietaken zoals objectontdekking of segmentatie zonder complexe nabewerking of taakspecifieke decoders. De auteurs stellen dat het token-gerichte ontwerp van ViTs de expliciete scheiding van semantische inhoud en ruimtelijke locatie onderdrukt.

Methodologie
De auteurs stellen de What-Where Transformer (WWT) voor, een ViT-stijl visuele backbone die expliciet een "what-where" scheidingsinductieve bias dwingt gedurende het hele netwerk.

• Dual-Stream Architectuur: In tegenstelling tot standaard ViTs die een enkele stroom van tokens verwerken, handhaaft WWT twee gelijktijdige stromen:
  1. What-stroom: Een reeks featurevectoren (slots) die objectsemantiek vertegenwoordigen.
  2. Where-stroom: Een reeks attentiekaarten (masks) die ruimtelijke locaties vertegenwoordigen.
• Mutual Attention (µAttn): De fundamentele bouwsteen is een nieuwe mutual attention-laag waarbij tokens en slots interageren via een dot-productmechanisme. Deze laag faciliteert bidirectionele communicatie: tokens updaten slots op basis van ruimtelijke relevantie, en slots updaten tokens op basis van semantische context. Cruciaal worden de attentiekaarten ($A$) niet weggegooid, maar worden ze doorgegeven en verfijnd over de lagen heen.
• Slot-Mask Representatie: Elke visuele entiteit wordt weergegeven als een paar van een featurevector (slot) en een zacht masker. Het netwerk bestaat uit gestapelde WWT-blokken waarbij Multi-Layer Perceptrons (MLP's) tokens, slots en masks verwerken. Een specifiek "MLP-over-attention"-ontwerp ($MLP_A$) wordt geïntroduceerd om attentiekaarten te verfijnen met input-geconditioneerde biases, wat helpt bij het elimineren van spurious achtergrondactivaties.
• Connectiviteit: WWT vervangt de globale token-naar-token zelf-attentie van ViT door slot-gemedieerde bipartiete communicatie. Tokens communiceren alleen via slots, waardoor het netwerk lokale patches moet binden aan informatieve slots. Dit verlaagt de computationele complexiteit voor hoge-resolutie inputs en propagatieert localisatietoestanden expliciet.
• Training en Heads: Het model wordt vooraf getraind op ImageNet-1k met behulp van een classificatiehead en een auxiliaire autoencoding-head (om masks aan te moedigen reconstrueerbare regio's te groeperen). Voor downstream taken dienen de slot-mask-paren als de beeldrepresentatie:
  • Classificatie: Slots worden geclassificeerd en globale klassenpredicties worden gemiddeld.
  • Segmentatie: Masks worden opgeschaald en gecombineerd met slot-classificaties om labelkaarten te genereren.
  • Objectontdekking/Detectie: Masks worden binaire of gebruikt om coördinaten te aggregeren voor box-regressie, vaak met minimale of geen extra training.

Belangrijkste Bijdragen

1. Ontwerpprincipe: Het artikel presenteert "what-where scheiding" als een kritieke inductieve bias, en vestigt een ontwerp waarbij tokens semantiek vertegenwoordigen ("wat") en attentiekaarten localisatie ("waar").
2. Architectuur: De auteurs ontwikkelen WWT, een backbone die dichte token-token zelf-attentie vervangt door slot-gemedieerde mutual attention, en die localisatietoestanden expliciet doorgeeft over de lagen heen zonder een aparte decoder.
3. Emergente Multi-Object Ontdekking: Onder supervisie voor single-label classificatie vertoont WWT emergent gedrag waarbij attentiekaarten natuurlijk decomponeren in meerdere objectregio's. Dit maakt zero-shot objectontdekking direct vanuit ruwe attentiekaarten mogelijk, waarbij de behoefte aan token-clustering nabewerking wordt omzeild.
4. Downstream Veerkrachtigheid: Vanwege het ingebouwde localisatiemechanisme kan WWT met minimale architecturale wijzigingen worden aangepast aan diverse taken (segmentatie, detectie, ontdekking) en dient het als fundament voor compacte generalistische modellen.

Resultaten

• Classificatie & Verklaarbaarheid: Op ImageNet-1k bereikt WWT een Top-1-accuraatheid die vergelijkbaar is met DeiT (bijvoorbeeld 71,3% versus 72,2% voor Tiny-modellen). Het presteert echter significant beter dan DeiT op verklaarbaarheidsmetrieken (Drop en Increase), wat aangeeft dat zijn attentiekaarten geldiger zijn voor classificatie-attributie.
• Zwak Gecontroleerde Segmentatie: Op ImageNet-S 50 bereikt WWT een mean Intersection over Union (mIoU) van 49,1% met behulp van ruwe mask-outputs, wat beter is dan DeiT met Rollout (35,9%) en op ResNet gebaseerde methoden (45,2%).
• Zero-Shot Objectontdekking: Bij single-object ontdekking (VOC12) bereikt WWT een CorLoc van 41,4%, wat DeiT-varianten overtreft en nadert bij sterke zelf-supervised methoden zoals DINOv2. Bij multi-object ontdekking toont WWT een hogere recall en het vermogen om meerdere objecten te detecteren zonder over-segmentatie, een veelvoorkomende faalmodus in op clustering gebaseerde benaderingen.
• Ongecontroleerde Ontdekking: In een DINOSAUR-stijl distillatie-instelling bereikt WWT concurrerende resultaten (mBOi van 37,5% op VOC12) zonder een aparte Slot Attention-module te vereisen, wat suggereert dat de backbone zelf objectbinding internaliseert.
• Gecontroleerde Fine-tuning: Met minimale taakheads bereikt WWT 63,1% mAP op VOC07-detectie en 61,3% mIoU op VOC12-segmentatie, wat token-gebaseerde baselines overtreft en de DETR-prestaties nadert.

Betekenis en Claims
Het artikel beweert dat WWT het klassieke "what-where" scheidingsconcept succesvol herleeft binnen moderne Transformer-architecturen. Door attentiekaarten te behandelen als first-class burgers (die "waar" vertegenwoordigen) in plaats van vluchtige tussenliggende toestanden, leert het model expliciete positionele representaties, zelfs wanneer het uitsluitend is vooraf getraind op classificatietaken. De auteurs stellen dat deze benadering de behoefte aan taakspecifieke decoders vereenvoudigt en de overdraagbaarheid van visuele backbones verbetert. Ze positioneren WWT als een stap richting object-gerichte visuele backbones die ruimtelijk redeneren en object-grounding kunnen ondersteunen met verminderde afhankelijkheid van annotatie, wat cruciaal is voor toekomstige Vision-Language Models (VLM's) en Vision-Language-Action (VLA) systemen. Het werk blijft bescheiden wat betreft zelf-supervised instellingen, met de opmerking dat de emergente eigenschap van object-decompositie voornamelijk werd aangetoond onder gecontroleerde vooropleiding.