Technische Samenvatting: LookWhere

Probleemstelling

Vision Transformers (ViTs) worden steeds groter en nauwkeuriger, maar hun computationele kosten schalen kwadratisch met de beeldresolutie vanwege de kwadratische groei van tokens. Deze kosten zijn prohibitief voor hoge resoluties die gebruikelijk zijn in fotografie, remote sensing, autonoom rijden en medische beeldvorming. Bestaande methoden voor adaptieve berekening kampen met aanzienlijke beperkingen:

• Token Reductie: Methoden die tokens wegknippen of samenvoegen (bijv. PiToMe, DTEM) vereisen nog steeds het verwerken van de volledheid van de input-tokens in vroege lagen, wat hoge initiële kosten met zich meebrengt.
• Token Selectie: Methoden die tokens selecteren (bijv. DPS, IPS) vertrouwen vaak op complexe, dure per-taak optimalisatie of discrete optimalisatietechnieken die moeilijk te trainen en te transfereren zijn.
• Efficiëntiekloof: Er is een gebrek aan methoden die efficiënt kunnen bepalen waar te kijken en wat te zien, zonder ooit de volledige afbeelding te verwerken, terwijl de transfereerbaarheid naar diverse taken behouden blijft.

Methodologie: LookWhere

De auteurs stellen LookWhere voor, een framework voor zelfgesuperviseerde adaptieve berekening dat het probleem ontleedt in "waar te kijken" en "wat te zien" met behulp van een gekoppelde Selector-Extractor architectuur.

Kernarchitectuur

1. Selector (Waar te kijken):
   • Werkt op een versie van de inputafbeelding met een lage resolutie.
   • Een ondiepe ViT (verkorte diepte) verwerkt deze low-res input om een "selector map" te genereren (een hoog-resolutie attention map) die de locaties van informatieve patches voorspelt.
   • Het genereert ook low-resolutie globale tokens (class en register tokens) die door de extractor hergebruikt zullen worden.
2. Extractor (Wat te zien):
   • Werkt op een sparse set van hoog-resolutie patches die door de selector zijn geselecteerd (top-$k$ patches).
   • Het tokeniseert alleen deze geselecteerde hoog-resolutie patches.
   • Het hergebruikt de globale tokens gegenereerd door de selector (als vervanging voor de eigen leerbare tokens) om redundante berekeningen te voorkomen.
   • Het verwerkt deze sparse inputs om een volledige representatie van de hoog-resolutie afbeelding te produceren, die vervolgens wordt gebruikt voor taakspecifieke voorspelling.

Training: What-Where Distillatie

Het systeem wordt voorgetraind via zelfgesuperviseerde distillatie van een grote, bevroren teacher-model (DINOv2). Dit stelt het systeem in staat om te leren zonder taakspecifieke labels.

• Teacher: Een zelfgesuperviseerde ViT (DINOv2) die de volledige hoog-resolutie input verwerkt.
• Distillatie Targets:
  • Waar: De selector leert de attention map van de teacher te voorspellen (die saliente regio's aangeeft) met alleen de low-res input.
  • Wat: De extractor leert de class en patch token representaties van de teacher te voorspellen (de semantische inhoud) met alleen de sparse hoog-resolutie patches en de low-res globale tokens van de selector.
• Loss Functie: Een gewogen som van drie losses:
  1. Class Token Distillatie (MSE): Stemt globale representaties af.
  2. Patch Token Distillatie (MSE): Stemt lokale representaties af.
  3. Attention Distillatie (KL Divergentie): Stemt de voorspelde map van de selector af met de attention map van de teacher.
• Efficiëntie: De teacher verwerkt de volledige afbeelding één keer om targets te genereren. De student (Selector + Extractor) verwerkt tijdens training of inferentie nooit de volledige hoog-resolutie afbeelding, wat pretraining en inferentie zeer efficiënt maakt.

Fine-tuning

Voor downstream taken wordt alleen de extractor en een taakspecifieke predictor (bijv. een lineaire laag) gefinetuned met supervised learning. De selector blijft bevroren, waardoor de "waar te kijken" strategie effectief overdraagbaar is naar verschillende taken.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Een selector-extractor framework dat locatie selectie (low-res) ontkoppelt van feature extractie (sparse high-res), waardoor volledige resolutie verwerking volledig wordt vermeden.
2. Zelfgesuperviseerde Pretraining: Een "what-where distillation" schema dat de selector en extractor gezamenlijk traint vanuit een zelfgesuperviseerde teacher, wat effectieve transfer naar taken mogelijk maakt zonder per-taak optimalisatie voor selectie.
3. Hardware Efficiëntie: In tegenğin van eerdere token selectiemethoden die complexe discrete optimalisatie of clustering vereisen, vertrouwt LookWhere op standaard, versnelde GPU-operaties (standaard ViT-lagen), wat sneller is op huidige hardware.
4. Hoog-Resolutie Efficiëntie: Toont significante winst in hoog-resolutie scenario's waar kwadratische schaling het meest problematisch is.

Experimentele Resultaten

Het paper evalueert LookWhere op standaard benchmarks (ImageNet, ADE20K) en hoog-resolutie benchmarks (Traffic Signs, Birds, Billiard Balls).

• ImageNet Classificatie: LookWhere bereikt state-of-the-art (SoTA) nauwkeurigheid/efficiëntie-afwegingen. Voor ViT-S is het 1,36× sneller dan de op één na beste methode (DTEM) terwijl het een vergelijkbare nauwkeurigheid behoudt.
• ADE20K Segmentatie: LookWhere presteert beter dan DTEM qua nauwkeurigheid en is ≥2× sneller bij vergelijkbare computationele niveaus.
• Hoog-Resolutie Taken (Traffic Signs):
  • LookWhere vermindert de FLOPs met wel 34× en de inferentietijd met 6× vergeleken met baselines zoals IPS, terwijl het competitieve nauwkeurigheid behoudt.
  • Het presteert beter dan zijn teacher (DINOv2) qua efficiëntie terwijl het de nauwkeurigheid evenaart of overtreft op sparse herkenningstaken.
• Fine-Grained Herkenning (Birds): Bereikt bijna gelijke nauwkeurigheid als DINOv2 terwijl het slechts 10% van de patches verwerkt, wat resulteert in significante besparingen in snelheid, geheugen en FLOPs.
• Trainings-efficiëntie: LookWhere vereist aanzienlijk minder cumulatieve FLOPs tijdens fine-tuning vergeleken met andere adaptieve methoden (bijv. het evenaren van de nauwkeurigheid van DPS met een fractie van de kosten).
• Robuustheid: Voorlopige tests tonen aan dat LookWhere robuuster is tegen kleine $\epsilon$ adversarial attacks dan DINOv2, wat suggereert dat sparse computation inherente voordelen voor robuustheid kan bieden.

Betekenis en Claims

Het paper claimt dat LookWhere een verschuiving vertegenwoordigt in adaptieve berekening door:

• Het elimineren van volledige resolutie verwerking: In tegenstelling tot token reductie methoden, verwerkt het nooit de volledige input, wat een fundamenteel efficiëntievoordeel biedt bij hoge resoluties.
• Eenvoud en Transfereerbaarheid: In tegen tegenstelling tot eerdere selectiemethoden die complexe per-taak optimalisatie vereisen, gebruikt LookWhere een eenvoudige, uniforme pretraining strategie die effectief overdraagbaar is naar zowel globale (classificatie) als lokale (segmentatie) taken.
• Praktische Bruikbaarheid: Het maakt gebruik van standaard transformer operaties, waardoor het compatibel is met huidige hardware-accelerators zonder de overhead van aangepaste clustering of discrete optimalisatie algoritmen.

De auteurs positioneren LookWhere als een oplossing voor de "kwadratische kosten" bottleneck van ViTs, waardoor efficiënte en nauwkeurige herkenning op hoog-resolutie beelden mogelijk wordt door irrelevant pixels te negeren via zelf-supervisie. Ze erkennen beperkingen, zoals de huidige afwezigheid van selector fine-tuning en de ruimtelijke-only aard van de methode, en suggereren dat toekomstig werk de mogelijkheden voor temporele (video) of spectrale (remote sensing) adaptaties kan verkennen.