Riassunto Tecnico: LookWhere

Definizione del Problema

I Vision Transformer (ViT) stanno diventando sempre più grandi e accurati, ma il loro costo computazionale scala quadraticamente con la risoluzione dell'immagine a causa della crescita quadratica dei token. Questa spesa è proibitiva per input ad alta risoluzione comuni nella fotografia, nel telerilevamento, nella guida autonoma e nell'imaging medico. I metodi esistenti di computazione adattiva affrontano limitazioni significative:

• Riduzione dei Token: I metodi che eliminano o uniscono i token (es. PiToMe, DTEM) richiedono comunque l'elaborazione dell'intero set di token di input nei primi strati, incorrendo in costi iniziali elevati.
• Selezione dei Token: I metodi che selezionano i token (es. DPS, IPS) spesso si affidano a ottimizzazioni per task complche ed onerose o a tecniche di ottimizzazione discreta che sono difficili da addestrare e trasferire.
• Gap di Efficienza: Manca un metodo in grado di selezionare efficientemente dove guardare ed estrarre cosa vedere da input ad alta risoluzione senza mai elaborare l'immagine completa, mantenendo al contempo la trasferibilità attraverso diversi task.

Metodologia: LookWhere

Gli autori propongono LookWhere, un framework per la computazione adattiva auto-supervisionata che fattorizza il problema in "dove guardare" e "cosa vedere" utilizzando un'architettura accoppiata Selector-Extractor.

Architettura Core

1. Selector (Dove Guardare):
   • Opera su una versione dell'immagine di input a bassa risoluzione.
   • Un ViT poco profondo (depth troncata) elabora questo input a bassa risoluzione per generare una "selector map" (una mappa di attenzione ad alta risoluzione) che predice le posizioni delle patch informative.
   • Genera inoltre token globali a bassa risoluzione (token di classe e di registro) da riutilizzare dall'extractor.
2. Extractor (Cosa Vedere):
   • Opera su un set sparso di patch ad alta risoluzione selezionate dal selector (top-$k$ patches).
   • Tokenizza solo queste patch selezionate ad alta risoluzione.
   • Riutilizza i token globali generati dal selector (sostituendo i propri token apprendibili) per evitare ridondanze computazionali.
   • Elabora questi input sparsi per produrre una rappresentazione completa dell'immagine ad alta risoluzione, che viene poi utilizzata per la predizione specifica del task.

Addestramento: Distillazione What-Where

Il sistema viene preaddestrato tramite distillazione auto-supervisionata da un modello teacher (DINOv2) grande e congelato. Ciò consente al sistema di apprendere senza etichette specifiche per il task.

• Teacher: Un ViT auto-supervisionato (DINOv2) che elabora l'input completo ad alta risoluzione.
• Target di Distillazione:
  • Where (Dove): Il selector impara a predire la mappa di attenzione del teacher (che indica le regioni salienti) usando solo l'input a bassa risoluzione.
  • What (Cosa): L'extractor impara a predire le rappresentazioni dei token di classe e di patch del teacher (il contenuto semantico) usando solo le patch ad alta risoluzione sparse e i token globali a bassa risoluzione del selector.
• Funzione di Perdita (Loss Function): Una somma pesata di tre perdite:
  1. Class Token Distillation (MSE): Allinea le rappresentazioni globali.
  2. Patch Token Distillation (MSE): Allinea le rappresentazioni locali.
  3. Attention Distillation (KL Divergence): Allinea la mappa predetta dal selector con la mappa di attenzione del teacher.
• Efficienza: Il teacher elabora l'immagine completa una sola volta per generare i target. Lo studente (Selector + Extractor) non elabora mai l'immagine completa ad alta risoluzione durante l'addestramento o l'inferenza, rendendo il preaddestramento e l'inferenza altamente efficienti.

Fine-tuning

Per i task a valle, vengono sottoposti a fine-tuning solo l'extractor e un predittore specifico per il task (es. un livello lineare). Il selector rimane congelato, permettendo alla strategia di "dove guardare" di generalizzare tra diversi task.

Contributi Chiave

1. Architettura Innovativa: Un framework selector-extractor che decoppia la selezione della posizione (bassa risoluzione) dall'estrazione delle feature (alta risoluzione sparsa), evitando completamente l'elaborazione a piena risoluzione.
2. Preaddestramento Auto-Supervisionato: Uno schema di "what-where distillation" che addestra congiuntamente il selector e l'extractor da un teacher auto-supervisionato, consentendo il trasferimento tra i task senza ottimizzazione per ogni singolo task.
3. Efficienza Hardware: A differenza dei precedenti metodi di selezione dei token che richiedono complesse ottimizzazioni discrete o clustering, LookWhere si basa su standard operazioni accelerate da GPU (layer ViT standard), rendendolo più veloce sulle attuali hardware.
4. Efficienza ad Alta Risoluzione: Dimostra guadagni significativi negli scenari ad alta risoluzione dove lo scaling quadratico è più problematico.

Risultati Sperimentali

Il paper valuta LookWhere su benchmark standard (ImageNet, ADE20K) e benchmark ad alta risoluzione (Segnali Stradali, Uccelli, Palline da Biliardo).

• Classificazione ImageNet: LookWhere raggiunge il miglior compromesso tra accuratezza ed efficienza (SoTA). Per ViT-S, è 1.36× più veloce del secondo miglior metodo (DTEM) mantenendo un'accuratezza comparabile.
• Segmentazione ADE20K: LookWhere supera DTEM in accuratezza ed è ≥2× più veloce a parità di computazione.
• Task ad Alta Risoluzione (Segnali Stradali):
  • LookWhere riduce i FLOP fino a 34× e il tempo di inferenza di 6× rispetto ai baseline come IPS, mantenendo un'accuratezza competitiva.
  • Supera il suo teacher (DINOv2) in efficienza pur eguagliando o superando la sua accuratezza in compiti di riconoscimento sparsi.
• Riconoscimento Fine-Grained (Uccelli): Raggiunge un'accuratezza quasi uguale a DINOv2 elaborando solo il 10% delle patch, con conseguenti risparmi significativi in velocità, memoria e FLOP.
• Efficienza di Addestramento: LookWhere richiede significativamente meno FLOP cumulativi durante il fine-tuning rispetto ad altri metodi adattivi (es. eguaglia DPS in accuratezza con una frazione del costo di addestramento).
• Robustezza: Test preliminari mostrano che LookWhere è più robusto agli attacchi avversari $\epsilon$ rispetto a DINOv2, suggerendo che la computazione sparsa possa offrire benefici intrinseci di robustezza.

Significato e Rivendicazioni

Il paper sostiene che LookWhere rappresenti un cambio di paradigma nella computazione adattiva poiché:

• Elimina l'Elaborazione a Piena Risoluzione: A differenza dei metodi di riduzione dei token, non elabora mai l'input completo, offrendo un vantaggio fondamentale di efficienza alle alte risoluzioni.
• Semplicità e Trasferibilità: A differenza dei precedenti metodi di selezione che richiedono complesse ottimizzazioni per task, LookWhere utilizza una semplice strategia di preaddestramento unificata che si trasferisce efficacemente tra task globali (classificazione) e locali (segmentazione).
• Praticità: Sfrutta operazioni standard dei transformer, rendendolo compatibile con gli attuali acceleratori hardware senza l'overhead di algoritmi di clustering o ottimizzazione discreta personalizzati.

Gli autori posizionano LookWhere come una soluzione al collo di bottiglia del "costo quadratico" dei ViT, consentendo il riconoscimento efficiente e accurato su immagini ad alta risoluzione imparando a ignorare i pixel irrilevanti attraverso l'auto-supervisione. Riconoscono limitazioni, come l'attuale mancanza di fine-tuning del selector e la natura puramente spaziale del metodo, suggerendo che lavori futuri potrebbero esplorare adattamenti temporali (video) o spettrali (telerilevamento).