Riepilogo Tecnico: SpiralFovea: Tokenizzazione Foveata Adattiva all'Input

1. Definizione del Probleamento

Le attuali tecniche di inferenza adattiva per i modelli di fondazione operano principalmente su due "leve" consolidate:

1. Architettura/Profondità: Early exit, Mixture-of-Experts (MoE) routing e profondità dinamica.
2. Attenzione/KV-Cache: Attenzione sparsa, attenzione deformabile e compressione della KV-cache.

Tuttavia, questi metodi agiscono su una tokenizzazione dell'input a griglia fissa. Indipendentemente dal contenuto dell'immagine, un Vision Transformer (ViT) standard divide un'immagine di $224 \times 224$ in $N=196$ patch uniformi in ordine raster. Questo approccio viola il principio di tasso-distorsione (rate-distortion), il quale postula che l'allocazione ottimale della capacità debba essere proporzionale alla densità di informazione locale. La tokenizzazione uniforme alloca risorse computazionali uguali sia alle regioni di sfondo a bassa entropia che alle regioni discriminanti ad alta entropia, incorrendo in costi superflui ad ogni livello del transformer prima ancora che avvenga qualsiasi adattamento.

Il Token Pruning (una tecnica della Leva-1) riduce il numero di token, ma è strutturalmente distinto perché forma prima la griglia uniforme completa, la proietta e la elabora attraverso almeno un blocco transformer prima di scartare i token. Il costo dell'elaborazione dei token non informativi è già stato pagato.

Il Vuoto: Esiste una "terza leva" mancante: la Tokenizzazione Adattiva all'Input. Questa leva si chiede quali token dovrebbero esistere per una specifica immagine prima che qualsiasi parametro del backbone venga interrogato, anziché potarli dopo la loro formazione.

2. Metodologia: SpiralFovea

Gli autori propongono SpiralFovea, un tokenizer adattivo all'input e privo di parametri, che genera un insieme di lunghezza variabile di token basandosi sull'entropia visiva locale. Il processo avviene interamente prima del forward pass del backbone.

Pipeline Core

1. Generazione della Mappa di Entropia:

   • L'immagine di input $I$ viene convertita in luminanza (BT.601), sottocampionata a $D \times D$ e quantizzata in $B$ bin.
   • Una finestra scorrevole calcola le probabilità empiriche dei bin per derivare una mappa di entropia di Shannon locale $E(x, y)$.
   • Questo calcolo è $O(HW)$, privo di parametri e costa $<2\%$ di un singolo blocco transformer.

2. Selezione degli Anchor Hotspot:

   • L'altezza dell'immagine è divisa in $S$ strisce.
   • All'interno di ogni striscia, viene selezionata la posizione di massima entropia come anchor ($c_s$), garantendo la diversità orizzontale.
   • Gli anchor sono normalizzati e de-duplicati in base a una soglia di raggio ($\tau_{dedup}$).

3. Estrazione di Anelli a Spirale Multi-scala:

   • Intorno a ogni anchor conservato, le patch sono disposte in $K=4$ anelli concentrici.
   • Anello 0: Una singola patch foveale.
   • Anelli $k > 0$: Contengono $n_k$ patch disposte in un pattern a spirale con raggio e dimensione della patch crescenti.
   • Lo schema è progettato per piastrellare lo spazio senza lacune. Per un'immagine $224 \times 224$ con 4 strisce attive, il massimo teorico è 116 patch, ma un filtro fuori dai bordi riduce tipicamente il conteggio finale a $\le 78$ patch (una riduzione di circa il $60\%$ rispetto alle 196 standard).

4. Acquisizione e Embedding delle Patch:

   • Le patch vengono campionate tramite campionamento di griglia bilineare.
   • Embedding: Le patch vengono proiettate utilizzando la patch_embed.proj congelata del backbone.
   • Codifica Posizionale (PE): La standard PE sinusoidale raster viene sostituita da una PE Polare. Un MLP a 2 strati appreso mappa le coordinate polari $(\hat{c}_s, k, \theta)$ in embedding. Ciò rispetta la prossimità geometrica delle patch nel layout foveato (adiacenti spazialmente indipendentemente dall'indice dell'anello) e la simmetria rotazionale della spirale.
   • Elaborazione del Backbone: La sequenza a lunghezza variabile (più il token CLS) viene passata attraverso lo stack transformer congelato.
   • Adattamento CNN: Per i backbone CNN, le patch sono codificate da un tronco ResNet-18 condiviso e fuse tramite blocchi Mamba (modelli state-space) per gestire efficientemente le lunghezze di sequenza variabili.

3. Contributi Chiave

1. Framework Concettuale: Posiziona la tokenizzazione adattiva all'input come una "terza leva" distinta e complementare per l'inferenza a risorse adattive, separata dalle modifiche all'architettura e all'attenzione.
2. Implementazione di SpiralFovea: Un tokenizer guidato dall'entropia $O(HW)$ e privo di parametri, con copertura degli anchor provabile ed estrazione a spirale multi-scala. La selezione si completa prima che venga valutato qualsiasi parametro del backbone.
3. Motivazione Teorica: Giustifica il design tramite la teoria del tasso-distorsione (allocando la capacità alla densità di informazione) e la visione biologica (fovea centralis e salienza periferica).
4. Performance Empirica: Dimostra miglioramenti Pareto rigorosi su quattro benchmark granulari e quattro famiglie di backbone.
5. Diagnostica di Deployment: Identifica un caso limite in cui il metodo è più efficace: produce i maggiori guadagni su backbone con prior posizionali deboli o agnostici rispetto al compito (es. modelli auto-supervisionati come DINO), mentre i guadagni diminuiscono o si invertono su modelli con forti e fissi prior raster (es. ViT-S/16 supervisionato).

4. Risultati Sperimentali

Il metodo è stato valutato su quattro benchmark: WikiArt (GAN-Genre, Style), Oxford Flowers-102, PatchCamelyon e CUB-200-2011 (raggruppamento Genus).

• Accuratezza vs Efficienza: SpiralFovea raggiunge un miglioramento Pareto a dominanza stretta.

  • Riduzione dei Token: Riduce i token di input da 196 a $\le 78$ ($\sim 60\%$ di riduzione).
  • Guadagno di Accuratezza: Produce un incremento di +1.7 a +2.1 punti percentuali nell'accuratezza top-1 rispetto ai corrispondenti baseline statici.
  • Riduzione del Calcolo: Riduce i FLOP di auto-attenzione dell'84% in ogni layer del transformer (non solo in uno stadio), poiché la dimensione della matrice di attenzione scala quadraticamente con il numero di token ($78^2$ vs $196^2$).
  • Throughput: Aumenta il throughput del 18–29% su GPU Tesla T4.

• Studi di Ablazione:

  • Posizionamento degli Anchor: Gli anchor guidati dall'entropia sono critici; hotspot casuali comportano un calo di $-1.5$ pp.
  • Selezione delle Patch: Scegliere quali patch conta più di quanto conti il numero; un sottoinsieme casuale di 78 patch performa peggio del baseline completo di 196 patch.
  • Scelte di Design: Gli anelli multi-scala (+1.1 pp), il layout a spirale (+0.9 pp) e la PE Polare (+0.5 pp) contribuiscono tutti significativamente.

• Analisi del Limite (CUB-Genus):

  • Il guadagno è inversamente proporzionale alla forza del prior posizionale del backbone.
  • Massimo Guadagno: DINO-ViT-S auto-supervisionato (+0.93 pp) e ResNet-18 (+0.9 pp).
  • Minimo/Negativo Guadagno: ViT-S/16 supervisionato (-0.28 pp). Gli autori attribuiscono ciò al fatto che il pre-training del modello si è "impegnato" su una griglia raster uniforme, rendendo dannosa la sostituzione con token sparsi, combinata con la saturazione delle prestazioni.

5. Significato e Rivendicazioni

Il paper sostiene che SpiralFovea rappresenti un cambiamento fondamentale nel modo in cui i modelli di fondazione elaborano l'input visivo. Trattando l'insieme dei token di input come una leva primaria di efficienza, evita lo "spreco" di elaborare interamente le regioni non informative.

• Componibilità: Il metodo è ortogonale alle tecniche della Leva-1 (architettura) e della Leva-2 (attenzione). Gli autori sostengono che combinare queste leve crei un effetto moltiplicativo sui risparmi (es. una sequenza più breve per l'early exit o il routing MoE).
• Regime Target: Il lavoro isola i modelli di fondazione auto-supervisionati come il regime in cui la tokenizzazione adattiva all'input è più preziosa, poiché questi modelli mancano dei rigidi prior posizionali dei modelli addestrati su ImageNet in modo supervisionato.
• Impatto Pratico: Ridurre i token inviati a un backbone congelato produce risparmi proporzionali in memoria GPU ed energia, abbassando il costo di carbonio dell'inferenza. Il metodo è particolarmente adatto per il riconoscimento fine e l'imaging medico (PatchCamelyon), dove i segnali discriminanti sono concentrati spazialmente.

Gli autori concludono che la "terza leva" è ampiamente inesplorata e invitano la comunità a investigare la frontiera di Pareto compositiva che unisce l'adattamento dell'input ad altre tecniche di inferenza adattiva, nonché la sua applicabilità ad altre modalità non d'immagine.