UtVAA: Ultra-tiny Vision Transformer with Affix Attention for Mobile Image Classification

Sintesi Tecnica: UtVAA: Ultra-tiny Vision Transformer con Affix Attention per la Classificazione di Immagini su Dispositivi Mobile

Problematica
Sebbene i Vision Transformer (ViT) abbiano dimostrato capacità di rappresentazione superiori rispetto alle reti neurali convoluzionali (CNN) nella classificazione delle immagini, il loro dispiegamento su dispositivi mobili e edge con risorse limitate è ostacolato dalla complessità quadratica della self-attention e dall'elevato numero di parametri. Le architetture leggere esistenti (ad es., MobileNet, ShuffleNet) spesso faticano a garantire un'estrazione efficace delle caratteristiche multi-scala e una precisione costante in scenari diversi. Inoltre, i metodi di compressione non architettonici, come il pruning e la quantizzazione, spesso degradano la rappresentazione delle caratteristiche. Esiste una lacuna critica nella progettazione sistematica di modelli transformer "ultra-tiny" (sotto il milione di parametri) che mantengano una forte capacità discriminativa pur rispettando rigorosi budget computazionali.

Metodologia
Il documento propone UtVAA (Ultra-tiny Vision Transformer with Affix Attention), un'architettura gerarchica progettata per bilanciare la modellazione del contesto globale con l'estrazione di caratteristiche locali sotto vincoli di risorse severi. Il framework integra tre componenti principali:

1. Dilated Bottleneck Blocks: Per espandere efficientemente il campo recettivo senza aumentare il numero di parametri, gli autori introducono due varianti di blocchi Dilated Bottleneck (con e senza connessioni residue). Questi utilizzano convoluzioni depthwise e pointwise dilatate. La variante con residui affronta specificamente i problemi di stabilità dell'ottimizzazione e del gradiente svanente. Questo design riduce la complessità computazionale di circa 8–9 volte rispetto alle convoluzioni standard, preservando al contempo il contesto multi-scala.
2. Affix Attention Block: Questo è il nucleo innovativo dell'architettura, progettato per mitigare la perdita di informazioni spaziali comune nella self-attention lineare. Utilizza un'architettura parallela invece di una sequenziale, composta da:
   • Local Representation Block: Utilizza convoluzioni depthwise separable per catturare caratteristiche fini.
   • Global Representation Block: Implementa una formulazione di transformer lineare per modellare le dipendenze a lungo raggio con una scalabilità lineare rispetto al numero di patch, evitando il costo quadratico della standard self-attention.
   • Coordinate Attention: Codifica le dipendenze spaziali eseguendo il global pooling lungo gli assi altezza e larghezza separatamente, catturando informazioni direzionali.
   • Ternary Fusion: Una strategia leggera che concatena gli output del blocco globale, della coordinate attention e della connessione residua, seguita da una convoluzione 1×1 per integrare le rappresentazioni locali e globali.
3. Varianti Scalabili: L'architettura è istanziata in tre dimensioni: Tiny (204.67K parametri), Medium (609.36K) e Large (858.13K), consentendo la flessibilità di dispiegamento in base a specifici vincoli hardware.

Contributi Chiave

1. Affix Attention Block: Un meccanismo di attenzione innovativo che codifica congiuntamente le informazioni posizionali globali e locali utilizzando la linear self-attention e la coordinate attention, integrate tramite una strategia di fusione ternaria.
2. Dilated Bottleneck Blocks: Due design di blocchi efficienti che espandono il campo recettivo utilizzando convoluzioni dilatate mantenendo bassi i FLOPs e una stabilità di ottimizzazione attraverso le connessioni residue.
3. Architettura Ultra-tiny: L'integrazione sistematica di questi componenti in UtVAA, che raggiunge un'accuratezza competitiva con meno di un milione di parametri.
4. Validazione Empirica: Valutazione completa su benchmark standard (CIFAR-10, CIFAR-100) e dataset agricoli reali (PlantVillage-Tomato, SLIF-Tomato).

Risultati Sperimentali
Gli autori hanno valutato UtVAA contro CNN leggere allo stato dell'arte (MobileNet-V2, ShuffleNet-V2, SqueezeNet) e ViT (MobileViT, DeiT, PiT).

• Benchmark CIFAR: UtVAA-Large ha ottenuto la massima accuratezza Top-1 sia su CIFAR-10 (93.34%) che su CIFAR-100 (70.97%), superando tutti i metodi confrontati pur mantenendo un numero di parametri significativamente inferiore rispetto ai grandi ViT. UtVAA-Tiny ha raggiunto il 90.46% su CIFAR-10 con soli 204.67K parametri e 53.95M FLOPs, dimostrando un rapporto accuratezza-complessità superiore.
• Dataset Malattie delle Piante: Sul dataset PlantVillage-Tomato, UtVAA-Tiny ha raggiunto un'accuratezza Top-1 del 99.61%, superando MobileNet-V2 (99.45%) e MobileViT (99.28%) con meno parametri. Sul più impegnativo dataset in-field SLIF-Tomato, ha raggiunto un'accuratezza del 99.66%, superando tutti i baseline.
• Efficienza: UtVAA-Tiny ha dimostrato la più bassa latenza di inferenza (8.41ms su PlantVillage, 7.45ms su SLIF) tra tutti i modelli testati, inclusi i baseline basati su transformer, confermando la sua idoneità per il dispiegamento real-time su dispositivi edge.
• Studi di Ablazione: La rimozione del modulo di coordinate attention ha causato un calo significativo dell'accuratezza (dal 70.97% al 67.91% su CIFAR-100), validando il suo contributo alla rappresentazione delle caratteristiche spaziali.

Significatività e Rivendicazioni
Il documento afferma che UtVAA dimostra che i modelli di visione basati su transformer possono essere sistematicamente riprogettati in architetture ultra-tiny senza una perdita significativa di prestazioni discriminative. Sostituendo la computazionalmente proibitiva self-attention con la proposta Affix Attention e utilizzando i dilated bottleneck, il modello raggiunge un equilibrio tra modellazione del contesto globale ed efficienza computazionale. Gli autori sostengono che questo approccio offre un'alternativa architettonica fondata alla compressione post-hoc, rendendo i vision transformer ad alte prestazioni praticabili per dispositivi mobili ed edge dove memoria e FLOPs sono strettamente limitati. Il lavoro suggerisce che tali design ultra-compatti sono particolarmente efficaci per applicazioni come l'agricoltura di precisione, dove l'inferenza in tempo reale su hardware con risorse limitate è critica. Il lavoro futuro è identificato nel focus sull'ottimizzazione consapevole dell'hardware per microcontrollori e nell'estensione dell'architettura a compiti di predizione densa come l'object detection e la segmentazione semantica.