UtVAA: Ultra-tiny Vision Transformer with Affix Attention for Mobile Image Classification

Technische Samenvatting: UtVAA: Ultra-tiny Vision Transformer met Affix Attention voor Mobile Beeldclassificatie

Probleemstelling
Hoewel Vision Transformers (ViTs) superieure representatiecapaciteiten hebben getoond in beeldclassificatie vergeleken met Convolutional Neural Networks (CNN's), wordt hun implementatie op hulpbronnenbeperkte mobiele en edge-apparaten gehinderd door de kwadratische zelf-aandachtcomplexiteit (self-attention complexity) en grote aantal parameters. Bestaande lichtgewicht architecturen (bijv. MobileNet, ShuffleNet) worstelen vaak met effectieve multi-schaal feature extractie en consistente hoge nauwkeurigheid over diverse scenario's heen. Bovendien degraderen niet-architecturale compressiemethoden zoals pruning en kwantisatie vaak de feature representatie. Er is een kritiek gat in het systematisch ontwerpen van "ultra-tiny" transformer modellen (minder dan een miljoen parameters) die een sterke discriminerende prestatie behouden terwijl ze zich houden aan strikte computationele budgetten.

Methodologie
Het artikel stelt UtVAA (Ultra-tiny Vision Transformer met Affix Attention) voor, een hiërarchische architectuur die is ontworpen om een balans te vinden tussen globale contextuele modellering en lokale feature extractie onder extreme beperkingen van middelen. Het framework integreert drie kerncomponenten:

1. Dilated Bottleneck Blocks: Om het receptieve veld efficiënt uit te breiden zonder het aantal parameters te verhogen, introduceren de auteurs twee varianten van Dilated Bottleneck blocks (met en zonder residual verbindingen). Deze maken gebruik van dilated depthwise en pointwise convoluties. De residual variant adresseert specifiek optimalisatiestabiliteit en vanishing gradient problemen. Dit ontwerp vermindert de computationele complexiteit met ongeveer 8–9 keer vergeleken met standaard convoluties, terwijl de multi-schaal context behouden blijft.
2. Affix Attention Block: Dit is de innovatieve kern van de architectuur, ontworpen om het verlies van ruimtelijke informatie te verzachten dat gebruikelijk is bij lineaire zelf-aandacht. Het maakt gebruik van een parallelle architectuur in plaats van een sequentiële, bestaande uit:
   • Local Representation Block: Gebruikt depthwise separable convoluties om fijnmazige features te vangen.
   • Global Representation Block: Implementeert een lineaire transformer formulering om langetermijnafhankelijkheden te modelleren met een lineaire schaling ten opzichte van het aantal patches, waardoor de kwadratische kosten van standaard zelf-aandacht worden vermeden.
   • Coordinate Attention: Codeert ruimtelijke afhankelijkheden door globale pooling langs de hoogte- en breedteassen apart uit te voeren, waardoor directionele informatie wordt gevangen.
   • Ternary Fusion: Een lichtgewicht strategie die de outputs van de globale block, de coordinate attention en de residual verbinding concateneert, gevolgd door een 1×1 convolutie om lokale en globale representaties te integreren.
3. Schaalbare Varianten: De architectuur wordt geïnstantieerd in drie formaten: Tiny (204,67K parameters), Medium (609,36K) en Large (858,13K), wat flexibiliteit biedt voor implementatie op basis van specifieke hardwarebeperkingen.

Belangrijkste Bijdragen

1. Affix Attention Block: Een nieuw aandachtsmechanisme dat globale en lokale positionele informatie gezamenlijk codeert met behulp van lineaire zelf-aandacht en coordinate attention, geïntegreerd via een ternary fusion strategie.
2. Dilated Bottleneck Blocks: Twee efficiënte block-ontwerpen die het receptieve veld uitbreiden met behulp van dilated convoluties, terwijl ze een laag aantal FLOPs en stabiele optimalisatie behouden door middel van residual verbindingen.
3. Ultra-tiny Architectuur: De systematische integratie van deze componenten in UtVAA, die concurrerende nauwkeurigheid bereikt met minder dan een miljoen parameters.
4. Empirische Validatie: Uitgebreide evaluatie op standaard benchmarks (CIFAR-10, CIFAR-100) en real-world agrarische datasets (PlantVillage-Tomato, SLIF-Tomato).

Experimentele Resultaten
De auteurs evalueerden UtVAA tegen state-of-the-art lichtgewicht CNN's (MobileNet-V2, ShuffleNet-V2, SqueezeNet) en ViTs (MobileViT, DeiT, PiT).

• CIFAR Benchmarks: UtVAA-Large behaalde de hoogste Top-1 nauwkeurigheid op zowel CIFAR-10 (93,34%) als CIFAR-100 (70,97%), waarbij het alle vergeleken methoden overtrof terwijl het een aanzienlijk lager aantal parameters behield dan grote ViTs. UtVAA-Tiny behaalde 90,46% op CIFAR-10 met slechts 204,67K parameters en 53,95M FLOPs, wat een superieure nauwkeurigheid-complexiteit trade-off demonstreert.
• Plant Disease Datasets: Op de PlantVillage-Tomato dataset behaalde UtVAA-Tiny een Top-1 nauwkeurigheid van 99,61%, waarmee het MobileNet-V2 (99,45%) en MobileViT (99,28%) overtrof met minder parameters. Op de meer uitdagende in-field SLIF-Tomato dataset behaalde het een nauwkeurigheid van 99,66%, waarmee het alle baselines overtrof.
• Efficiëntie: UtVAA-Tiny vertoonde de laagste inferentie latentie (8,41ms op PlantVillage, 7,45ms op SLIF) onder alle geteste modellen, inclusief transformer-gebaseerde baselines, wat de geschiktheid voor real-time edge deployment bevestigt.
• Ablatie studies: Het verwijderen van de coordinate attention module resulteerde in een merkbare daling in nauwkeurigheid (van 70,97% naar 67,91% op CIFAR-100), wat de bijdrage ervan aan ruimtelijke feature representatie valideert.

Significantie en Claims
Het artikel claimt dat UtVAA aantoont dat transformer-gebaseerde visiemodellen systematisch kunnen worden herontworpen tot ultra-tiny architecturen zonder significant verlies in discriminerend vermogen. Door de computationeel kostbare zelf-aandacht te vervangen door de voorgestelde Affix Attention en gebruik te maken van dilated bottlenecks, bereikt het model een balans tussen globale context modellering en computationele efficiëntie. De auteurs stellen dat deze aanpak een principieel architecturaal alternatief biedt voor post-hoc compressie, waardoor high-performance vision transformers levensvatbaar worden voor mobiele en edge apparaten waar geheugen en FLOPs strikt beperkt zijn. Het werk suggereert dat dergelijke ultra-compacte ontwerpen bijzonder effectief zijn voor toepassingen zoals precisielandbouw, waar real-time inferentie op hulpbronnenbeperkte hardware cruciaal is. Toekomstig werk wordt geïdentificeerd als gericht op hardware-bewuste optimalisatie voor microcontrollers en het uitbreiden van de architectuur naar dense prediction taken zoals objectdetectie en semantische segmentatie.