A Study on Inference Latency for Vision Transformers on Mobile Devices

Dit onderzoek analyseert de inferentie-latentie van Vision Transformers op mobiele apparaten door ze te vergelijken met CNN's en gebruikt de gewonnen inzichten om een dataset te ontwikkelen waarmee de prestaties van nieuwe ViT-architecturen nauwkeurig kunnen worden voorspeld.

De kern

Stel je voor dat je een superkrachtige camera op je telefoon hebt, die niet alleen foto's maakt, maar ook begrijpt wat er op de foto te zien is. Dit heet "Computer Vision". Vroeger deden dit soort slimme camera's dit alleen op enorme, dure computers in de cloud. Maar nu willen we dat het direct op je telefoon gebeurt, zodat het sneller is en je privacy beter beschermd blijft.

Deze paper is als het ware een uitgebreid testrapport van onderzoekers die kijken hoe goed deze slimme camera's (die ze "Vision Transformers" of ViTs noemen) werken op mobiele telefoons.

Hier is de uitleg in gewone taal, met een paar handige vergelijkingen:

1. Het Probleem: De "Nieuwe" vs. de "Oude" Slimme Camera

Vroeger gebruikten telefoons een oud type slimme camera, gebaseerd op CNN's (Convolutional Neural Networks). Je kunt je dit voorstellen als een vakkundige metselaar die een muur bouwt: hij kijkt naar één baksteen tegelijk, legt er een nieuwe bij, en bouwt zo stap voor stap een heel patroon op. Dit is heel efficiënt en snel.

De nieuwe generatie, de Vision Transformers (ViTs), werkt anders. Stel je voor dat deze camera een gastheer op een groot feest is. In plaats van één voor één te kijken, kijkt de gastheer naar iedereen in de kamer tegelijk en vraagt zich af: "Wie kent wie? Wie staat in groepjes?" Dit heet "zelf-attentie".

• Het nadeel: Dit is veel meer werk voor de gastheer. Als er 100 mensen zijn, moet hij 100x100 relaties checken. Op een krachtige computer is dit geen probleem, maar op een telefoon (die minder kracht en minder batterij heeft) kan dit de telefoon laten vertragen of de batterij leegzuigen.

2. Wat hebben de onderzoekers gedaan?

De onderzoekers van de Universiteit van Zuid-Californië wilden weten: "Zijn die nieuwe ViTs wel snel genoeg voor onze telefoons, en waarom werken ze soms traag?"

Ze hebben drie dingen gedaan:

1. Een grote test: Ze hebben 190 echte ViT-modellen getest op 6 verschillende telefoons (zoals een iPhone en verschillende Samsungs). Ze vergeleken deze met 102 oude CNN-modellen.
2. De "Simulator": Omdat ze niet 1000 echte modellen konden bouwen en testen, bouwden ze een virtuele fabriek. Ze creëerden 1000 nieuwe, fictieve ViT-modellen met verschillende onderdelen (zoals verschillende soorten "gastheren" of "metselaars").
3. De Voorspeller: Ze leerden een computerprogramma (een "voorspeller") om te kijken naar de bouwplannen van deze modellen en te zeggen: "Als je dit model op deze telefoon draait, duurt het precies X milliseconden."

3. De Belangrijkste Ontdekkingen (De "Aha!"-momenten)

Hier zijn de belangrijkste lessen die ze leerden, vertaald naar alledaagse situaties:

• FLOPS (Rekenkracht) is niet alles:
  Vaak kijken mensen naar het aantal berekeningen (FLOPS) om te zeggen of iets snel is. Maar bij ViTs is dat net als kijken naar het aantal woorden in een boek om te zeggen hoe lang het duurt om te lezen.

  • De analogie: Een CNN leest woorden één voor één (snel). Een ViT moet eerst een samenvatting maken van wie met wie praat (traag, zelfs als het boek even lang is). De onderzoekers ontdekten dat ViTs vaak traagere zijn dan CNNs, zelfs als ze evenveel "rekenwerk" doen.

• Het geheugen is de bottleneck (De smalle deur):
  De oude CNNs werken goed als de "rekenmachine" snel is. De nieuwe ViTs werken goed als de "geheugenband" breed is.

  • De analogie: Stel je een fabriek voor. Bij CNNs is de machine (de CPU) traag, maar het transportbandje (geheugen) is breed. Bij ViTs is de machine supersnel, maar het transportbandje is een smalle gang. Alles moet door die ene smalle gang, waardoor het vastloopt. Op telefoons is dit bandje vaak erg smal, waardoor ViTs vastlopen.

• De "GELU" Activeringsfunctie (De onvoorspelbare koffieautomaat):
  In de code van deze modellen zit een knop die "GELU" heet.

  • De analogie: Stel je een koffieautomaat voor die soms 2 seconden duurt voor een kopje koffie, en soms 6 seconden, afhankelijk van de temperatuur van het water. Je kunt niet voorspellen hoe lang het duurt door alleen te kijken naar hoeveel koffie er in zit. Zo werkt GELU ook: de tijd die het kost, hangt af van de inhoud van de foto, niet alleen van de grootte van het model. Dit maakt het lastig om de snelheid te voorspellen.

• Verschillende talen (Frameworks):
  Ze testten ook of het uitmaakt of je het model in "PyTorch" of "TensorFlow" (twee verschillende programmeertalen voor AI) draait.

  • De analogie: Het is alsof je een auto in Nederland rijdt (PyTorch) versus in Duitsland (TensorFlow). De auto is hetzelfde, maar de wegen en verkeersborden zijn anders. Soms is de route in Duitsland veel sneller dan in Nederland, en soms andersom. De onderzoekers zagen dat de snelheid enorm verschilt afhankelijk van welk "besturingssysteem" je gebruikt.

4. Waarom is dit belangrijk voor jou?

Dit onderzoek is niet alleen voor wetenschappers. Het helpt ontwikkelaars om:

1. Slimmere apps te bouwen: Ze kunnen nu voorspellen of een nieuwe, slimme functie (zoals augmented reality of live vertaling) wel snel genoeg werkt op jouw oude telefoon voordat ze het überhaupt bouwen.
2. Batterij te sparen: Door te weten welke modellen traag zijn, kunnen ze kiezen voor de snelste versie die nog steeds slim genoeg is.
3. Privacy te bewaken: Omdat ze weten hoe ze modellen kunnen splitsen (een deel op de telefoon, een deel in de cloud), kunnen ze privacy bewaken zonder dat je telefoon vastloopt.

Conclusie

De onderzoekers hebben bewezen dat de nieuwe "Vision Transformers" heel krachtig zijn, maar dat ze op telefoons vaak vastlopen door geheugenproblemen en onvoorspelbare software-gedragingen.

Maar het goede nieuws is: ze hebben een grote database en een voorspellingsmachine gemaakt. Hiermee kunnen ontwikkelaars nu als een architect een huis ontwerpen en precies weten: "Ja, dit huis past op deze kavel en kost precies zoveel tijd om te bouwen." Dit maakt het makkelijker om super-slimme AI-functies op je telefoon te krijgen zonder dat je batterij plat gaat.

Technische samenvatting

Probleemstelling

Hoewel Vision Transformers (ViTs) de prestaties van traditionele Convolutional Neural Networks (CNNs) op het gebied van computer visie hebben verbeterd, brengen ze aanzienlijke uitdagingen met zich mee voor implementatie op mobiele apparaten. De zelf-attentie mechanismen (self-attention) die ViTs gebruiken, zijn computationeel duur en leiden tot een kwadratische complexiteit in relatie tot het aantal tokens. Mobiele apparaten hebben beperkte rekenkracht, geheugenbandbreedte en RAM-geheugen.

Bestaande literatuur focust vaak op:

1. Training op krachtige cloud-GPU's, wat niet representatief is voor inferentie op mobiele CPU's.
2. Prestaties van CNN's of NLP-Transformers, terwijl moderne ViTs hybride architecturen hebben.
3. Gebruik van slechts één machine learning (ML) framework (meestal TensorFlow Lite), terwijl de meeste state-of-the-art (SOTA) ViTs in PyTorch worden ontwikkeld.

Het ontbreekt aan een grondig kwantitatief inzicht in de inferentie-latentie van ViTs op mobiele platforms, wat essentieel is voor real-time toepassingen zoals augmented reality en bewegingsanalyse.

Methodologie

De auteurs hebben een uitgebreide empirische studie uitgevoerd die bestaat uit drie hoofdfasen:

1. Empirische Analyse van Bestaande Modellen:

   • Er zijn 190 real-world ViTs (uit Timm en HuggingFace) en 102 real-world CNNs geselecteerd.
   • Deze modellen zijn gedeployd op 6 mobiele platforms (o.a. Google Pixel 4, Samsung Galaxy S10, iPhone 12) met verschillende SoC's (Snapdragon, Exynos, Apple Silicon).
   • Metingen zijn uitgevoerd op mobiele CPU's (omdat veel ViT-operaties nog niet ondersteund worden op mobiele GPU's in ML-frameworks) en in twee frameworks: PyTorch Mobile en TensorFlow Lite (TFLite).
   • Er is gekeken naar verschillende configuraties: CPU-kerncombinaties (heterogene cores), kwantisatie (Int8 vs Float32) en invoeroplossingen.

2. Ontwikkeling van een Synthetische Dataset:

   • Om de beperkingen van bestaande modellen te overwinnen en een robuuste dataset te creëren, hebben de auteurs een zoekruimte (search space) ontworpen voor het genereren van synthetische ViTs.
   • Deze synthetische ViTs gebruiken representatieve bouwstenen van SOTA-efficient ViTs (zoals Separable Convolution, Spatial-Reduction Attention, verschillende normalisatiemethoden en activatiefuncties).
   • Er zijn 1000 synthetische ViTs gegenereerd en gemeten, wat resulteerde in een dataset van in totaal 1190 modellen (190 real + 1000 synthetisch) over 6 platformen en 2 frameworks.

3. Latentie Voorspelling:

   • Op basis van de dataset zijn ML-voorspellers getraind om de inferentie-latentie te voorspellen zonder het model daadwerkelijk te draaien.
   • Er zijn drie methoden vergeleken: Lasso (lineair), Random Forest (RF) en Gradient Boosted Decision Trees (GBDT).
   • De voorspellers zijn getraind op 900 synthetische ViTs en getest op de overige 100 synthetische en de 190 real-world ViTs.

Belangrijkste Bijdragen

1. Kwantitatieve Vergelijking ViT vs. CNN: Een gedetailleerde analyse van 190 ViTs en 102 CNNs die laat zien dat ViTs op mobiele CPU's over het algemeen een hogere latentie hebben dan CNNs met een vergelijkbaar aantal FLOPs.
2. Inzicht in Latentie-factoren: Identificatie van de fundamentele oorzaken van latentiepatronen:
   • Geheugenformaten: Wisselen tussen NCHW en NHWC formaten veroorzaakt overhead door transposities en reshape-operaties.
   • Activatiefuncties: De latentie van GELU-activaties is niet lineair en hangt af van de invoerwaarden (vanwege benaderingen in de C-libraries), wat FLOPs tot een onbetrouwbare proxy maakt.
   • ML Frameworks: Verschillende implementaties (PyTorch vs. TFLite) en gebruikte rekenbibliotheken (XNNPACK vs. QNNPACK) leiden tot grote verschillen in prestaties, vooral bij kwantisatie.
3. Gepubliceerde Dataset: Een openbare dataset met profielinformatie voor 1000 synthetische en 190 real-world ViTs, inclusief metingen op diverse hardware en frameworks.
4. Hoge Nauwkeurige Voorspellers: Het aantonen dat eenvoudige ML-voorspellers (zoals GBDT) getraind op synthetische data, zeer nauwkeurige voorspellingen kunnen doen voor nieuwe ViT-architecturen.

Resultaten

• Prestatieverschillen: ViTs zijn vaak geheugengebonden (memory-bound) in plaats van rekengebonden. Verhoging van de geheugenbandbreedte versnelt ViTs aanzienlijk meer dan het verhogen van de CPU-kloksnelheid.
• Latentie vs. FLOPs: FLOPs is een onnauwkeurige maatstaf voor ViT-latentie. Een ViT met 5.00 GFLOPs kan 1,75x trager zijn dan een CNN met 4.95 GFLOPs.
• Voorspelling Nauwkeurigheid:
  • Voor synthetische ViTs op mobiele CPU's bereikte de GBDT-voorspeller een Mean Average Percentage Error (MAPE) van 4,4% (PyTorch) en 4,8% (TFLite).
  • Voor real-world ViTs (die niet in de trainingsset zaten) was de fout 8,2% (PyTorch) en 6,1% (TFLite).
  • Op GPU's waren de resultaten ook goed, met een fout van 2,1% (PyTorch) en 8,9% (TFLite).
• Invloed van Kwantisatie: Kwantisatie (Int8) leidt tot prestatieverbetering op efficiënte (kleine) cores, maar kan op krachtige (grote) cores leiden tot degradatie, vooral bij lineaire operaties in PyTorch Mobile vanwege minder efficiënte bibliotheken voor gehele getallen.

Significantie en Toepassingen

De studie heeft grote implicaties voor de ontwikkeling en implementatie van AI op mobiele apparaten:

1. Neural Architecture Search (NAS): De voorspellers kunnen worden gebruikt om automatisch architecturen te ontwerpen die voldoen aan strikte latentie-eisen op specifieke mobiele apparaten, zonder dat elk kandidaat-model fysiek moet worden gedraaid. Dit bespaart enorme rekentijd en kosten.
2. Gedeelde Inferentie (Split Inference): Voor toepassingen waarbij privacy belangrijk is, kan de voorspelling helpen bepalen waar een model het beste kan worden opgesplitst tussen het mobiele apparaat en de cloud, om een optimale balans te vinden tussen lokale rekentijd en transmissiekosten.
3. Ontwerprichtlijnen: De bevindingen geven ontwikkelaars concrete richtlijnen, zoals het optimaliseren van geheugenformaten (NHWC vs NCHW) en het kiezen van geschikte activatiefuncties en frameworks om de latentie op mobiele apparaten te minimaliseren.

Kortom, dit werk levert de eerste uitgebreide benchmark en voorspellingsframework voor ViTs op mobiele hardware, en weerlegt het idee dat ViTs per definitie te traag zijn voor mobiele apparaten, mits ze correct worden geoptimaliseerd en geselecteerd.