A Study on Inference Latency for Vision Transformers on Mobile Devices

Diese Studie analysiert die Inferenz-Latenz von Vision Transformern auf mobilen Geräten im Vergleich zu CNNs und entwickelt darauf aufbauend einen Datensatz, der eine präzise Vorhersage der Latenz neuer ViT-Architekturen ermöglicht.

Das Wesentliche

📱 Das große Rennen: Warum "Vision Transformers" auf dem Handy manchmal stolpern

Stellen Sie sich vor, Sie haben zwei verschiedene Arten von Künstlichen Intelligenzen (KI), die Bilder auf Ihrem Smartphone erkennen sollen (z. B. um zu sagen: "Das ist eine Katze").

1. Die alten Kämpfer (CNNs): Das sind wie erfahrene Handwerker. Sie schauen sich ein Bild an und arbeiten sich Stück für Stück von links nach rechts, von oben nach unten durch. Sie sind sehr effizient und kennen die Regeln ihres Handwerks genau.
2. Die neuen Stars (Vision Transformers oder ViTs): Das sind wie brillante Genies, die das ganze Bild auf einmal betrachten. Sie schauen sich jeden einzelnen Fleck des Bildes an und fragen sich: "Wie hängt dieser Fleck mit jedem anderen Fleck zusammen?" Das macht sie extrem schlau und präzise, aber es ist auch eine riesige Aufgabe.

Das Problem: Diese Genies (ViTs) sind auf einem leistungsfähigen Computer im Rechenzentrum (der Cloud) super schnell. Aber auf Ihrem kleinen Smartphone? Da werden sie oft langsam, zäh und verbrauchen viel Akku. Die Forscher aus dieser Studie wollten herausfinden: Warum ist das so, und wie können wir das ändern?

---

🔍 Was haben die Forscher entdeckt? (Die drei großen Geheimnisse)

Die Forscher haben 190 verschiedene "Genie-Modelle" (ViTs) und 102 "Handwerker-Modelle" (CNNs) auf verschiedenen Handys getestet. Hier sind ihre wichtigsten Entdeckungen, erklärt mit einfachen Vergleichen:

1. Der Speicher-Engpass (Die überfüllte Bibliothek)

• Die Analogie: Stellen Sie sich vor, ein Handwerker (CNN) braucht nur ein kleines Werkzeugkästchen. Ein Genie (ViT) hingegen braucht eine ganze Bibliothek voller Bücher, um alle Zusammenhänge zu verstehen.
• Die Erkenntnis: Handys haben wenig RAM (Arbeitsspeicher). Die ViTs brauchen viel mehr Platz als CNNs, selbst wenn sie ähnlich "klug" aussehen. Wenn der Speicher voll ist, muss das Handy ständig hin- und herlaufen, um Daten zu holen. Das kostet Zeit.
• Das Ergebnis: ViTs sind oft speicherhungrig. Wenn Sie die Speicherbandbreite (die Geschwindigkeit, mit der Daten fließen) erhöhen, werden ViTs viel schneller. Aber wenn Sie nur den Prozessor (den Motor) schneller machen, hilft das weniger.

2. Der "GELU"-Zaubertrank (Die Laune der Aktivierungsfunktion)

• Die Analogie: In der KI gibt es eine Funktion namens "GELU", die wie ein Torwächter funktioniert. Sie entscheidet, welche Informationen weitergeleitet werden.
• Die Erkenntnis: Der Wächter ist launisch! Wenn er bestimmte Zahlen sieht, ist er schnell. Bei anderen Zahlen wird er langsam und überlegt lange. Das ist wie ein Kellner, der bei einer Bestellung von "Pizza" sofort losläuft, aber bei "Pizza mit Ananas" erst 5 Minuten lang nachdenkt.
• Das Problem: Man kann die Rechenzeit nicht einfach durch Zählen der Aufgaben (FLOPs) vorhersagen, weil die "Laune" des Wächters von den echten Bildinhalten abhängt. Das macht die Vorhersage schwierig.

3. Der Übersetzer-Problem (ML-Frameworks)

• Die Analogie: Stellen Sie sich vor, Sie haben zwei verschiedene Übersetzer (z. B. PyTorch und TensorFlow), die die Befehle der KI für das Handy übersetzen müssen.
• Die Erkenntnis: Manchmal übersetzt der eine Übersetzer einen Satz perfekt und schnell. Der andere übersetzt denselben Satz umständlich und langsam, weil er die Daten erst umsortieren muss (z. B. von "Reihenweise" zu "Spaltenweise").
• Das Ergebnis: Es kommt sehr darauf an, welche Software-Brille (Framework) Sie aufsetzen. Ein und dasselbe Modell kann auf demselben Handy doppelt so lange brauchen, nur weil eine andere Software genutzt wird.

---

🛠️ Die Lösung: Ein "Wetterbericht" für KI-Modelle

Da es zu teuer und zu langsam wäre, jedes neue KI-Model auf echten Handys zu testen, haben die Forscher eine clevere Idee entwickelt:

1. Der Bauplan (Suchraum): Sie haben einen riesigen Baukasten erstellt, mit dem sie 1.000 künstliche KI-Modelle zusammenbauen konnten. Diese Modelle nutzen die besten Bausteine der aktuellen Forschung.
2. Das Mess-Experiment: Sie haben diese 1.000 Modelle auf 6 verschiedenen Handys (von Google, Samsung, Apple etc.) getestet und gemessen, wie lange sie brauchen.
3. Der Kristallkugel-Effekt (Vorhersage): Mit diesen Daten haben sie einen einfachen "Wetterbericht" (einen mathematischen Vorhersage-Algorithmus) trainiert.

Was kann dieser Wetterbericht?
Er kann Ihnen sagen: "Wenn Sie ein KI-Modell mit diesen Eigenschaften bauen, wird es auf Ihrem iPhone XS etwa 50 Millisekunden brauchen."
Das ist unglaublich genau (oft mit weniger als 5% Fehler), auch für Modelle, die noch gar nicht existieren!

---

🚀 Warum ist das wichtig?

Diese Studie ist wie ein Werkzeugkasten für Entwickler:

• Schnelleres Design: Statt wochenlang Modelle zu bauen und auf dem Handy zu testen, können Entwickler jetzt den "Wetterbericht" nutzen, um sofort zu sehen, welche Modelle schnell und welche zu langsam sind.
• Bessere Apps: Das bedeutet, dass wir in Zukunft schärfere, schnellere KI-Apps auf unseren Handys haben werden (z. B. für Augmented Reality oder sofortige Bildanalyse), ohne dass das Handy überhitzt oder der Akku leer ist.

Kurz gesagt: Die Forscher haben herausgefunden, warum die neuen KI-Genies auf Handys manchmal träge sind, und haben eine Methode entwickelt, um genau vorherzusagen, wie schnell sie sein werden – bevor sie überhaupt gebaut werden.

Technische Zusammenfassung

1. Problemstellung

Mit dem Aufkommen von Vision Transformern (ViTs) hat sich das Feld der Computer Vision revolutioniert, da diese Modelle oft höhere Genauigkeit als traditionelle Convolutional Neural Networks (CNNs) erreichen. Allerdings sind ViTs auf mobilen Geräten mit begrenzten Ressourcen (Rechenleistung, Speicher, Energie) schwer zu deployen.
Das Hauptproblem besteht darin, dass die Inferenz-Latenz (Verzögerung bei der Vorhersage) von ViTs auf mobilen Plattformen nicht gut verstanden ist. Bisherige Studien konzentrierten sich oft auf Cloud-GPUs oder nur auf CNNs. Zudem ist die gängige Metrik „FLOPs" (Floating Point Operations) ein unzureichender Proxy für die tatsächliche Latenz bei ViTs, da Faktoren wie Speicherzugriffsmuster, Aktivierungsfunktionen und Framework-spezifische Implementierungen einen massiven Einfluss haben. Es fehlt an systematischen Daten, um die Leistung neuer ViT-Architekturen auf mobilen CPUs und GPUs vorherzusagen, was für Anwendungen wie Neural Architecture Search (NAS) oder kollaborative Inferenz hinderlich ist.

2. Methodik

Die Autoren verfolgten einen dreistufigen Ansatz:

• Empirische Analyse realer Modelle:

  • Es wurden 190 reale ViT-Modelle (aus Timm und HuggingFace) und 102 reale CNNs analysiert.
  • Die Modelle wurden auf 6 verschiedenen mobilen Plattformen (u.a. Snapdragon, Exynos, Apple A-Serie) mit zwei ML-Frameworks (PyTorch Mobile und TensorFlow Lite) getestet.
  • Es wurden Messungen auf mobilen CPUs durchgeführt (da viele ViT-Operationen auf mobilen GPUs noch nicht unterstützt werden) unter verschiedenen Kern-Kombinationen (heterogene Kerne: Large, Medium, Small) und Quantisierungsstufen (Float vs. Int8).

• Erstellung eines synthetischen Datensatzes:

  • Um die Lücke zwischen realen Modellen und der Notwendigkeit großer Trainingsdaten für Vorhersagemodelle zu schließen, wurde ein Suchraum für synthetische ViTs entworfen.
  • Dieser Suchraum nutzt repräsentative Bausteine moderner effizienter ViTs (z. B. SepConv, Spatial-Reduction Attention, verschiedene Normalisierungen und Aktivierungsfunktionen).
  • Es wurden 1000 synthetische ViTs generiert und deren Latenz gemessen, um einen umfassenden Datensatz zu erstellen.

• Entwicklung von Latenz-Vorhersagemodellen:

  • Auf Basis des Datensatzes (900 synthetische Modelle zum Training, 100 zum Testen) wurden maschinelle Lern-Modelle (Lasso, Random Forest, Gradient Boosted Decision Trees - GBDT) trainiert.
  • Diese Modelle sagen die Latenz basierend auf Architektur-Features (z. B. FLOPs, Eingabe-/Ausgabegrößen, Speicherformat) voraus.

3. Wichtige Erkenntnisse und Ergebnisse

Die Studie liefert tiefgreifende technische Einblicke in die Leistungsmerkmale von ViTs auf mobilen Geräten:

• Latenz im Vergleich zu CNNs:

  • ViTs weisen bei ähnlicher FLOP-Zahl eine deutlich höhere Latenz auf als CNNs.
  • Speicherbindung (Memory-Bound): Im Gegensatz zu CNNs sind ViTs stark speicherbandbreitenlimitiert. Experimente mit variierter Speicherfrequenz zeigten, dass eine Erhöhung der Speicherfrequenz ViTs viel stärker beschleunigt als CNNs.
  • Speicherverbrauch: ViTs verbrauchen bei vergleichbarer Modellgröße mehr Arbeitsspeicher, und dieser Verbrauch skaliert schneller mit steigender Eingabeauflösung als bei CNNs.

• Einflussfaktoren auf die Latenz:

  • Speicherformat: Der Wechsel zwischen Channel-First (NCHW) und Channel-Last (NHWC) Formaten hat massive Auswirkungen. In PyTorch Mobile führt die Notwendigkeit von Transpose-Operationen für Self-Attention-Blöcke zu Overhead. Channel-Last-Formate (NHWC) erzielten hier bis zu 2,21-fache Beschleunigung bei Faltungen.
  • Aktivierungsfunktionen (GELU): Die Latenz der GELU-Aktivierungsfunktion ist nicht linear und hängt stark von den Eingabewerten ab (aufgrund verschiedener Approximationen in der C-Bibliothek libm). Dies macht FLOPs zu einem unzuverlässigen Latenz-Proxy.
  • Framework-Unterschiede: Die Implementierung in PyTorch Mobile vs. TensorFlow Lite unterscheidet sich erheblich. Beispielsweise zeigt PyTorch Mobile bei Quantisierung auf leistungsstarken Kernen eine Leistungsverschlechterung bei linearen Operationen (wegen des Wechsels zu QNNPACK), während TFLite hier effizienter ist.

• Vorhersagegenauigkeit:

  • Die trainierten GBDT-Modelle (Gradient Boosted Decision Trees) erreichten eine hohe Genauigkeit bei der Vorhersage der End-to-End-Latenz.
  • Synthetische ViTs: Fehler (MAPE) von ca. 4,4 % (PyTorch Mobile) und 4,8 % (TFLite) auf CPUs.
  • Reale ViTs: Die Modelle generalisierten gut auf reale Architekturen mit Fehlern von ca. 8,2 % (PyTorch Mobile) und 6,1 % (TFLite) auf CPUs.
  • Die Genauigkeit war auf mobilen GPUs ebenfalls hoch (bis zu 2,1 % Fehler auf PyTorch Mobile), wobei die Datenbasis hier kleiner war.

4. Hauptbeiträge

1. Quantitativer Vergleich: Eine umfassende Analyse von 190 ViTs und 102 CNNs, die zeigt, dass ViTs auf mobilen Geräten speicherintensiver und latenzempfindlicher sind als CNNs, trotz ähnlicher FLOPs.
2. Ursachenanalyse: Identifikation der fundamentalen Ursachen für Latenzmuster, insbesondere die Rolle von Speicherformaten (NCHW vs. NHWC), der nicht-linearen Natur von GELU-Aktivierungen und der Ineffizienzen in ML-Frameworks.
3. Datensatz-Release: Erstellung und Veröffentlichung eines einzigartigen Datensatzes mit Profiling-Daten für 1000 synthetische und 190 reale ViTs über 6 Plattformen und 2 Frameworks hinweg.
4. Praktische Anwendbarkeit: Demonstration, dass einfache ML-Vorhersagemodelle, die auf synthetischen Daten trainiert wurden, präzise genug sind, um in Neural Architecture Search (NAS) und kollaborativer Inferenz eingesetzt zu werden, um die Latenz neuer Architekturen vor dem Deployment zu schätzen.

5. Signifikanz und Ausblick

Diese Arbeit ist von großer Bedeutung für die Entwicklung effizienter KI auf dem Edge (Mobilgeräten). Sie widerlegt die Annahme, dass FLOPs allein ausreichen, um die Leistung von ViTs zu bewerten, und liefert ein Werkzeug (den Datensatz und die Vorhersagemodelle), das Entwicklern erlaubt, neue Transformer-Architekturen zu entwerfen, die spezifisch für die Hardware-Einschränkungen mobiler Geräte optimiert sind.

Die Ergebnisse ermöglichen es, die Kosten für das Trial-and-Error-Verfahren beim Training und Testen tausender Kandidaten-Architekturen zu senken. Zukünftige Arbeiten sollen die Vorhersagemodelle auf weitere Beschleuniger wie NPUs (Neural Processing Units) und DSPs ausweiten, sobald diese von den ML-Frameworks vollständig unterstützt werden.