A Study on Inference Latency for Vision Transformers on Mobile Devices

Cette étude analyse les performances de latence des Vision Transformers sur les appareils mobiles en les comparant aux réseaux de neurones convolutifs, afin de créer un jeu de données permettant de prédire avec précision la latence d'inférence de nouvelles architectures ViT.

L'essentiel

📱 Le Défi : Faire courir des "Super-Cerveaux" sur des "Petites Voitures"

Imaginez que les Vision Transformers (ViT) sont comme des super-cerveaux artificiels capables de voir et de comprendre des images avec une précision incroyable (comme un détective de police très doué). D'un autre côté, les téléphones mobiles sont comme de petites voitures économiques : elles sont pratiques et partout, mais elles n'ont pas le moteur puissant ni le grand coffre de mémoire d'un camion de livraison (un serveur dans le cloud).

Le problème ? Ces super-cerveaux sont très gourmands. Quand on essaie de les faire tourner sur une petite voiture (votre téléphone), ils ont tendance à s'essouffler, à chauffer et à mettre beaucoup de temps à répondre. C'est ce qu'on appelle la latence (le temps de réaction).

Les chercheurs de cette étude (Zhuojin Li et son équipe) se sont demandé : « Comment faire en sorte que ces super-cerveaux fonctionnent vite et bien sur nos téléphones, sans faire exploser la batterie ? »

🔍 Ce qu'ils ont fait : Une enquête en trois actes

Au lieu de deviner, ils ont mené une enquête scientifique très précise en trois étapes :

1. Le Duel : Le Transformer contre le Vieux Connu (CNN)

Pendant des années, les téléphones utilisaient des "vieux modèles" de reconnaissance d'images appelés CNN (des réseaux de neurones convolutifs). C'est comme une vieille voiture fiable mais lente.
Les chercheurs ont comparé 190 nouveaux modèles ViT (les super-cerveaux) avec 102 vieux modèles CNN.

• La découverte surprise : Même si les deux modèles font le même "travail théorique" (ils calculent le même nombre d'opérations mathématiques, appelées FLOPS), le nouveau ViT est souvent plus lent sur un téléphone.
• L'analogie : Imaginez deux livreurs. L'un (CNN) porte des boîtes lourdes mais simples. L'autre (ViT) porte des boîtes légères mais doit faire des allers-retours constants pour vérifier chaque objet avec ses voisins. Sur une route encombrée (le téléphone), le deuxième livreurs perd plus de temps à faire des allers-retours qu'à porter les boîtes.

2. L'Autopsie : Pourquoi ça ralentit ?

Ils ont ouvert le capot pour voir ce qui freine le moteur. Ils ont trouvé trois coupables principaux :

• Le format de la mémoire (La boîte à outils) : Les téléphones sont très sensibles à la façon dont les données sont rangées. Parfois, le ViT doit changer l'ordre de ses données (comme passer d'une boîte rangée par couleur à une boîte rangée par taille) avant de les utiliser. Ce changement prend du temps et consomme de l'énergie.
• Le "GELU" (Le calculateur capricieux) : Les ViT utilisent une fonction mathématique spéciale appelée GELU pour prendre des décisions. Le problème ? La vitesse à laquelle elle calcule dépend de la valeur du chiffre qu'elle reçoit. C'est comme un calculateur qui est super rapide si vous lui donnez le nombre 1, mais qui prend une éternité si vous lui donnez le nombre 2,5. Impossible de prédire la vitesse juste en regardant la taille du calcul !
• Les différents logiciels (Les mécaniciens) : Les chercheurs ont testé deux "mécaniciens" différents (PyTorch et TensorFlow). Ils ont découvert que le même modèle peut aller deux fois plus vite avec l'un que avec l'autre, simplement parce qu'ils utilisent des outils différents pour faire le même travail.

3. La Solution : Une "Carte Météo" pour les développeurs

Au lieu de tester chaque nouveau modèle un par un (ce qui prendrait des mois), les chercheurs ont créé un jeu de données géant.

• Ils ont construit 1 000 modèles ViT "de synthèse" (des modèles factices mais réalistes) avec toutes les combinaisons possibles de pièces.
• Ils les ont fait tourner sur 6 téléphones différents (des iPhones, des Samsung, des Google Pixel, etc.).
• Le résultat : Ils ont entraîné un petit "assistant IA" (un prédicteur) qui apprend de ces 1 000 modèles.

🎯 À quoi ça sert ? (La magie de la prédiction)

Grâce à cet assistant, les développeurs peuvent maintenant :

1. Concevoir sans tester : Avant même de construire un nouveau modèle pour un téléphone, ils peuvent demander à l'assistant : "Si je change cette pièce, combien de temps va-t-il prendre ?". L'assistant répond avec une précision de plus de 95 %.
2. Partager le travail (Inference Collaborative) : Si un modèle est trop lourd, l'assistant peut dire : "Faites le début du calcul sur le téléphone, et envoyez le reste au cloud pour finir". Cela permet d'avoir une réponse rapide sans surcharger le téléphone.

🏁 En résumé

Cette étude nous dit que les nouveaux modèles d'intelligence artificielle (ViT) sont puissants, mais qu'ils sont comme des voitures de course qui ne sont pas encore calibrées pour les routes de campagne (nos téléphones).

Les chercheurs ont créé une carte routière précise qui permet aux ingénieurs de savoir exactement comment ajuster ces voitures pour qu'elles roulent vite, sans consommer trop de carburant, et sans se bloquer dans les embouteillages de la mémoire. Grâce à cela, nous pourrons bientôt avoir des applications de réalité augmentée ou d'analyse vidéo ultra-rapides directement dans notre poche, sans avoir besoin d'être connectés à Internet.

Résumé technique

1. Problématique et Contexte

Les Vision Transformers (ViT) ont révolutionné la vision par ordinateur en offrant une précision supérieure aux réseaux de neurones convolutifs (CNN) traditionnels. Cependant, leur mécanisme d'auto-attention (self-attention) est computationnellement coûteux et gourmand en mémoire, ce qui pose des défis majeurs pour leur déploiement sur des appareils mobiles aux ressources limitées (CPU, RAM, bande passante).

L'article identifie trois lacunes dans la littérature existante :

• Manque d'évaluation sur mobile : La plupart des études se concentrent sur l'entraînement sur GPU cloud, négligeant les contraintes d'inférence sur mobile (mémoire limitée, latence critique).
• Architectures évolutives : Les travaux précédents sur le mobile se limitent souvent aux CNN ou aux Transformers NLP, ne tenant pas compte des architectures hybrides modernes des ViT.
• Impact des frameworks ML : Les études antérieures utilisent souvent un seul framework (ex: TensorFlow Lite), alors que les implémentations varient considérablement entre PyTorch Mobile et TFLite, affectant la latence.

L'objectif principal est de quantifier les caractéristiques de performance des ViT sur mobile, d'identifier les goulots d'étranglement et de développer un modèle de prédiction de latence précis pour des applications comme la recherche d'architecture neuronale (NAS) et l'inférence collaborative.

2. Méthodologie

L'étude repose sur une approche en trois étapes :

A. Analyse Comparative (190 ViT réels vs 102 CNN)

Les auteurs ont collecté 190 ViT réels (depuis Timm et HuggingFace) et les ont déployés sur 6 plateformes mobiles (incluant Google Pixel 4, Samsung Galaxy S10, iPhone 12, etc.) avec des architectures CPU hétérogènes (cœurs grands, moyens, petits).

• Mesures : Latence d'inférence, consommation mémoire, et décomposition par type d'opération (convolution, linéaire, matmul, activation, etc.).
• Frameworks : Comparaison entre PyTorch Mobile et TensorFlow Lite (TFLite).
• Optimisations : Étude de l'impact de la quantification (INT8 vs Float32).

B. Identification des Facteurs Clés

L'analyse a permis d'isoler trois facteurs critiques influençant la latence :

1. Format de mémoire (Memory Format) : La nécessité de transposer les tenseurs entre le format "channel-first" (NCHW, requis par les convolutions) et "channel-last" (NHWC, requis par l'attention) dans PyTorch Mobile crée des surcoûts de copie mémoire et de reformatage, absents dans TFLite.
2. Fonctions d'activation (GELU) : La latence de l'activation GELU (couramment utilisée dans les ViT) varie de manière discontinue selon les valeurs d'entrée (en raison de l'implémentation de la fonction erreur dans les bibliothèques C), rendant les estimations basées uniquement sur les FLOPs inexactes.
3. Bottleneck Mémoire : Les ViT sont plus sensibles aux limitations de bande passante mémoire que les CNN, en raison de leur faible intensité arithmétique (ratio calculs/accès mémoire).

C. Construction d'un Dataset Synthétique et Prédiction

Pour pallier le manque de données pour de nouvelles architectures, les auteurs ont conçu un espace de recherche pour générer 1000 ViT synthétiques avec des blocs de construction représentatifs (SepConv, Attention, Spatial-Reduction Attention, etc.).

• Dataset : Latences mesurées pour 1000 ViT synthétiques + 190 ViT réels sur 6 plateformes et 2 frameworks.
• Modèles de Prédiction : Entraînement de modèles d'apprentissage automatique (Lasso, Random Forest, Gradient Boosted Decision Trees - GBDT) pour prédire la latence en fonction des caractéristiques de l'architecture (taille des tenseurs, types d'opérations, formats de mémoire).

3. Résultats Principaux

Comparaison ViT vs CNN

• Latence : À nombre d'opérations (FLOPs) équivalent, les ViT sont systématiquement plus lents que les CNN sur mobile (ex: un ViT de 5 GFLOPs est 1,75x plus lent qu'un CNN de 4,95 GFLOPs).
• Mémoire : Les ViT consomment plus de mémoire intermédiaire et cette consommation croît plus rapidement avec la résolution d'entrée que pour les CNN.
• Goulots d'étranglement : Alors que les CNN sont limités par les calculs de convolution, les ViT sont fortement limités par les opérations linéaires (Self-Attention) et les accès mémoire.

Impact des Frameworks et de la Quantification

• PyTorch Mobile : Souffre de surcoûts de transposition mémoire et de dégradations de performance sur les cœurs puissants après quantification (due à l'utilisation de la bibliothèque QNNPACK pour les entiers, moins optimisée que XNNPACK pour les flottants sur les gros cœurs).
• TFLite : Offre généralement de meilleures performances et une linéarité plus prévisible, notamment grâce à une gestion native du format NHWC.

Précision des Prédicteurs

Les modèles de prédiction (notamment GBDT) entraînés sur les données synthétiques démontrent une grande précision :

• Sur ViT synthétiques : Erreur moyenne (MAPE) de 4,4 % (PyTorch) et 4,8 % (TFLite) sur CPU.
• Sur ViT réels (généralisation) : Le modèle prédit avec une erreur de 8,2 % (PyTorch) et 6,1 % (TFLite) pour des architectures jamais vues auparavant.
• Robustesse : Les modèles non-linéaires (GBDT, RF) surpassent largement les modèles linéaires (Lasso), surtout sur PyTorch Mobile où les relations sont complexes.

4. Contributions Clés

1. Analyse Quantitative Exhaustive : Première étude comparant systématiquement 190 ViT réels et 102 CNN sur 6 plateformes mobiles, révélant que les ViT sont souvent trop coûteux pour le mobile si l'on ne considère que les FLOPs.
2. Dataset de Latence ViT : Publication d'un dataset unique contenant les profils de latence de 1000 ViT synthétiques et 190 ViT réels, couvrant divers frameworks, plateformes et configurations de cœurs CPU.
3. Prédicteurs de Latence Précis : Développement de modèles ML capables de prédire la latence d'architectures ViT inédites avec une précision suffisante pour des applications industrielles (NAS, inférence collaborative).
4. Insights Techniques : Démonstration que le format de mémoire, les valeurs d'entrée des fonctions d'activation et les bibliothèques sous-jacentes des frameworks sont des facteurs déterminants, souvent plus importants que la complexité algorithmique théorique.

5. Signification et Impact

Ce travail est crucial pour l'avenir du déploiement de l'IA sur mobile :

• Optimisation du NAS (Neural Architecture Search) : Les prédicteurs permettent de rechercher des architectures ViT optimisées pour le mobile sans avoir à les déployer physiquement, réduisant considérablement les coûts de calcul et de temps.
• Inférence Collaborative : Une estimation précise de la latence permet de déterminer le point de coupure optimal pour déléguer une partie du calcul au cloud (split inference) tout en respectant les contraintes de temps réel et de confidentialité.
• Guide pour les Développeurs : L'étude fournit des directives concrètes sur le choix des frameworks (TFLite vs PyTorch), des formats de mémoire et des stratégies de quantification pour maximiser les performances des ViT sur mobile.

En conclusion, bien que les ViT soient actuellement plus lents et plus gourmands en mémoire que les CNN sur mobile, cette étude montre qu'avec une compréhension fine des goulots d'étranglement matériels et logiciels, il est possible de prédire et d'optimiser leur performance pour des applications réelles.