🤖 AI

Accelerating Vision Transformers on Brain Processing Unit

Cet article propose une nouvelle méthode pour accélérer les Vision Transformers sur les unités de traitement cérébral (BPU) optimisées pour les CNN en restructurant le modèle afin de remplacer les couches linéaires par des opérateurs convolutionnels, permettant ainsi l'héritage des poids sans réentraînement tout en atteignant des accélérations d'inférence significatives avec une perte de précision minimale.

Auteurs originaux : Jinchi Tang, Yan Guo

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinchi Tang, Yan Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ouvrier d'usine spécialisé et super efficace appelé la BPU (Unité de Traitement Cérébral). Cet ouvrier est un maître de l'assemblage de briques de Lego 4D (qui représentent les données d'image standard : hauteur, largeur, canaux de couleur et lots). Dans le monde de l'intelligence artificielle, cet ouvrier est l'expert incontournable pour construire des CNN (Réseaux de Neurones Convolutifs), qui sont les traditionnels « poseurs de briques » de la vision par ordinateur.

Cependant, un nouveau type d'architecte révolutionnaire, le Vision Transformer (ViT), est arrivé. Au lieu de construire avec des briques de Lego 4D, le ViT travaille avec des empilements de papier 3D (des séquences de données). Il est incroyablement intelligent et produit souvent de meilleurs résultats, mais il parle une langue différente. Lorsque vous essayez d'embaucher l'ouvrier d'usine BPU pour construire un ViT, celui-ci est confus. L'ouvrier est conçu pour empiler des briques, pas pour trier des piles de papier. En conséquence, le ViT doit être construit par un ouvrier beaucoup plus lent et polyvalent (le CPU), laissant la BPU, pourtant super rapide, inactive.

La solution du Papier : l'astuce du « Changement de Forme »

Les auteurs de ce document, Jinchi Tang et Yan Guo, ont trouvé un contournement ingénieux. Ils n'ont pas essayé d'apprendre à la BPU à lire des piles de papier (ce qui serait difficile et nécessiterait de réentraîner tout le système). À la place, ils ont réorganisé les piles de papier pour qu'elles ressemblent à des briques de Lego.

Voici comment ils ont procédé, en utilisant des analogies simples :

Le problème de la Couche Linéaire : Dans un ViT standard, le cerveau utilise des « Couches Linéaires » pour traiter l'information. Voyez cela comme un traducteur qui lit une liste de mots et produit une nouvelle liste. La BPU ne sait pas lire des listes ; elle ne comprend que les grilles 4D.
- La correction : Les auteurs ont pris le « traducteur » et ont remodelé ses instructions pour qu'elles ressemblent à une brique de Lego 1x1. Mathématiquement, cela fait exactement le même travail, mais cela s'insère parfaitement dans l'usine de la BPU. C'est comme prendre une carte plate et la rouler en cylindre juste pour qu'elle rentre dans un tube spécifique, sans changer le contenu de la carte.
Le problème de la Normalisation de Couche : Le ViT utilise également une étape appelée « Normalisation de Couche » pour équilibrer ses données (comme un thermostat qui maintient une pièce à la bonne température). La BPU n'a pas de thermostat intégré.
- La correction : Les auteurs ont construit un « thermostat » à partir des briques de Lego existantes de la BPU. Ils ont créé une chaîne spéciale de minuscules briques (convolutions 1x1) qui calcule la moyenne et la variance, imitant ainsi le thermostat en utilisant uniquement les outils dont la BPU dispose déjà.

La magie du « Sans Réentraînement »

Habituellement, si vous changez le plan d'un bâtiment, vous devez le démolir et le reconstruire de zéro. Mais parce que les auteurs ont été si méticuleux pour que leurs « briques de Lego » soient mathématiquement identiques aux « piles de papier » originales, les plans originaux (poids) fonctionnent parfaitement.

Ils n'ont pas eu besoin de réentraîner le modèle ou de lui apprendre de nouvelles choses. Ils ont simplement pris le modèle « DeiT » pré-entraîné (une version populaire et efficace du ViT), ont appliqué leur astuce de changement de forme, et l'ont remis à la BPU. La BPU a immédiatement reconnu le nouveau format et a commencé à travailler à pleine vitesse.

Les Résultats : Vitesse vs Précision

L'équipe a testé cela sur deux tâches différentes : la reconnaissance de milliers d'objets (ImageNet) et le tri de fleurs.

Le compromis : Lorsque vous convertissez un modèle pour qu'il fonctionne sur ce matériel spécialisé, vous perdez généralement un peu de précision (comme passer d'une photo haute définition à un JPEG légèrement compressé).
- Sur le grand test ImageNet, le modèle DeiT-Base n'a perdu que 1,4 % de précision (passant de 81,8 % à 80,4 %).
- Sur le test des fleurs, la baisse était encore plus faible, seulement 0,5 %.
La récompense : En échange de cette infime perte de précision, le modèle est devenu beaucoup plus rapide.
- Le plus grand modèle (DeiT-Base) a tourné 3,8 fois plus vite sur la BPU qu'il ne le faisait sur le CPU standard.
- Les modèles plus petits ont également vu leurs vitesses augmenter, allant de 1,3x à 2,1x.

Une découverte amusante

Pendant leurs tests, les auteurs ont remarqué quelque chose d'intéressant. Parfois, les étiquettes officielles sur les images de test étaient erronées (par exemple, une image de « lion » était étiquetée « singe »). Le modèle DeiT original identifiait correctement le lion, mais le système marquait cela comme une erreur à cause de la mauvaise étiquette. Le nouveau modèle rapide des auteurs identifiait également correctement le lion. Cela suggère que le modèle est en fait encore plus intelligent que les scores officiels ne le suggèrent, car il peut voir à travers les « fautes de frappe » dans les données de test.

En résumé

Ce document est la première fois que quelqu'un réussit à prendre un Vision Transformer (l'architecte des « piles de papier ») et à le faire fonctionner sur une unité de traitement cérébral spécialisée (l'usine de « Lego ») sans avoir à reconstruire l'architecte de zéro. En remodelant habilement les mathématiques pour qu'elles s'adaptent au matériel, ils ont obtenu un gain de vitesse de 3,8x avec presque aucune perte d'intelligence, prouvant que ces modèles d'IA avancés peuvent enfin fonctionner efficacement sur des puces embarquées spécialisées.

Résumé Technique : Accélération des Vision Transformers sur l'Unité de Traitement Cérébral (BPU)

Énoncé du Problème
L'article traite d'une inadéquation architecturale critique entre le matériel de traitement neuronal spécialisé et les modèles modernes de Vision Transformer (ViT). Plus précisément, l'Unité de Traitement Cérébrale (BPU) Horizon est optimisée pour les opérations de convolution quadridimensionnelles (quantifiées en INT8) typiques des réseaux de neurones convolutifs (CNN). Cependant, les modèles ViT, tels que le Data-efficient Image Transformer (DeiT), reposent fortement sur des couches linéaires et la Normalisation de Couche (LayerNorm) qui opèrent sur des flux de données tridimensionnels. Cette divergence empêche le BPU d'accélérer les calculs fondamentaux des ViT, forçant ces modèles à s'exécuter sur des CPU à usage général et faisant perdre au modèle ses capacités d'accélération matérielle.

Méthodologie
Pour résoudre cette incompatibilité sans nécessifier de réentraînement du modèle, les auteurs proposent une reformation structurelle de l'architecture DeiT. La méthodologie centrale consiste à remplacer les opérateurs non-convolutifs par des opérateurs convolutifs mathématiquement équivalents que le BPU peut accélérer :

Transformation de la Couche Linéaire : Les couches linéaires, qui traitent typiquement des données 3D $(B, N, C)$ , sont transformées en convolutions ponctuelles (point-wise). Ceci est réalisé en remodelant la matrice de poids $W \in \mathbb{R}^{O \times I}$ en un tenseur 4D $W' \in \mathbb{R}^{O \times I \times 1 \times 1}$ via des opérations d'unsqueeze. Le tenseur d'entrée est similairement transposé de $(B, N, C)$ à $(B, C, 1, N)$ pour s'aligner sur les exigences de flux de données 4D du BPU.
Reformulation de la LayerNorm : L'opération de Normalisation de Couche est décomposée en une séquence d'opérations de convolution $1 \times 1$ . La moyenne est calculée à l'aide d'une convolution avec des poids fixés à $1/H$ (où $H$ est la dimension cachée), et la variance est calculée en soustrayant la moyenne, en élevant le résultat au carré et en appliquant une seconde convolution. Les paramètres apprenables $\gamma$ et $\beta$ sont remodelés pour correspondre aux dimensions d'entrée.
Héritage des Poids : Un aspect crucial de cette approche est que le modèle restructuré ne nécessite ni réentraînement ni ajustement fin (fine-tuning). Les poids pré-entraînés originaux des checkpoints standards de DeiT sont directement hérités par les nouvelles couches convolutives restructurées.
Quantification : Les modèles modifiés sont traités par la chaîne d'outils de l'algorithme Horizon BPU, utilisant la quantification post-entraînement (PTQ) avec une stratégie min-max et un jeu de données de calibration pour convertir les modèles en précision INT8.

Contributions Clés

Premier Déploiement Réussi : Les auteurs affirment qu'il s'agit du premier déploiement réussi de Vision Transformers sur la plateforme BPU qui exploite pleinement ses capacités d'accélération matérielle.
Adaptation de l'Architecture : Ils proposent une méthode novatrice pour restructurer DeiT en remplaçant les couches linéaires et de LayerNorm par des opérateurs convolutifs équivalents, permettant une accélération INT8 sans perte architecturale.
Déploiement Sans Réentraînement : La méthode permet l'héritage direct des poids pré-entraînés, éliminant ainsi le coût computationnel et la complexité du réentraînement ou de l'ajustement fin de l'ensemble du modèle pour la nouvelle structure d'opérateur.
Validation Étendue : L'approche est validée sur deux jeux de données distincts : le jeu de données à grande échelle ImageNet et un plus petit jeu de données de classification de fleurs.

Résultats Expérimentaux
L'article rapporte des expériences approfondies comparant les modèles DeiT originaux aux versions quantifiées optimisées pour le BPU :

Performance sur ImageNet :
- Précision : Le modèle quantifié DeiT-Base atteint une précision Top-1 de 80,4 % sur ImageNet, soit une baisse de seulement 1,4 % par rapport aux 81,8 % d'origine. Les variantes distillées montrent une résilience encore plus grande, le DeiT-Base Dist. maintenant une précision de 81,7 % (une baisse de 1,7 %).
- Détection d'Anomalies : Les auteurs ont observé que les modèles originaux et quantifiés ont tous deux prédit correctement les étiquettes pour plusieurs images du jeu de validation ImageNet qui étaient connues pour être mal étiquetées dans les annotations officielles, suggérant que la véritable précision des modèles pourrait être légèrement supérieure aux métriques rapportées.
Performance de Classification de Fleurs :
- Sur un jeu de données de 5 classes de fleurs, le modèle quantifié DeiT-Small a atteint une précision de 97,4 %, avec une baisse de seulement 0,3 % par rapport à la version en pleine précision.
Accélération de l'Inférence :
- Les modèles quantifiés ont démontré des accélérations d'inférence significatives sur le matériel BPU par rapport à leurs homologues en virgule flottante.
- DeiT-Base : A obtenu une accélération de 3,82×.
- DeiT-Small : A obtenu une accélération de 2,16×.
- DeiT-Tiny : A obtenu une accélération de 1,30×.
- Les résultats indiquent que les bénéfices de la quantification et de l'accélération matérielle sont plus prononcés dans les architectures de modèles plus larges.

Signification et Revendications
L'article positionne ce travail comme une étape charnière pour combler le fossé entre les modèles de vision par ordinateur basés sur les Transformers et le matériel embarqué spécialisé. En démontifiant que les ViT peuvent être déployés sur des BPU avec une dégradation minimale de la précision et des améliorations de vitesse substantielles, les auteurs soutiennent que leur méthode offre une solution pratique pour les scénarios de déploiement en périphérie (edge) du monde réel. La capacité d'utiliser des poids pré-entraînés sans réentraînement est mise en avant comme un gain d'efficacité majeur, rendant la transition vers des Transformers accélérés par le matériel réalisable pour les environnements à ressources limitées. Les auteurs affirment modestement que cela représente la première tentative réussie d'utiliser pleinement l'accélération BPU pour les modèles Dei.

Articles similaires