💻 computer science

FTerViT: Fully Ternary Vision Transformer

Ce papier présente FTerViT, un Vision Transformer entièrement ternarisé qui quantifie tous les poids et paramètres de normalisation pour obtenir une compression mémoire significative et permettre un déploiement efficace sur appareil sur microcontrôleurs tout en maintenant une précision compétitive sur ImageNet-1K.

Auteurs originaux : Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire brillante et très instruite (le Vision Transformer ou ViT) capable d'examiner une image et de vous dire exactement ce qu'elle représente. Cette bibliothécaire est incroyablement intelligente, mais elle porte dans sa tête une bibliothèque massive de livres. Si vous essayez de mettre cette bibliothécaire dans un tout petit sac à dos (un microcontrôleur comme celui d'une montre connectée ou d'un appareil photo bon marché), le sac se déchire parce que les livres sont trop lourds et occupent trop d'espace.

Habituellement, pour faire tenir une intelligence artificielle intelligente dans un petit appareil, les ingénieurs tentent de rétrécir les livres. Ils peuvent transformer le texte en un code plus court, mais ils laissent souvent les pages les plus importantes et les plus délicates (comme la couverture, l'index et le résumé final) dans leur format volumineux d'origine. L'article soutient que c'est comme essayer de faire tenir une lourde encyclopédie dans une poche en ne rétrécissant que les chapitres du milieu ; la couverture et l'index pèsent encore trop lourd.

Voici ce que les auteurs de FTerViT ont fait pour résoudre ce problème :

1. Le dictionnaire « Trois Couleurs »

Au lieu d'utiliser des nombres complexes (comme 3,14159...) pour stocker des informations, les auteurs ont forcé l'IA à n'utiliser que trois symboles simples : -1, 0 et +1.

Imaginez cela comme un dictionnaire où chaque mot est remplacé par un point rouge, vert ou bleu.
En n'utilisant que ces trois options, ils peuvent emballer les informations de manière incroyablement compacte. C'est comme plier une immense carte dans un tout petit carré.
Ils appellent cela Ternaire (signifiant « trois »).

2. Les parties « Fragiles »

Les tentatives précédentes de rétrécissement de ces modèles d'IA s'étaient arrêtées en cours de route. Elles avaient rétréci le cerveau principal (l'« encodeur ») mais avaient laissé l'Embedding de Patch (la façon dont l'IA perçoit le premier aperçu de l'image), la Normalisation de Couche (la façon dont l'IA équilibre ses pensées) et le Classifieur (le décideur final) dans leur format lourd et complet.

Les auteurs ont réalisé que, dans un petit appareil, ces parties lourdes « restantes » occupent en réalité le plus d'espace, même si elles sont peu nombreuses.
FTerViT est le premier à rétrécir tout, y compris ces parties fragiles, au format simple -1, 0, +1.

3. L'astuce du « Tuteur et de l'Élève »

Rétrécir un cerveau géant en un tout petit cerveau le fait généralement oublier comment penser, ce qui le pousse à commettre des erreurs absurdes. Pour remédier à cela, les auteurs ont utilisé une technique appelée Distillation de Connaissances.

Imaginez un Chef Maître (l'IA originale, lourde) enseignant à un Chef Junior (l'IA réduite, minuscule).
Au lieu de simplement dire au Chef Junior « C'est un chat », le Chef Maître lui montre comment il voit le chat. « Regarde les oreilles, les moustaches, la forme. »
Le Chef Junior apprend en copiant le processus de pensée du Maître, et pas seulement la réponse finale. Cela a permis à la petite IA de rester intelligente même après avoir été réduite à sa taille absolue minimale.

4. Le Résultat : Une IA Intelligente dans un Appareil Photo à 10 $

Les auteurs ont testé cela sur une puce microcontrôleur très bon marché et courante appelée ESP32-S3 (trouvée dans des appareils coûtant environ 10 $).

Avant : L'IA originale faisait 88,3 Mo. Elle était trop grande pour même tenir sur la puce.
Après : Leur nouveau modèle FTerViT ne fait que 5,81 Mo. Il tient parfaitement.
Performance : Même s'il est minuscule, il reste très intelligent. Il identifie correctement les images environ 79,6 % du temps. C'est bien mieux que les tentatives précédentes de rétrécissement de l'IA, qui chutaient souvent à 74 % ou moins.

5. Pourquoi Cela Compte pour Votre Poche

L'article montre que vous n'avez pas besoin d'un superordinateur pour exécuter une vision intelligente. Vous pouvez l'exécuter sur un appareil disposant de 8 Mo de mémoire (environ la taille d'un petit fichier texte).

Vitesse : Parce que les données sont si petites, l'appareil n'a pas à travailler aussi dur pour récupérer les informations. Il fonctionne plus vite et consomme moins de batterie.
Efficacité : Les auteurs ont construit un « moteur » personnalisé (logiciel) qui exécute cette petite IA entièrement sur la puce, sans avoir besoin de se connecter à Internet ou à un serveur cloud.

En résumé : L'article présente une méthode pour réduire les modèles d'IA de vision les plus avancés à la taille d'un tout petit caillou, permettant leur exécution sur des appareils bon marché et alimentés par batterie qui étaient auparavant trop faibles pour les gérer. Ils ont fait cela en simplifiant les mathématiques à seulement trois nombres et en utilisant un « tuteur » pour enseigner au petit modèle comment penser correctement.

Résumé technique : FTerViT : Vision Transformer entièrement ternaire

Énoncé du problème

Les Vision Transformers (ViT) sont des classificateurs d'images puissants, mais généralement inadaptés aux dispositifs de classe microcontrôleur en raison de leur empreinte mémoire substantielle. Un ViT compact standard comme DeiT-Small nécessite environ 88,3 Mo en précision FP32, alors que les unités de microcontrôleurs (MCU) typiques offrent seulement quelques mégaoctets de RAM externe. Cette incompatibilité empêche le déploiement d'applications de vision toujours actives et à faible consommation sur des dispositifs de périphérie sans délestage vers le cloud.

Bien que la quantification ternaire (contraignant les poids à $\{-1, 0, +1\}$ ) offre théoriquement une compression de 16 $\times$ par rapport au FP32, les méthodes actuelles de l'état de l'art ne ternarisent que les couches de l'encodeur du transformateur. Elles conservent l'embedding des patches, les paramètres de LayerNorm et les têtes de classification en précision complète (FP32) ou en entiers de faible précision (INT8). Dans les modèles compacts, ces composants restants en précision complète deviennent le goulot d'étranglement dominant, consommant jusqu'à 38 % de la taille du modèle bien qu'ils ne représentent qu'une petite fraction des paramètres. De plus, les tentatives antérieures de ternarisation complète de ces composants sensibles (par exemple TerViT) ont entraîné des baisses significatives de précision (jusqu'à 22,4 points de pourcentage), principalement en raison de la sensibilité connue des première et dernière couches à la quantification.

Méthodologie

Les auteurs proposent FTerViT, le premier Vision Transformer entièrement ternarisé où toutes les matrices de poids et les paramètres de normalisation sont contraints à $\{-1, 0, +1\}$ . L'approche repose sur deux piliers principaux : de nouveaux opérateurs ternaires et un protocole d'entraînement spécialisé.

1. Primitives ternaires

Pour éliminer les goulots d'étranglement FP32, les auteurs remplacent les composants standards par des modules ternaires dédiés :

TernaryBitLinear : Utilisé pour les couches entièrement connectées. Il quantifie les poids à $\{-1, 0, +1\}$ en utilisant une mise à l'échelle par moyenne absolue par tenseur ($absmean$) et un arrondi borné. Les activations sont quantifiées en entiers 8 bits en utilisant une mise à l'échelle par maximum absolu par token.
TernaryBitConv2d : Spécifiquement conçu pour la couche d'embedding des patches. Il applique une mise à l'échelle par canal pour gérer les magnitudes hétérogènes des filtres, répondant ainsi à la sensibilité de la couche d'embedding des patches, identifiée par les travaux antérieurs comme le composant le plus critique.
TernaryLayerNorm : Ternarise les paramètres affines apprenables ( $\gamma$ et $\beta$ ) de LayerNorm en utilisant le même schéma $absmean$. Les statistiques par token (moyenne et variance) et les biais restent en FP32 car leur nombre de paramètres est négligeable, mais leur ternarisation détruirait l'information positionnelle.

2. Protocole d'entraînement

Le modèle est entraîné en utilisant une stratégie de distillation de connaissances (KD) en deux phases :

Phase 1 (Entraînement) : L'élève ternaire est initialisé à partir d'un maître FP32 préentraîné et entraîné en utilisant une distillation consciente de la quantification (QAD) avec un taux d'apprentissage de $10^{-4}$ (décroissance cosinus) pendant 250 époques. La fonction de perte utilise uniquement le terme de divergence KL avant entre les logits de l'élève et du maître, évitant la perte d'entropie croisée qui peut entrer en conflit avec KL dans les réseaux de faible précision.
Phase 2 (Récupération) : Une phase de fine-tuning légère où le taux d'apprentissage est redémarré à $10^{-5}$ (décroissance cosinus) pendant 10 époques. Cette phase permet la recalibration des échelles et la récupération de la précision perdue lors de la saturation initiale de la Phase 1.

Contributions clés

Premier ViT entièrement ternaire : Les auteurs démontrent que les composants les plus fragiles des ViT (embedding des patches, LayerNorms et tête de classification) peuvent être ternarisés avec succès à $\{-1, 0, +1\}$ lorsqu'ils sont entraînés avec distillation de connaissances, repoussant les limites de ce qui était précédemment considéré comme quantifiable.
Nouveaux opérateurs : Introduction de TernaryBitConv2d avec mise à l'échelle par canal et de TernaryLayerNorm pour gérer la sensibilité spécifique des couches non-encodeur.
Stratégie d'entraînement : Une stratégie d'entraînement simple mais efficace en deux phases (entraînement à taux d'apprentissage élevé suivi d'une récupération à taux d'apprentissage faible) qui permet une convergence plus rapide et une précision finale nettement supérieure par rapport aux approches précédentes de ViT ternaires.
Implémentation sur dispositif : La première implémentation autonome en C d'un Vision Transformer ternaire sur un microcontrôleur ESP32-S3 à double cœur aux ressources limitées (8 Mo de PSRAM).

Résultats expérimentaux

La méthode a été évaluée sur ImageNet-1K et d'autres benchmarks :

Précision et compression :
- FTerViT-DeiT-III-S (384 $\times$ 384) : Atteint 82,43 % de précision top-1 à 6,09 Mo (compression 14,6 $\times$ ), perdant seulement 2,42 points de pourcentage par rapport à son maître FP32. Cela surpasse les méthodes ViT ternaires précédentes (par exemple TerViT) d'jusqu'à 8 points de pourcentage.
- FTerViT-DeiT-III-S (224 $\times$ 224) : Atteint 79,64 % de précision top-1 à 5,81 Mo.
- FTerViT-DeiT-S (224 $\times$ 224) : Atteint 77,47 % de précision top-1 à 5,81 Mo, surpassant TerViT-DeiT-S de 3,27 points de pourcentage.
- Benchmarks CIFAR : Les variantes DeiT-Tiny atteignent 97,43 % (CIFAR-10) et 86,01 % (CIFAR-100) avec seulement 1,53 Mo de stockage.
Analyse de sensibilité des composants :
- Les analyses de Taylor du premier ordre et de la trace de Hessian confirment que les LayerNorms et les embeddings de patches dominent l'importance du modèle (34–39 % et 4,6 % respectivement) bien qu'ils occupent <0,2 % des paramètres. Cela explique pourquoi les méthodes antérieures les ont laissés en précision plus élevée et pourquoi leur ternarisation réussie est cruciale.
Déploiement sur dispositif (ESP32-S3) :
- Le modèle de 5,81 Mo tient entièrement dans les 8 Mo de PSRAM de l'ESP32-S3, laissant environ 4,5 Mo libres pour les tampons de caméra et d'écran LCD.
- Performance : Un passage avant prend 21,06 secondes.
- Efficacité : Par rapport au FP32, l'inférence ternaire 2 bits compressée est 1,71 $\times$ plus rapide (804 ms contre 1376 ms pour une couche spécifique) et réduit la consommation d'énergie au-dessus du repos de 55 % (59 mJ contre 130 mJ).

Importance

L'article affirme que FTerViT réduit considérablement l'écart entre la précision standard des ViT et les contraintes mémoire strictes du déploiement à l'échelle des microcontrôleurs. En réussissant à ternariser l'architecture entière, y compris les embeddings de patches et les couches de normalisation précédemment « intouchables », les auteurs permettent le déploiement de modèles de vision haute précision sur des MCU commerciaux à faible coût (10 $). Le travail valide que, avec la bonne stratégie d'entraînement (KD de même architecture et récupération en deux phases), la sensibilité de ces composants peut être gérée, rendant les ViT entièrement ternaires une réalité pratique pour l'IA de périphérie. Les auteurs notent que l'écart de précision par rapport au FP32 évolue inversement avec la capacité du modèle, les modèles plus grands (DeiT-III-S384) subissant une perte de précision relative moindre que les plus petits.