🤖 AI

I-Segmenter: Integer-Only Vision Transformer for Efficient Semantic Segmentation

Le papier introduit I-Segmenter, le premier cadre de Vision Transformer entièrement basé sur des entiers pour la segmentation sémantique qui emploie des techniques novatrices telles que $\lambda$ -ShiftGELU et des opérations de décodeur uniquement en entiers pour parvenir à des réductions significatives de la taille du modèle et de la latence d'inférence tout en maintenant une précision compétitive, même sous une quantification post-entraînement unitaire extrême.

Auteurs originaux : Jordan Sassoon, Michal Szczepanski, Martyna Poreba

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jordan Sassoon, Michal Szczepanski, Martyna Poreba

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef brillant et haut de gamme (un Vision Transformer) capable de regarder une photo et d'en décrire chaque objet avec une précision parfaite. Ce chef est exceptionnel pour la « segmentation sémantique » — en gros, il dessine un contour parfait autour de chaque voiture, arbre et personne dans une image.

Cependant, ce chef a deux problèmes majeurs :

C'est un glouton : Il a besoin d'une cuisine immense (une énorme mémoire) et d'une grande quantité d'énergie pour cuisiner.
Il est trop raffiné : Il ne sait cuisiner qu'avec des mesures liquides précises (des nombres à virgule flottante). Si vous essayez de lui donner des mesures simples sous forme de nombres entiers, il s'embrouille, laisse tomber les ingrédients et rate le plat.

Le papier présente I-Segmenter, une nouvelle façon d'entraîner ce chef pour qu'il puisse travailler dans une cuisine minuscule et aux ressources limitées (comme un smartphone ou un petit robot) sans perdre ses talents culinaires.

Voici comment ils ont fait, expliqué par des analogies simples :

1. La cuisine « Uniquement en Entiers »

La plupart des modèles d'IA parlent en « virgule flottante » (comme 3,14159...). C'est précis, mais lourd. Le papier voulait forcer le modèle à ne parler qu'en « entiers » (des nombres entiers comme 1, 2, 3).

Le Problème : Lorsque vous forcez une recette complexe à entrer dans des nombres entiers, de petites erreurs se produisent. Dans une cuisine normale, une petite erreur n'est pas grave. Mais dans un Vision Transformer, ces petites erreurs s'accumulent comme une boule de neige qui dévale une colline, finissant par détruire l'image finale.
La Solution : Les auteurs ont reconstruit toute la « cuisine » (l'architecture du modèle) pour que chaque étape — mélanger, hacher, chauffer — utilise uniquement des nombres entiers. Ils ont même modifié la façon dont le modèle stocke ses « recettes » (poids) afin qu'elles occupent moins d'espace.

2. L'« Assaisonnement Magique » (λ-ShiftGELU)

Le plus gros perturbateur dans la cuisine était une épice spécifique appelée GELU. Dans le modèle original, cette épice a une forme étrange : la majeure partie est une petite pincée, mais occasionnellement, il y a un énorme morceau rare (une distribution à « longue traîne »).

L'Ancienne Méthode : Si vous essayez de mesurer cette épice avec une règle simple (quantification uniforme), soit vous manquez la petite pincée, soit vous écrasez le gros morceau. La saveur est ruinée.
La Nouvelle Méthode : Les auteurs ont inventé un nouvel outil appelé λ-ShiftGELU. Considérez cela comme une tasse à mesurer spéciale et ajustable. Elle étire la règle pour gérer à la fois les petites pincées et les gros morceaux sans rien casser. Cela a permis au modèle de rester précis même lorsqu'il est contraint d'utiliser des nombres entiers simples.

3. Simplifier le « Dressage » (Changements du Décodeur)

Après que le chef a cuisiné la nourriture, il doit dresser l'assiette parfaitement pour correspondre à la photo originale. Le modèle original utilisait des outils sophistiqués à base de liquides pour lisser les bords (interpolation bilinéaire) et une échelle complexe pour équilibrer l'assiette (normalisation L2).

Le Changement : Les auteurs ont remplacé ces outils par des outils plus simples. Au lieu d'un lissage liquide, ils ont utilisé le « Nearest-Neighbor » (plus proche voisin), ce qui revient à prendre une photo sur la grille la plus proche. C'est plus grossier, mais cela fonctionne parfaitement avec les nombres entiers. Ils ont également supprimé l'échelle complexe.
Le Compromis : Les bords de l'image sont légèrement plus « dentelés » (comme une image pixélisée), mais le modèle s'exécute beaucoup plus vite et utilise beaucoup moins de mémoire, ce qui en vaut la peine.

4. Les Résultats : Rapide, Petit et Étonnamment Bon

Les auteurs ont testé ce nouvel « I-Segmenter » sur deux grands ensembles de données (ADE20K et Cityscapes). Voici ce qu'ils ont trouvé :

Taille : Le modèle est devenu 3,8 fois plus petit. C'est comme réduire une valise à la taille d'un bagage cabine.
Vitesse : Il s'exécute jusqu'à 1,2 fois plus vite sur un matériel optimisé.
Précision : Même s'ils l'ont forcé à utiliser des mathématiques simples, il n'a perdu qu'environ 5 % de sa précision par rapport à l'original ultra-précis. C'est un faible prix à payer pour pouvoir l'utiliser sur un petit appareil.
Le Miracle du « One-Shot » : Habituellement, pour apprendre à un modèle à utiliser des mathématiques simples, il faut lui montrer des centaines d'exemples pour le calibrer. Les auteurs ont découvert qu'avec leur nouvel « Assaisonnement Magique », ils pouvaient calibrer le modèle en utilisant une seule image et obtenir tout de même d'excellents résultats.

Résumé

Le papier n'a pas seulement dit « nous l'avons rendu plus petit ». Ils ont construit un système entièrement nouveau (I-Segmenter) qui parle le langage des nombres entiers simples. Ils ont corrigé les parties « épicées » des mathématiques qui cassent habituellement lors d'une simplification, et ils ont remplacé les outils de cuisine sophistiqués par des outils robustes, adaptés aux entiers.

Le résultat est un Vision Transformer qui peut enfin fonctionner sur les petits appareils alimentés par batterie que nous utilisons chaque jour, sans avoir besoin d'un supercalculateur dans le cloud.

Résumé Technique : I-Segmenter : Un Vision Transformer exclusivement entier pour une segmentation sémantique efficace

Énoncé du Problème

Les Vision Transformers (ViT) ont atteint des résultats de pointe en segmentation sémantique, mais font face à des barrières significatives pour le déploiement sur des dispositifs de bord (edge devices) aux ressources limitées en raison de l'empreinte mémoire élevée et des coûts de calcul. Bien que la quantification offre une voie vers l'efficacité, les modèles de segmentation basés sur les ViT sont notoirement fragiles sous des contraintes de faible précision. Contrairement à la classification d'images, la segmentation sémantique nécessite des prédictions denses au niveau du pixel, ce qui provoque une accumulation des erreurs de quantification à travers les pipelines encodeur-décodeur profonds.

Les défis spécifiques incluent :

Sensibilité Non Linéaire : Les opérations comme Softmax et GELU sont hautement sensibles à la perte de précision. De petites erreurs dans les logits peuvent provoquer de grands décalages dans les poids d'attention, et la distribution de distribution à longue traîne de GELU est mal gérée par la quantification uniforme.
Complexité du Décodeur : L'ajout de têtes de décodeur impliquant l'agrégation multi-échelle et l'interpolation (par exemple, l'upsampling bilinéaire) amplifie davantage les erreurs propagées depuis le backbone.
Hétérogénéité des Opérateurs : Les ViT contiennent des opérateurs divers (Linear, MatMul, LayerNorm, GELU, Softmax) avec des formes de distribution distinctes, rendant difficile une stratégie unifiée exclusivement entière.
Limitations Existantes : Les méthodes de quantification actuelles reposent souvent sur des replis à précision mixte (FP32) pour les opérateurs critiques ou échouent à maintenir la précision dans les contextes de Quantification Post-Entraînement (PTQ), particulièrement avec des données de calibration minimales.

Méthodologie

Les auteurs introduisent I-Segmenter, le premier cadre de segmentation ViT entièrement exclusivement entier. Construit sur l'architecture Segmenter, la méthode remplace systématiquement toutes les opérations en virgule flottante (FP32) par leurs contreparties exclusivement entières pour permettre une exécution de bout en bout en entier.

1. Cadre de Quantification Central

Quantification Uniforme Symétrique : Tous les paramètres (poids, biais, embeddings) et les activations sont quantifiés à l'aide d'une quantification uniforme symétrique.
Arithmétique Dyadique : Les facteurs d'échelle sont approximés comme des ratios d'entiers et de puissances de deux ( $S \approx b/2^c$ ), permettant aux opérations de mise à l'échelle d'être implémentées via la multiplication d'entiers et le décalage de bits (bit-shifting), évitant ainsi la division en virgule flottante.
Gestion de la Précision :
- Les couches linéaires utilisent des poids et des biais en INT8, accumulant les produits en INT32.
- Les connexions résiduelles maintiennent une précision INT16 pour préserver la fidélité du signal.
- L'opération la plus sensible, Shiftmax (Softmax entier), est exécutée en INT16.

2. Activation Novatrice : $\lambda$ -ShiftGELU

Les auteurs identifient que les approximations entières standards de GELU (par exemple, ShiftGELU) introduisent des erreurs significatives, particulièrement pour les valeurs négatives et les valeurs aberrantes. Ils proposent $\lambda$ -ShiftGELU, une fonction d'activation modifiée qui :

Introduit un paramètre scalaire réglable $\lambda$ pour assouplir la limite inférieure de la distribution d'entrée lors de l'approximation exponentielle.
Empêche le plafonnement (clamping) trop restrictif des valeurs négatives informatives trouvé dans les méthodes précédentes.
Les paramètres optimisés ( $\lambda=6$ , $k_{inter}=23$ ) équilibrent précision et efficacité computationnelle, réduisant considérablement l'erreur quadratique moyenne (RMSE) par rapport à la baseline ShiftGELU.

3. Adaptations Architecturales pour une Exécution Exclusivement Entière

Pour garantir que l'ensemble du graphe de calcul reste exclusivement entier, les auteurs ont modifié le décodeur de Segmenter :

Suppression de la Normalisation L2 : La couche de normalisation L2, qui nécessite des approximations non linéaires complexes, est supprimée. Sa fonction de lissage des distributions est remplacée par la quantification uniforme symétrique des matrices projetées.
Upsampling par Voisin le Plus Proche : L'interpolation bilinéaire, qui repose sur l'arithmétique en virgule flottante, est remplacée par un upsampling par voisin le plus proche (nearest-neighbor). Bien que cela introduise certains artefacts de discrétisation, cela garantit une compatibilité stricte avec les entiers.
Quantification des Embeddings : Contra à certains travaux antérieurs, I-Segmenter quantifie les embeddings de classe et de position, garantissant qu'aucune donnée en virgule flottante ne subsiste dans le stockage ou l'exécution du modèle.

Contributions Clés

Cadre I-Segmenter : Le premier cadre de segmentation ViT entièrement exclusivement entier, permettant le déploiement sur du matériel optimisé pour l'arithmétique entière (ex: ARM Cortex-M, Google Edge TPU).
$\lambda$ -ShiftGELU : Une nouvelle fonction d'activation qui atténue les limitations de la quantification uniforme sur les distributions à longue traîne, stabilisant à la fois l'Entraînement Sensible à la Quantification (QAT) et la Quantification Post-Entraînement (PTQ).
Ré-conception Architecturale Systématique : Une adaptation complète des composants du ViT (suppression de la norme L2, remplacement de l'interpolation bilinéaire) pour parvenir à une inférence véritablement exclusivement entière sans recours à la précision mixte.
Capacité PTQ "One-Shot" : Démonstration que le cadre atteint une précision compétitive même avec une seule image de calibration, réduisant drastiquement le coût de déploiement.

Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données ADE20K et Cityscapes en utilisant des backbones ViT-Tiny, Small, Base et Large.

Précision :
- PTQ : Avec $\lambda$ -ShiftGELU, I-Segmenter atteint une précision proche de la baseline FP32 (chute moyenne de ~5,1 %). Notamment, la PTQ one-shot ( $S=1$ ) produit des résultats comparables à l'utilisation de 500 échantillons de calibration.
- QAT : Réduit davantage l'écart de précision, avec des réductions ne dépassant pas 3,5 points de mIoU sur ADE20K.
- Comparaison : $\lambda$ -ShiftGELU surpasse significativement la baseline ShiftGELU, qui s'effondre dans des conditions de PTQ.
Efficacité :
- Taille du Modèle : Réductions allant jusqu'à 3,8 $\times$ par rapport aux modèles FP32.
- Vitesse d'Inférence : Jusqu'à 1,2 $\times$ plus rapide sur des runtimes optimisés (TensorRT, TVM).
- Trafic Mémoire : Une réduction de 2,3 $\times$ à 3,3 $\times$ des bits lus/écrits pour les opérations clés.
Déploiement :
- Backend TVM : Le seul backend qui impose une exécution strictement exclusivement entière jusqu'aux calculs de noyaux (kernels). Bien que la compilation TVM ait introduit une légère baisse de 1 à 2 mIoU due aux nuances de traduction, le modèle est resté compétitif.
- Coût de Calibration : La calibration PTQ prend environ 1 seconde pour les réglages one-shot, contre des heures pour le QAT.

Signification et Revendications

L'article affirme qu'I-Segmenter représente une étape critique vers le déploiement pratique des Vision Transformers sur les appareils de bord. En prouvant qu'une inférence entièrement exclusivement entière est viable pour les tâches de prédiction dense sans perte d'exactitude catastrophique, ce travail répond à un goulot d'étranglement majeur du déploiement de l'IA.

Les auteurs soulignent que leur approche est particulièrement significative pour :

Le déploiement en conditions réelles : La capacité de déployer sur du matériel contraint (NPUs, microcontrôleurs) sans nécessiter de support matériel complexe pour la précision mixte.
L'efficacité : La réduction drastique de la taille du modèle et des exigences de bande passante mémoire.
La robustesse : La démonstration qu'une adaptation architecturale minutieuse (spécifiquement $\lambda$ -ShiftGELU et la suppression des couches dépendantes de la virgule flottante) peut surmonter la fragilité inhérente des ViT sous une quantification à faible nombre de bits.

L'article conclut que bien que des travaux supplémentaires soient nécessaires pour améliorer l'upsampling exclusivement entier et les approximations de normalisation afin de combler l'écart de précision restant, I-Segmenter débloque avec succès le potentiel du déploiement exclusivement entier pour la segmentation sémantique.