Résumé Technique : ScalePredictor

Problématique

Les Vision Transformers (ViT) ont atteint des performances de pointe en vision par ordinateur, mais font face à des défis de déploiement importants sur les dispositifs de bord (edge devices) aux ressources limitées en raison de leur intensité computationnelle. La quantification post-entraînement (PTQ) offre une solution en compressant les modèles vers des formats à faible nombre de bits (par exemple, 8 bits ou moins) sans réentraînement. Cependant, les méthodes de PTQ existantes reposent principalement sur la quantification statique, où un ensemble unique de paramètres de quantification (échelles/scales) est appliqué uniformément à toutes les instances d'entrée.

Ce paradigme statique est intrinsèquement sous-optimal pour les ViT car les images naturelles présentent une grande diversité, entraînant des variations significatives des distributions d'activation selon les échantillons. Cette hétérogénéité est particulièrement préjudiciable dans les configurations à très bas bits (ex: W3/A3), où les échelles fixes ne parviennent pas à capturer la dynamique spécifique à chaque instance. À l'inverse, les stratégies de quantification dynamique qui adaptent les paramètres par échantillon nécessitent souvent des réductions de tenseurs complets (calculs min/max) au moment de l'exécution pour chaque couche. Ces opérations introduisent de sévères barrières de synchronisation et des surcoûts liés à la bande mémoire, ce qui compromet gravement la vitesse d'inférence et annule les bénéfices d'efficacité de la quantification.

Méthodologie : ScalePredictor

Les auteurs proposent ScalePredictor, un cadre de quantification dynamique qui permet un apprentissage d'échelle sensible à l'instance avec un surcoût de calcul minimal. L'idée centrale qui motive cette méthode est une corrélation découverte : les échelles de quantification optimales pour les couches profondes dépendent fortement de l'amplitude d'activation observée dans les couches peu profondes.

Le cadre se compose de trois composants principaux :

1. Extraction de Plage Robuste (Robust Range Extraction) :
   Au lieu de calculer des valeurs min/max globales (sensibles aux valeurs aberrantes) ou d'effectuer un tri par percentile coûteux, ScalePredictor extrait une « plage robuste » ($r(x)$) à partir de la sortie du Patch Embedding (la couche la plus superficielle).

   • Le tenseur aplati est partitionné en $K$ blocs non chevauchants.
   • Les valeurs extrêmes locales sont calculées pour chaque bloc.
   • Ces extrema locaux sont moyennés pour dériver une plage robuste globale.
   • Cette approche agit comme une approximation grossière par percentile, supprimant efficacement l'influence des valeurs aberrantes tout en maintenant une complexité en $O(N \cdot C)$ et en évitant le tri.

2. Prédicteur Polynomial Motivé par Taylor (Taylor-Motivated Polynomial Predictor) :
   Un module polynomial apprenable mappe la plage robuste extraite $r(x)$ vers les échelles de quantification optimales pour toutes les couches suivantes.

   • Sur la base de l'observation que la relation entre les statistiques des couches peu profondes et les échelles optimales des couches profondes suit une tendance lisse et non linéaire, la méthode modélise l'échelle $s_l(x)$ pour la couche $l$ comme une fonction polynomiale de $r(x)$ :
     $$s_l(x) = \sum_{k=0}^{d} c_{l,k} \cdot (r(x))^k$$
   • Les coefficients $c_{l,k}$ sont appris lors d'une phase de calibration en utilisant une perte de reconstruction par bloc.
   • Cela permet de prédire les échelles spécifiques à l'instance pour toutes les couches en une seule passe, sans accéder aux tenseurs d'activation profonds.

3. Calibration et Inférence :

   • Calibration : Les coefficients polynomiaux sont optimisés à l'aide d'un petit ensemble de calibration. Le terme constant ($c_{l,0}$) est initialisé avec l'échelle statique optimale pour assurer la stabilité, tandis que les termes d'ordre supérieur sont appris pour capturer les variations d'instance.
   • Inférence : Pour une nouvelle entrée, la plage robuste est calculée une seule fois au niveau du Patch Embedding. Toutes les échelles des couches suivantes sont générées via l'évaluation polynomiale ($O(1)$ FLOPs), éliminant ainsi le besoin de réductions de tenseurs par couche au moment de l'exécution.

Principales Contributions

1. PTQ Sensible à l'Instance pour les ViT : ScalePredictor est présenté comme la première méthode de quantification post-entraînement pour les ViT qui exploite la quantification dynamique pour traiter l'hétérogénéité de la distribution au niveau de l'instance sans réentraînement.
2. Mécanisme d'Apprentissage d'Échelle Efficace : L'intégration d'un mécanisme d'extraction de plage robuste (moyenne min/max par blocs) avec une projection polynomiale inspirée de Taylor permet une prédiction d'échelle précise et instantanée avec un surcoût de calcul négligeable.
3. Découverte de la Corrélation Profondeur-Superficialité : Ce travail révèle une dépendance fonctionnelle constante où les statistiques d'activation des couches peu profondes (spécifiquement des Patch Embeddings) peuvent prédire efficacement les échelles de quantification optimales pour les blocs transformeurs plus profonds à travers diverses architectures (ViT, DeiT, Swin).

Résultats Expérimentaux

Des expériences approfondies ont été menées sur le jeu de données ImageNet sur sept architectures ViT (ViT-S/B, DeiT-T/S/B, Swin-S/B) et quatre bases de comparaison PTQ (BRECQ, QDrop, AdaLog, I&S-ViT).

• Améliorations de la Précision : ScalePredictor surpasse systématiquement les bases de comparaison PTQ statiques, particulièrement dans les régimes à faible nombre de bits.
  • Des gains notables incluent une amélioration de 10,58 % (passant de 33,57 % à 44,15 %) sur Swin-Small en utilisant I&S-ViT à W2/A3.
  • Des améliorations significatives ont également été observées à W3/A3, telles qu'un gain de 8,71 % sur ViT-Small avec BRECQ.
  • Même dans les cas où les bases statiques s'effondraient (ex: BRECQ sur ViT-Small à W2/A3 avec 1,10 % de précision), ScalePredictor a récupéré la performance à 4,15 %.
• Comparaison avec la Quantification Dynamique JIT : Contrairement aux méthodes de quantification dynamique Just-In-Time (JIT) (ex: JIT Min/Max), qui dégradent sévèrement la précision en brisant la relation calibrée poids-activation, ScalePredictor préserve la cohérence de la calibration tout en permettant l'adaptativité.
• Efficacité :
  • Latence : Sur une NVIDIA RTX 3090, ScalePredictor n'introduit qu'un surcoût de latence de bout en bout de 0,6 % par rapport à la PTQ statique.
  • Calcul d'Échelle : La méthode est 40 à 52 fois plus rapide que le JIT Min/Max et 507 à 1025 fois plus rapide que le JIT Percentile pour le calcul des échelles de quantification, car elle évite les réductions de tenseurs par couche.

Signification et Revendications

L'article affirme que ScalePredictor comble avec succès l'écart entre la précision de la quantification dynamique et l'efficacité de la quantification statique. En exploitant la corrélation cachée entre les distributions des couches peu profondes et les échelles optimales des couches profondes, la méthode évite la calibration coûteuse « juste à temps » requise par les approches dynamiques traditionnelles.

Les auteurs soulignent que ScalePredictor offre un compromis précision-efficacité favorable, ce qui en fait une solution viable pour le déploiement de Vision Transformers à bas bits sur les appareils de bord. La méthode est conçue pour être intégrée de manière transparente dans les cadres PTQ existants, ne nécessant que l'ajout d'un module prédicteur léger et d'une étape d'extraction de plage robuste, sans modifier l'architecture réseau sous-jacente ni nécessendre un réentraînement complet.