💻 computer science

Colinearity Decay: Training Quantization-Friendly ViTs with Outlier Decay

Ce papier présente la régularisation structurelle non invasive Colinéarité-Décroissance (CD), qui atténue les valeurs aberrantes d'activation nuisibles dans les Transformers de vision en pénalisant l'alignement inter-matrices préjudiciable, améliorant ainsi considérablement la précision de la quantification à faible nombre de bits tout en préservant les performances en pleine précision sans surcharge lors de l'inférence.

Auteurs originaux : Jin Tong, Guang Liang, Peilin Sun, Jianxin Wu

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jin Tong, Guang Liang, Peilin Sun, Jianxin Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Rendre l'IA plus petite sans perdre son cerveau

Imaginez que vous avez un expert brillant et très éduqué (un Vision Transformer ou ViT) capable d'identifier des chats, des voitures et des fleurs avec une précision incroyable. Cet expert est très détaillé, mais il est aussi énorme et coûteux à engager. Il nécessite un bureau immense (mémoire élevée) et beaucoup d'électricité pour fonctionner.

Pour rendre cet expert abordable pour un usage quotidien (comme sur un téléphone ou une petite caméra), nous voulons le réduire. Ce processus s'appelle la Quantification. C'est comme prendre une photo haute résolution et la compresser dans un fichier de taille plus petite.

Le Problème :
Lorsque vous essayez de réduire cet expert, vous rencontrez un problème de « voisin bruyant ». Dans le cerveau de l'expert, la plupart des neurones (les petits travailleurs) sont calmes et fonctionnent à un volume normal. Mais quelques neurones spécifiques hurlent incroyablement fort (ce sont ce qu'on appelle les valeurs aberrantes ou outliers).

Lorsque vous essayez de compresser l'ensemble du système, l'algorithme de compression doit faire de la place pour ces neurones qui hurlent. Pour les faire entrer, il doit étirer l'échelle à ce point que les neurones calmes et normaux sont écrasés dans un espace minuscule et flou. Le résultat ? L'expert compressé devient confus et fait des erreurs, même si l'original était parfait.

L'Ancienne Méthode vs La Nouvelle Méthode

L'Ancienne Méthode (Supprimer les Hurlants) :
Les méthodes précédentes tentaient de résoudre ce problème en forçant ces neurones bruyants à se taire. Elles ajoutaient une règle pendant l'entraînement : « Si tu deviens trop bruyant, nous te punirons. »

Le Défaut : C'est comme dire à un chœur de ne chanter qu'à voix basse. Si vous forcez les chanteurs bruyants à être trop calmes, toute la chanson perd sa puissance et son émotion. L'expert devient un modèle compressé « bon », mais un modèle original « mauvais ». Vous perdez la véritable intelligence de l'expert juste pour le faire tenir dans une petite boîte.

La Nouvelle Méthode (Décroissance de la Colinéarité) :
Les auteurs de ce papier soutiennent que nous ne devrions pas simplement faire taire les neurones bruyants. Au lieu de cela, nous devrions réparer pourquoi ils hurlent dès le départ.

Ils ont découvert que les hurlements se produisent à cause d'un défaut structurel spécifique : Deux équipes de travailleurs se tiennent accidentellement en ligne, amplifiant les signaux l'un de l'autre.

L'Analogie : Imaginez une course de relais. Le coureur A passe le témoin au coureur B. Si le coureur A court déjà à toute vitesse, et que le coureur B se trouve par hasard dans la position exacte et parfaite pour attraper ce témoin et courir encore plus vite, le signal s'amplifie jusqu'à devenir un hurlement.
L'Insight du Papier : Le problème n'est pas que les coureurs sont trop rapides ; c'est qu'ils sont alignés d'une manière qui crée une boucle de rétroaction dangereuse.

La Solution : « Décroissance de la Colinéarité » (CD)

Les auteurs introduisent une nouvelle règle d'entraînement appelée Décroissance de la Colinéarité.

La Réparation : Au lieu de simplement crier « Tais-toi ! », ils poussent doucement le deuxième coureur (la matrice en aval) à se tenir légèrement hors de l'alignement parfait avec le premier coureur.
Comment ça marche : Ils appliquent une minuscule « décroissance » invisible (une pousse douce) à la connexion entre ces paires spécifiques de matrices pendant l'entraînement. Cela brise l'alignement parfait qui cause l'explosion du signal.
Le Résultat : Les neurones bruyants existent toujours, mais ils ne sont pas aussi bruyants. Ils sont ramenés à un volume « raisonnable ».
- L'expert original (Précision Complète) reste brillant et précis.
- L'expert compressé (Quantifié) peut maintenant être réduit sans perdre la tête, car les « hurlants » ne forcent plus tout le système à s'étirer.

Pourquoi c'est une Grande Nouvelle

Aucun Coût Supplémentaire : Les auteurs ont conçu cela pour ne pas ralentir le processus d'entraînement ni nécessiter un ordinateur plus puissant. C'est comme ajouter un petit ajustement à une recette sans avoir besoin d'une nouvelle cuisine.
Mieux qu'Auparavant : Dans leurs tests, cette méthode a rendu les modèles compressés nettement plus intelligents que les méthodes précédentes, en particulier pour des tâches complexes comme repérer des objets dans une vidéo (détection).
C'est Non Invasif : Ils n'ont pas eu à reconstruire le cerveau de l'expert ni à changer les règles du jeu. Ils ont simplement ajusté la façon dont les parties existantes parlent entre elles.

Résumé en Une Phrase

Le papier nous apprend que pour rendre les modèles d'IA plus petits et plus rapides, nous ne devrions pas simplement les forcer à être calmes ; au lieu de cela, nous devrions démêler doucement les connexions spécifiques qui les font hurler, leur permettant de rester intelligents même lorsqu'ils sont réduits.

Résumé Technique : Décroissance de la Colinéarité pour des Transformers de Vision Compatibles avec la Quantification

1. Énoncé du Problème

La quantification en bas bit est une stratégie cruciale pour déployer des Transformers de Vision (ViT) dans des environnements aux ressources limitées. Cependant, un déploiement entièrement quantifié est entravé par des valeurs aberrantes d'activation (outliers) — un petit nombre de canaux ou de jetons présentant des valeurs nettement supérieures au reste. Ces valeurs aberrantes forcent des échelles de quantification grossières, dégradant la précision effective pour la majorité des activations.

Les approches existantes relèvent généralement de deux catégories :

Méthodes post-entraînement : Calibration, reparamétrisation d'échelle ou techniques de reconstruction appliquées après l'entraînement du modèle en pleine précision.
Suppression pendant l'entraînement : Méthodes qui suppriment agressivement les grandes activations durant l'entraînement (par exemple TWEO [23]) pour stabiliser l'optimisation en basse précision.

Les auteurs soutiennent que la seconde approche présente un défaut critique : minimiser agressivement les valeurs aberrantes peut nuire à la représentation apprise par le modèle en pleine précision, conduisant à un compromis sous-optimal entre la précision en pleine précision (FP) et la précision quantifiée. De plus, la régularisation directe des activations entraîne souvent des coûts d'entraînement significatifs. L'article postule que l'objectif d'entraînement ne devrait pas simplement minimiser l'amplitude des valeurs aberrantes, mais plutôt contrôler l'amplification structurelle qui rend ces valeurs aberrantes préjudiciables à la quantification.

2. Méthodologie : Décroissance de la Colinéarité (CD)

La méthode proposée, la Décroissance de la Colinéarité (CD), est un régularisateur structurel conçu pour atténuer l'amplification des activations sans modifier l'architecture du modèle ni la fonction de perte de la tâche.

2.1 Source Structurelle des Valeurs Aberrantes

Les auteurs identifient que les grandes activations résultent souvent non pas de matrices individuelles, mais de l'alignement entre des paires de matrices ordonnées $(W_1, W_2)$ dans le flux de données.

Soit $W_1 = USV^\top$ la décomposition en valeurs singulières (SVD) d'une matrice amont.
Si une ligne de la matrice aval $W_2$ s'aligne avec un vecteur singulier gauche dominant de $W_1$ (associé à une grande valeur singulière), la sortie est amplifiée.
La décroissance des poids standard régularise les matrices indépendamment et échoue à pénaliser cet alignement inter-matrices.

2.2 Le Régularisateur

La CD pénalise l'énergie paire $\|W_2 W_1\|_F^2$ . Ce terme est élevé lorsque les lignes de $W_2$ placent de la masse sur les directions à haute valeur singulière de $W_1$ .

Paires Cibles : La CD s'applique à des paires spécifiques au sein des blocs Transformer :
- Paires Composables : Échelles de normalisation suivies de projections (par exemple, les échelles LayerNorm et $W_Q, W_K, W_V$ ou $W_{F1}$ ).
- Paires Fonctionnelles : Matrices séparées par des non-linéarités mais formant une route fonctionnelle (par exemple, $W_V \to W_O$ dans l'attention, et $W_{F1} \to W_{F2}$ dans le FFN).
Mise à Jour Découplée : Au lieu d'ajouter une perte auxiliaire au graphe d'entraînement (ce qui augmenterait la complexité mémoire et temporelle), la CD est mise en œuvre comme une mise à jour de poids découplée. Après le calcul des gradients de la tâche, la matrice aval $W_2$ est mise à jour comme suit :
$W_2 \leftarrow W_2 - \eta \lambda_{cd} W_2 W_1 W_1^\top$
Cette mise à jour rétrécit les lignes de $W_2$ le long des directions à haute valeur singulière de $W_1$ . Les auteurs prouvent que cette direction de gradient forme un angle non obtus avec la décroissance des poids standard, garantissant qu'elles sont coopératives.

2.3 Détails de l'Implémentation

La CD est appliquée uniquement à la matrice aval dans chaque paire pour éviter une décroissance redondante.
Le budget de régularisation est géré en réduisant le coefficient de décroissance des poids standard ( $\lambda_{wd}$ ) pour accommoder $\lambda_{cd}$ , maintenant la force totale de régularisation comparable à celle de la ligne de base.
La méthode est non invasive, préservant le graphe d'inférence et l'architecture.

3. Contributions Clés

Insight Empirique : Les auteurs démontrent que maintenir les valeurs aberrantes dans une "plage appropriée" est bénéfique. Une suppression agressive (réduire les activations maximales à des valeurs très faibles) nuit à la précision FP et, par conséquent, aux performances quantifiées.
Régularisation Structurelle : Ils identifient un alignement excessif inter-matrices comme une source structurelle de valeurs aberrantes et introduisent la CD, un régularisateur non invasif avec des frais généraux négligeables.
Orthogonalité : La CD est orthogonale aux pipelines de quantification existants et aux méthodes d'atténuation des valeurs aberrantes architecturales (par exemple, les puits d'attention), permettant une utilisation combinée.
Validation Complète : La CD est validée sur le pré-entraînement ImageNet-1K, la détection COCO et neuf tâches de fine-tuning en aval.

4. Résultats Expérimentaux

4.1 Pré-entraînement ImageNet-1K

Précision Quantifiée : La CD améliore constamment la précision quantifiée W4A4 (RepQ-ViT et APHQ) par rapport aux lignes de base et à TWEO. Par exemple, sur ViT-B, la CD atteint 77,78 % (RepQ-ViT) contre 76,47 % (Ligne de base) et 73,86 % (TWEO).
Précision en Pleine Précision : La CD préserve ou améliore légèrement la précision Top-1 FP (81,63 % contre 81,44 % pour la Ligne de base).
Contrôle des Valeurs Aberrantes : La CD réduit considérablement les activations maximales (par exemple, de 250,60 à 162,44 dans les blocs) mais pas aussi agressivement que TWEO (18,56), soutenant l'hypothèse qu'un contrôle modéré est optimal.

4.2 Détection COCO

La CD améliore substantiellement les performances du détecteur quantifié (mAP) tout en maintenant ou en améliorant légèrement les performances FP.
À l'inverse, TWEO et les lignes de base avec bruit entraînent souvent des baisses de précision FP.
La CD montre des gains constants à travers différents pipelines de quantification (Percentile, RepQ-ViT, APHQ, GPLQ) et tailles de modèles (Swin-T, Swin-S).

4.3 Fine-tuning en Aval

Sur neuf jeux de données (incluant Flowers, Pets, Cars, etc.), la CD produit la meilleure précision FP moyenne, la meilleure précision quantifiée moyenne et la plus petite baisse de précision moyenne par rapport à la Ligne de base et à TWEO.
Cela confirme que contrôler les activations vers une plage raisonnable est plus efficace que de les minimiser autant que possible.

4.4 Efficacité

Frais Généraux : En tant que mise à jour découplée, la CD ajoute des frais de temps et de mémoire minimes. À l'inverse, la perte de régularisation des activations de TWEO évolue linéairement avec la taille du lot et la dimension cachée, entraînant des coûts nettement plus élevés.

4.5 Études d'Ablation

Force : Une force CD modérée ( $\lambda_{cd} = 0,005$ ) produit les meilleurs résultats ; trop forte ou trop faible est sous-optimal.
Forme : La forme de mise à jour découplée surpasse une implémentation directe par terme de perte, qui s'est révélée instable.
Cible : L'application de la CD à la deuxième matrice dans les paires composables et fonctionnelles produit les meilleurs résultats. L'appliquer aux deux matrices d'une paire fonctionnelle dégrade les performances.

5. Importance et Revendications

L'article revendique que la régularisation structurelle des paires de matrices Transformer est une manière pratique et efficace de préparer les modèles de vision au déploiement en bas bit.

Zéro Frais d'Inférence : Puisque la CD ne modifie que la dynamique d'entraînement, l'architecture et la latence d'inférence restent inchangées.
Meilleur Compromis : En évitant la suppression agressive des valeurs aberrantes qui nuit aux représentations en pleine précision, la CD atteint un équilibre supérieur entre la précision FP et la précision quantifiée.
Généralisabilité : Bien que centrée sur les ViT, la méthode est définie sur des paires de matrices ordonnées et montre une promesse initiale sur les modèles de langage GPT-2 (Annexe A.6), suggérant une applicabilité au-delà de la vision.

Les auteurs concluent que plutôt que de traiter les valeurs aberrantes comme un problème à éliminer, elles devraient être considérées comme une quantité diagnostique où l'objectif est de contrôler les mécanismes structurels (alignement inter-matrices) qui les amplifient à des niveaux nuisibles.