⚡ electrical engineering

Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers

Ce papier propose deux méthodes basées sur la transformée en cosinus discrète (DCT) pour les Transformers de vision : une stratégie d'initialisation préservant la structure pour les projections d'attention automatique qui améliore la précision de classification, et une technique de compression dans le domaine fréquentiel qui réduit la surcharge de calcul en tronquant le bruit haute fréquence sans sacrifier les performances.

Auteurs originaux : Hongyi Pan, Emadeldeen Hamdan, Xin Zhu, Ahmet Enis Cetin, Ulas Bagci

Publié 2026-05-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hongyi Pan, Emadeldeen Hamdan, Xin Zhu, Ahmet Enis Cetin, Ulas Bagci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Vision Transformer (ViT) comme un élève très intelligent qui tente d'apprendre à reconnaître des objets dans une image. Pour ce faire, l'élève découpe l'image en minuscules pièces de puzzle (patchs) et examine comment elles se relient entre elles. La partie du cerveau qui effectue ce « regard et connexion » est appelée Auto-Attention.

L'article de Hongyi Pan et de ses collègues suggère que cet élève commence actuellement ses études avec quelques mauvaises habitudes : il devine au hasard au début, et il tente de se souvenir de chaque minuscule détail, y compris le bruit statique et les interférences. Les auteurs proposent deux solutions simples utilisant un outil mathématique appelé la Transformée en Cosinus Discrète (DCT) — la même mathématique utilisée pour compresser les images JPEG et les fichiers MP3.

Voici comment leurs deux nouvelles méthodes fonctionnent, expliquées avec des analogies du quotidien :

1. Le « Début Intelligent » (Initialisation basée sur la DCT)

Le Problème :
Habituellement, lorsqu'un Vision Transformer commence son entraînement, il attribue des nombres aléatoires à ses « cellules cérébrales » (poids) pour déterminer ce qu'il doit chercher. C'est comme donner à un nouvel élève une pile de cartes flash vierges et lui demander de deviner ce qui se trouve au verso. Il doit partir de zéro, ce qui prend beaucoup de temps et peut être instable.

La Solution :
Les auteurs disent : « Donnons à l'élève une longueur d'avance. » Au lieu de nombres aléatoires, ils initialisent les cellules cérébrales en utilisant une matrice DCT.

L'Analogie : Imaginez que le cerveau de l'élève est un tuner radio. L'initialisation aléatoire équivaut à tourner le cadran sur du bruit statique. L'initialisation par DCT équivaut à régler la radio sur une station spécifique et claire dès le début.
Comment cela fonctionne : La matrice DCT est composée de motifs spécifiques (comme différentes notes de musique ou couleurs) qui couvrent l'ensemble du spectre des possibilités. En commençant par ces motifs, le modèle n'a pas besoin de « deviner » quelles caractéristiques existent ; il commence avec une vue structurée et organisée du monde.
Le Résultat : Le modèle apprend plus vite et devient meilleur pour reconnaître des choses (comme des chats ou des voitures) car il a commencé avec une fondation « propre » et organisée plutôt qu'avec du bruit aléatoire.

2. Le « Filtre à Bruit » (Compression basée sur la DCT)

Le Problème :
Lorsque le modèle examine une image, il tente de traiter chaque détail individuel. Cependant, dans le monde des signaux (comme les images), l'information la plus importante se trouve généralement dans les « basses fréquences » (les grandes formes et les couleurs principales), tandis que les « hautes fréquences » sont souvent de simples détails minuscules et irréguliers ou du bruit (comme du grain sur une photo).

L'Analogie : Imaginez que vous essayez de décrire un paysage à un ami. Vous lui parlez des montagnes, de la rivière et des arbres (les choses importantes). Mais ensuite, vous passez aussi 10 minutes à décrire chaque brin d'herbe et chaque poussière sur un rocher (le bruit). C'est une perte de temps et d'énergie.

La Solution :
Les auteurs proposent une méthode pour « élaguer le superflu » avant que le modèle ne fasse son travail de réflexion intensive.

L'Analogie : Ils utilisent la DCT pour traduire l'image en un « rapport de fréquences ». Ensuite, ils suppriment simplement les 25 % à 75 % supérieurs du rapport, jetant le bruit haute fréquence.
Comment cela fonctionne : Le modèle ne conserve que les coefficients « basse fréquence » (les formes importantes) et ignore le reste. Cela rend les données beaucoup plus petites.
Le Résultat : Le modèle devient beaucoup plus léger et rapide (nécessitant moins de puissance de calcul et de mémoire) car il ne gaspille pas d'énergie sur le bruit. De manière surprenante, l'article a révélé que même avec moins de données, la précision du modèle restait la même, voire s'améliorait légèrement, car il se concentrait sur les bonnes choses.

La Conclusion

L'article affirme qu'en utilisant ces deux astuces DCT :

Initialisation : Le modèle commence avec une meilleure « carte » du monde, conduisant à une précision plus élevée lors de tests tels que l'identification d'objets dans CIFAR-10 et ImageNet.
Compression : Le modèle peut ignorer le « bruit statique » visuel, ce qui le rend plus rapide et moins gourmand en mémoire sans perdre sa capacité à voir clairement.

Les auteurs ont testé cela sur des tâches standard de reconnaissance d'images et ont constaté que leurs modèles « DCT-Transformer » étaient plus efficaces et souvent plus précis que les versions standard, prouvant que parfois, un peu de structure mathématique va très loin.

1. Énoncé du problème

Les Vision Transformers (ViT) ont révolutionné la vision par ordinateur en appliquant des mécanismes d'auto-attention à des patches d'images. Cependant, deux défis critiques subsistent :

Sensibilité à l'initialisation : L'approche standard initialise les matrices de projection de requête ( $W_Q$ ), de clé ( $W_K$ ) et de valeur ( $W_V$ ) avec des nombres aléatoires (par exemple, initialisation Xavier ou He). Cela traite les poids comme du « bruit blanc », couvrant uniformément le spectre mais manquant de connaissances a priori structurelles. Cela peut entraîner une dynamique d'entraînement instable, en particulier sur de petits jeux de données, et nécessite des ressources de calcul importantes pour converger.
Efficacité computationnelle : Les mécanismes d'auto-attention sont coûteux en calcul (complexité $O(N^2)$ par rapport à la longueur de la séquence et nombre élevé de paramètres). Les méthodes de compression existantes sacrifient souvent la précision ou ne parviennent pas à exploiter les structures de corrélation spécifiques inhérentes aux données visuelles et aux matrices d'attention.

2. Méthodologie

Les auteurs proposent deux méthodes complémentaires exploitant la Transformée en Cosinus Discrète (DCT) pour résoudre ces problèmes :

A. Initialisation basée sur la DCT

Au lieu d'une initialisation aléatoire, les auteurs proposent d'initialiser l'une des matrices de poids de projection ( $W_Q$ , $W_K$ ou $W_V$ ) en utilisant la matrice DCT orthogonale de type II.

Mécanisme : La matrice DCT sert d'extracteur de caractéristiques structuré. Contrairement aux poids aléatoires qui sont un bruit non corrélé, les vecteurs de base DCT couvrent systématiquement l'ensemble du spectre fréquentiel.
Justification :
- Couverture spectrale : L'initialisation aléatoire démarre tous les vecteurs de poids avec la même distribution spectrale. L'initialisation DCT garantit que chaque vecteur de poids couvre une bande passante différente (de la fréquence basse à la fréquence haute), fournissant un point de départ plus robuste pour l'apprentissage de caractéristiques diverses.
- Décorrélation : Les vecteurs de base DCT approximent la Transformée de Karhunen-Loève (KLT) pour les signaux fortement corrélés (comme les images naturelles), décorrélatant efficacement les caractéristiques d'entrée au début de l'entraînement.
Implémentation : Une seule matrice est initialisée avec la DCT pour éviter les problèmes de symétrie des poids (où une initialisation identique de plusieurs matrices conduit à un mauvais apprentissage). Les autres restent initialisées aléatoirement.

B. Attention compressée basée sur la DCT

Cette méthode exploite le domaine fréquentiel pour réduire la dimensionalité et le coût computationnel.

Mécanisme :
1. Transformation : Les patches d'entrée sont transformés dans le domaine fréquentiel en utilisant la DCT le long de l'axe des canaux.
2. Troncature : Les composantes haute fréquence (qui correspondent généralement au bruit et aux détails moins critiques) sont tronquées. Seule la fraction $\tau$ supérieure des coefficients (par exemple, 25 %, 50 %, 75 %) est conservée.
3. Projection : Les projections Requête, Clé et Valeur sont calculées sur ce tenseur de dimension réduite ( $\tau C$ au lieu de $C$ ).
4. Reconstruction : La sortie de l'attention est rembourrée à la dimension originale et transformée en arrière via la DCT inverse (IDCT).
Optimisation : L'IDCT et la couche de sortie linéaire finale ( $L_O$ ) sont fusionnées en une seule couche linéaire pour éliminer les opérations redondantes, car il n'y a pas de non-linéarité entre elles.
Efficacité : Cela réduit la complexité computationnelle des couches linéaires de $O(C^3)$ à $O(\tau^2 C^3)$ et réduit considérablement la taille de la matrice Softmax.

3. Contributions clés

Stratégie d'initialisation novatrice : Introduction de la première initialisation basée sur la DCT pour les poids d'attention ViT, démontrant que les priors structurés dans le domaine fréquentiel surpassent l'initialisation aléatoire.
Compression efficace : Proposition d'une technique de compression basée sur la DCT qui réduit les paramètres et les FLOPs en éliminant le bruit haute fréquence tout en préservant les informations sémantiques essentielles basse fréquence.
Justification théorique : Fourniture d'un lien mathématique entre la DCT et la décorrélation des patches d'images fortement corrélés (approximant la KLT), expliquant pourquoi la DCT est supérieure au bruit aléatoire ou au simple pooling pour la compression d'attention.
Évaluation complète : Validation des méthodes sur plusieurs architectures (Swin-T, Swin-S, ViT-B) et tâches (Classification, Détection, Segmentation).

4. Résultats expérimentaux

Les méthodes ont été évaluées sur les benchmarks CIFAR-10, ImageNet-1K et COCO 2017 en utilisant des Transformers Swin comme colonne vertébrale.

Classification d'images (CIFAR-10 et ImageNet-1K) :
- Initialisation : L'initialisation de $W_K$ (Clés) avec la DCT a systématiquement amélioré la précision Top-1. Pour Swin-T sur ImageNet-1K, la précision est passée de 81,47 % à 81,73 %.
- Compression : La conservation de 75 % des coefficients DCT ( $\tau=0,75$ ) a réduit les paramètres d'environ 13 % (Swin-T) et 10 % (Swin-S) tout en maintenant ou en améliorant légèrement la précision par rapport à la base.
- Comparaison : La méthode proposée a surpassé DCFormer (une méthode précédente basée sur la DCT) en conservant précisément les composantes basse fréquence plutôt que de les moyenner, préservant ainsi les caractéristiques discriminatives.
Détection d'objets et Segmentation (COCO 2017) :
- En utilisant l'initialisation DCT ( $W_K$ ) et une compression de 75 %, les modèles ont obtenu des scores de Précision Moyenne (AP) plus élevés que les Transformers Swin classiques tout en réduisant le nombre de paramètres de 3M (Swin-T) et 5M (Swin-S).
Études d'ablation :
- Initialisation unique vs multiple : L'initialisation de plusieurs matrices (par exemple, à la fois $W_Q$ et $W_K$ ) avec la DCT a dégradé les performances en raison de problèmes de rupture de symétrie ; l'initialisation d'une seule matrice a donné les meilleurs résultats.
- Nécessité de la DCT : Le retrait de la transformation DCT du pipeline de compression (ne laissant que l'élagage spatial) a provoqué une chute significative de la précision, confirmant que la décorrélation dans le domaine fréquentiel est essentielle au succès de la méthode.

5. Importance

Cet article démontre que l'analyse dans le domaine fréquentiel est un outil puissant pour l'optimisation des Vision Transformers.

Stabilité de l'entraînement : Il offre une manière fondée et non aléatoire d'initialiser les réseaux d'attention profonds, pouvant réduire le temps d'entraînement et améliorer la convergence sur des tâches avec peu de données.
Efficacité sans sacrifice : Il prouve que le bruit haute fréquence peut être éliminé en toute sécurité des mécanismes d'attention, permettant des modèles plus légers avec moins de paramètres et des FLOPs inférieurs sans compromettre (et parfois en améliorant) les performances.
Généralisabilité : L'approche est agnostique à l'architecture (testée sur Swin et ViT) et agnostique à la tâche (fonctionne pour la classification, la détection et la segmentation), ce qui en fait un ajout polyvalent à la boîte à outils ViT.

Le code de l'implémentation est disponible publiquement, facilitant la poursuite des recherches sur les mécanismes d'attention basés sur la fréquence.