Résumé Technique : Modélisation Visuelle Globale en Temps Linéaire sans Attention Explicite

Énoncé du Problème

Le paradigme dominant en vision par ordinateur attribue les capacités de modélisation de séquences globales des Transformers au calcul explicite des poids d'attention. Ce processus implique le calcul des similarités par paires entre les tokens pour former une matrice d'attention de taille $N \times N$, qui est ensuite utilisée pour recombiner les représentations de valeurs. Bien que efficace, ce mécanisme entraîne intrinsèquement une complexité computationnelle quadratique ($O(N^2)$) par rapport à la longueur de la séquence, créant un goulot d'étranglement pour les entrées haute résolution et les longues séquences. Les améliorations d'efficacité existantes se concentrent largement sur l'approximation ou la sparsification de cette matrice d'attention explicite, restant ainsi liées au paradigme de la répondération explicite des caractéristiques.

Méthodologie

Recadrage Théorique : L'Attention comme un MLP Dynamique

Les auteurs proposent une nouvelle perspective : l'attention peut être mathématiquement recadrée non pas comme une agrégation pondérée explicite, mais comme un Perceptron Multicouche (MLP) à paramètres prédits dynamiquement.

• Mécanisme : Dans l'attention standard, la sortie pour une requête $q_i$ est $o_i = \text{Softmax}(\frac{q_i K^\top}{\sqrt{d}})V$. Les auteurs interprètent $K^\top$ et $V$ non pas comme des poids statiques, mais comme des paramètres dynamiques générés à partir de l'entrée $X$ (c'est-à-dire $K=XW_K, V=XW_V$).
• Implication : La modélisation globale émerge implicitement. L'entrée $X$ est compressée en un ensemble de paramètres dynamiques $W = G(X)$, qui agissent comme une représentation compacte du contexte global. Le passage de l'entrée à travers ce réseau paramétré dynamiquement intègre les dépendances à long terme sans jamais calculer ni appliquer de matrice d'attention explicite $N \times N$.
• Insight sur la Complexité : La complexité quadratique de l'attention standard découle du fait que la largeur effective de ce « MLP dynamique » évolue avec le nombre de tokens $N$ (puisque $K^\top \in \mathbb{R}^{d \times N}$). En découplant la génération des paramètres de la longueur de la séquence, on peut réaliser une modélisation globale avec une complexité linéaire.

Architecture WeightFormer

Pour valider cette hypothèse, les auteurs introduisent WeightFormer, une architecture de vision qui remplace l'attention explicite par une paramétrisation dynamique tout en maintenant une complexité linéaire ($O(N)$).

• Distribution Sparse : Au lieu d'appliquer des couches dynamiques à chaque bloc (ce qui engendre une surcharge élevée), WeightFormer insère des blocs dynamiques de manière sparse (spécifiquement, tous les trois blocs), en maintenant le reste statique pour équilibrer performance et efficacité.
• Couches Linéaires Dynamiques : La première couche linéaire du MLP est remplacée par une couche dynamique utilisant une Activation Bilatérale. Cette stratégie factorise la prédiction des poids en deux branches non linéaires agissant sur l'entrée $X$ et sa transposée $X^\top$ :
  $$\Delta W(X) = W_1 \sigma(W_2 X^\top) \sigma(X W_3) W_4$$
  Cela permet au modèle de capturer des interactions de caractéristiques d'ordre supérieur et un contexte global sans routage explicite token-à-token.
• Convolutions Profondes Dynamiques (DWC) : Pour remplacer le mélange spatial de l'attention, les auteurs emploient des convolutions profondes dynamiques. Ils utilisent une Prédiction Adaptative Spatiale, où l'entrée est sous-échantillonnée via un Pooling Moyen Adaptatif (AAP) vers une résolution fixe de $K \times K$ (correspondant à la taille du noyau) avant de prédire les poids du noyau. Cela préserve la structure spatiale tout en garantissant que le processus de génération des paramètres est indépendant de la résolution de l'entrée.

Contributions Clés

1. Recadrage Mathématique : L'article fournit une nouvelle explication théorique du pouvoir de modélisation globale de l'attention, la posant comme un MLP dynamique à paramètres conditionnés par l'entrée plutôt qu'une agrégation explicite token par token.
2. Démonstration de Faisabilité : Il démontre que les poids d'attention explicites ne sont pas essentiels à la modélisation de séquences globales. Les auteurs prouvent que la paramétrisation dynamique peut remplacer complètement l'attention pour atteindre des performances au niveau des Transformers avec une complexité linéaire.
3. Architecture WeightFormer : L'introduction d'une architecture prototype qui explore systématiquement des stratégies de paramétrisation dynamique (Activation Bilatérale pour les couches linéaires et Prédiction Adaptative Spatiale pour les convolutions profondes) dans un cadre standard de type CNN.

Résultats Expérimentaux

Les auteurs ont mené des expériences extensives sur ImageNet-1K, COCO, ADE20K et la génération conditionnelle par classe sur ImageNet.

• Classification d'Images (ImageNet-1K) : WeightFormer atteint une précision compétitive ou supérieure par rapport à des bases de référence solides (DeiT, PVT, ConvNeXt) avec des coûts computationnels similaires ou inférieurs.
  • WeightFormer-S atteint une précision top-1 de 81,3 %, surpassant DeiT-S (79,8 %) et ConvNeXt-S (79,7 %) tout en utilisant des ressources comparables.
  • WeightFormer-T atteint une précision de 76,3 % avec un débit significativement plus élevé (3515 img/s) par rapport à DeiT-T (3661 img/s) mais avec des FLOPs beaucoup plus faibles aux hautes résolutions.
• Efficacité et Évolutivité : Grâce à sa complexité linéaire, WeightFormer s'adapte efficacement aux hautes résolutions. À une résolution de 1248×1248, il atteint un débit 7,7 fois plus élevé et une réduction de 91 % de la mémoire par rapport à DeiT.
• Tâches en Aval :
  • Détection d'Objets (COCO) : WeightFormer-T améliore l'AP boîte/masque par rapport à DeiT-T (45,0/38,3 contre 44,4/38,1) tout en réduisant les FLOPs du backbone de 106G à 77G.
  • Segmentation Sémantique (ADE20K) : WeightFormer-S atteint 45,6 mIoU, surpassant DeiT-S (44,0 mIoU) avec des FLOPs de backbone réduits.
  • Génération d'Images : Dans la génération conditionnelle par classe, les variantes de WeightFormer atteignent systématiquement des scores FID inférieurs à des modèles DiT et DiG comparables, indiquant une qualité d'échantillons améliorée.
• Études d'Ablation : Les expériences sur la fréquence des blocs dynamiques révèlent qu'une distribution sparse (un bloc dynamique tous les trois) offre le meilleur compromis, car le remplacement de trop de couches statiques conduit à un sous-ajustement et à des défis d'optimisation.

Signification et Revendications

L'article revendique que la paramétrisation dynamique est une alternative fondamentalement plus efficace à l'attention explicite pour la modélisation de séquences globales. En déplaçant l'accent de l'agrégation explicite des poids vers la génération implicite de paramètres, les auteurs ouvrent un nouvel espace de conception pour des architectures efficaces qui ne dépendent pas du goulot d'étranglement quadratique des Transformers.

Les auteurs maintiennent un ton modeste concernant la portée de leur travail :

• L'évaluation est actuellement restreinte aux tâches de vision, et la généralisation à d'autres domaines (par exemple, le TALN) reste une question ouverte.
• La compréhension théorique de l'expressivité et des biais inductifs de la paramétrisation dynamique n'est pas encore complète.
• L'optimisation de ces paramètres conditionnés par l'entrée présente des défis concernant le flux de gradient et la stabilité de l'entraînement.

En fin de compte, ce travail sert de preuve de concept que la modélisation globale peut être découplée de la complexité quadratique, motivant une exploration plus poussée de la paramétrisation dynamique comme remplacement viable des architectures basées sur l'attention.