💻 computer science

Unifying Convolution and Attention via Convolutional Nearest Neighbors

Cet article introduit les Convolutional Nearest Neighbors (ConvNN), un cadre unifié qui démontre que la convolution et l'auto-attention sont des cas particuliers d'un processus unique d'agrégation des $k$ plus proches voisins, reliant ainsi ces deux architectures dominantes de la vision par ordinateur et atteignant des améliorations de performance de l'état de l'art sur ImageNet-1K.

Auteurs originaux : Mingi Kang, Jeová Farias Sales Rocha Neto

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mingi Kang, Jeová Farias Sales Rocha Neto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre une peinture complexe. Pour ce faire, vous avez deux manières principales de regarder :

L'approche du « Voisin Local » (Convolution) : Vous vous tenez très près d'un point précis de la toile et vous ne regardez que le minuscule carré de peinture immédiatement autour de votre doigt. Vous ignorez tout le reste. C'est ainsi que fonctionnent les réseaux de neurones convolutifs (CNN) traditionnels. Ils sont excellents pour percevoir les textures et les contours car ils se concentrent sur les voisins spatiaux immédiats.
L'approche de la « Similitude Globale » (Attention) : Vous reculez pour regarder l'ensemble de la peinture. Vous vous demandez : « Quelles autres parties de cette peinture ressemblent à l'endroit que je regarde, même si elles se trouvent à l'autre bout ? » Vous mélangez ensuite ces parties similaires. C'est ainsi que fonctionnent les Vision Transformers (ViT). Ils sont excellents pour comprendre la vue d'ensemble car ils peuvent connecter des caractéristiques distantes et similaires.

Pendant longtemps, les informaticiens ont pensé que ces deux méthodes étaient des outils complètement différents qui ne pouvaient pas être mélangés facilement.

L'idée maîtresse : L'outil « ConvNN »

Ce document présente un nouvel outil universel appelé Convolutional Nearest Neighbors (ConvNN). Les auteurs soutiennent que les deux méthodes ci-dessus ne sont pas réellement différentes ; elles ne sont que les deux extrémités d'un même spectre.

Considérez le ConvNN comme un moteur de recherche intelligent pour les pixels.

Comment il fonctionne : Lorsqu'un ordinateur regarde un pixel spécifique (la « requête »), il recherche ses « voisins » pour collecter des informations.
Le rebondissement : L'ordinateur peut décider comment trouver ces voisins en fonction d'une règle que vous définissez :
- Règle A (Proximité Spatiale) : « Trouvez les voisins qui sont physiquement les plus proches de moi. » (Cela transforme l'outil en une convolution standard).
- Règle B (Similitude de Caractéristiques) : « Trouvez les voisins qui me ressemblent le plus, peu importe leur distance. » (Cela transforme l'outil en une auto-attention standard).

Le papier prouve mathématiquement que si vous ajustez les paramètres de cet outil unique, vous pouvez le faire agir exactement comme une convolution standard ou un mécanisme d'attention standard. Ils les unifient en un cadre unique.

Comment ils l'ont testé

Les chercheurs ne se sont pas contentés de mathématiques ; ils ont construit des modèles fonctionnels pour voir si cette idée aide réellement les ordinateurs à mieux voir. Ils l'ont testé sur ImageNet, une base de données massive de 1,28 million d'images utilisée pour entraîner l'IA.

1. Test sur des modèles « Locaux » (ResNet-50) :
Ils ont pris un modèle de reconnaissance d'image standard (ResNet-50) et y ont ajouté une « branche hybride ». Imaginez un travailleur qui ne regarde habituellement que le voisinage immédiat (Convolution), mais qui possède désormais un coéquipier capable de chercher des objets similaires n'importe où dans la ville (ConvNN).

Résultat : Cette équipe hybride a obtenu des performances nettement supérieures au travailleur seul. Elle a amélioré la précision de 3,0 %.
Leçon : Vous n'avez pas à choisir entre regarder localement ou globalement ; faire les deux ensemble est la stratégie gagnante.

2. Test sur des modèles « Globaux » (Vision Transformer) :
Ils ont pris un modèle Transformer (ViT-Base) et ont remplacé sa « recherche globale » standard par leur nouvel outil ConvNN.

Résultat : Le nouvel outil a battu le Transformer original de 0,7 %.
Découverte clé : Le Transformer standard traite tous ses « meilleurs correspondants » de manière égale. Le nouvel outil ConvNN a appris à attribuer des poids différents aux différents correspondants. C'est comme un bibliothécaire qui ne se contente pas de saisir les 10 livres les plus similaires, mais qui apprend à prioriser les plus pertinents parmi eux. Cela a rendu le modèle particulièrement efficace pour gérer de grands groupes d'éléments similaires.

Pourquoi cela importe (en termes simples)

C'est une théorie unificatrice : Cela montre que la Convolution et l'Attention sont simplement deux réglages différents sur la même machine.
C'est flexible : Vous pouvez concevoir un système qui se situe n'importe où entre les deux, en utilisant un mélange de proximité spatiale et de similitude de caractéristiques.
C'est efficace : Les auteurs ont créé une version spéciale et rapide de cet outil (utilisant ce qu'on appelle un « noyau Triton ») qui utilise moins de mémoire informatique et s'exécute plus rapidement, ce qui le rend pratique pour une utilisation réelle.

Une note sur l'entraînement

Les chercheurs ont également remarqué quelque chose d'intéressant sur la façon dont le modèle apprend. Le nouvel outil commence plus lentement que les méthodes standard lors des premières étapes de l'entraînement. Cependant, à mesure que l'entraînement approche de la fin (lorsque l'ordinateur affine ses réponses), le nouvel outil rattrape et finit par surpasser les autres. Il semble que le nouvel outil nécessite un rythme d'apprentissage « lent et progressif » pour comprendre exactement comment pondérer ses voisins, tandis que les méthodes standard sont plus rigides et apprennent rapidement mais cessent de s'améliorer plus tôt.

En résumé : Le document présente un cadre unique et flexible qui comble le fossé entre le traitement d'images local et global. En traitant les deux comme des variations de la « recherche de plus proches voisins », ils ont créé un outil mathématiquement fondé, plus rapide à exécuter et plus précis que les leaders actuels dans chacune de ces catégories.

Résumé Technique : Unifier la Convolution et l'Attention via les Voisins Convolutionnels Proches (ConvNN)

Énoncé du Problème

Les réseaux de neurones convolutifs (CNN) et les Vision Transformers (ViT) représentent les deux familles architecturales dominantes en vision par ordinateur, définies respectivement par la convolution spatiale locale et l'auto-attention globale. Malgré leurs définitions opérationnelles distinctes, des travaux antérieurs ont suggéré un lien théorique, indiquant que l'attention avec encodage positionnel relatif peut exprimer la convolution, et que l'attention locale est structurellement équivalente à une convolution par profondeur (depthwise convolution). Cependant, les approches existantes traitent généralement ces opérations comme des entités distinctes à relier de l'extérieur (par exemple, via des architectures mixtes) ou analysent des liens par paires spécifiques. Il manque un cadre mathématique unifié démontrant que ces deux opérations sont des cas particuliers d'un principe sous-jacent unique, exposant ainsi le spectre de conception continu entre elles.

Méthodologie : Voisins Convolutionnels Proches (ConvNN)

Les auteurs introduisent les Voisins Convolutionnels Proches (ConvNN), un cadre unifié basé sur l'agrégation des $k$ -plus proches voisins ( $k$ -NN). L'idée centrale est que la convolution et l'attention sont des instances d'agrégation de voisins qui diffèrent uniquement par leur stratégie de sélection de voisins :

La Convolution sélectionne les voisins en fonction de la proximité spatiale.
L'Attention sélectionne les voisins en fonction de la similitude des caractéristiques.

Mécanique du Cadre

L'opération ConvNN se compose de trois étapes séquentielles :

Calcul de Similitude : Les caractéristiques d'entrée $X$ sont projetées dans des espaces de Requête ( $Q$ ) et de Clé ( $K$ ). Une matrice de similitude $S$ est calculée (par défaut par produit scalaire, mais permettant des métriques de distance spatiale).
Sélection de Voisins et Modulation : Pour chaque requête, les $K$ clés les plus similaires sont sélectionnées. Une fonction de pondération $\rho$ (par exemple, softmax ou uniforme) module les vecteurs de Valeur ( $V$ ) correspondants.
Agrégation Pondérée : Les voisins sélectionnés et pondérés sont agrégés à l'aide d'une convolution 1D (Conv1D) avec une taille de noyau $K$ et un pas (stride) $K$ .

Unification Théorique

L'article fournit des preuves formelles démontrant que ConvNN récupère les opérations existantes comme des cas particuliers exacts :

Convolution : En restreignant les projections aux coordonnées spatiales brutes, en utilisant la distance euclidienne pour la similitude, et en sélectionnant $K = R^d$ voisins (où $R$ est la taille du noyau), ConvNN récupère exactement la convolution standard et par profondeur, incluant le comportement correct aux limites sous condition de remplissage par zéro (zero-padding).
Attention : En utilisant des projections apprises et une similitude de produit scalaire mis à l'échelle, ConvNN récupère :
- L'auto-attention standard (lorsque $K=N$ ).
- Des variantes d'attention creuse comme KVT (lorsque $K < N$ ).
- L'attention creuse structurée (ex: BigBird, masquage causal) via un masquage de similitude.
- Les topologies d'attention multi-têtes par équivalence algébrique.

Implémentations Pratiques

Pour répondre aux contraintes de calcul et de mémoire, les auteurs proposent trois réalisations pratiques :

Recherche de Candidats Creuse : Au lieu d'une recherche exhaustive en $O(N^2)$ , un sous-ensemble aléatoire de $r \ll N$ candidats est sélectionné. Cela évite de réintroduire le biais spatial inhérent au sous-échantillonnage structuré tout en réduant la complexité à $O(Nr)$.
Noyau Accéléré par Triton : Un noyau GPU fusionné combine le calcul de similitude, la collecte de voisins et l'agrégation en un seul lancement. Cela élimine les tenseurs intermédiaires, réduisant la mémoire de pointe lors de la passe directe de $2,3\times$ et accélérant les passages direct et inverse.
Couche de Branchement Hybride : Un module qui traite les entrées via des branches parallèles — l'une utilisant des convolutions standard (proximité spatiale) et l'autre ConvNN (similitude de caractéristiques) — qui sont ensuite concaténées et mélangées via une convolution ponctuelle (pointwise).

Résultats Clés

Le cadre a été validé sur la classification ImageNet-1K à travers deux architectures complémentaires :

1. Architectures Convolutionnelles (ResNet-50)

Branchement Hybride : Le remplacement des convolutions $3\times3$ standard par une couche de branchement hybride ( $\lambda=0,5$ ) a amélioré la précision top-1 de 76,7 % (baseline ResNet-50) à 79,76 % (à $k=16$ ), soit un gain de 3,06 %.
Remplacement Pur : Un remplacement autonome par ConvNN sans la couche de branchement a atteint environ 76,2 %, égalant la baseline mais ne la dépassant pas, ce qui indique que la combinaison de la sélection locale et globale est le moteur de la performance.
Sélection de Candidats : La sélection de candidats creux aléatoires ( $r=32$ ) était efficace en termes de calcul et a systématiquement surpassé la baseline, bien qu'elle ait été moins performante que la sélection complète des caractéristiques.

2. Vision Transformers (ViT-Base)

ConvNN-Attention : Le remplacement de l'auto-attention multi-tête (MHSA) par ConvNN-attention a amélioré la précision top-1 de 80,94 % (baseline MHSA) à 81,64 % (à $k=25$ ), soit un gain de 0,70 %.
Comparaison avec KVT : ConvNN a systématiquement surpassé KVT (qui utilise des poids d'agrégation uniformes fixes) pour tous les nombres de voisins testés. L'écart s'est creusé pour de plus grands $k$ (ex: 81,64 % vs 81,28 % à $k=25$ ), démontrant la valeur des noyaux d'agrégation appris par rapport aux sommes uniformes fixes.
Dynamique d'Entraînement : ConvNN a présenté un profil de convergence distinct, accusant un retard par rapport à MHSA lors des phases initiales/intermédiaires d'entraînement, mais le dépassant lors des époques finales. Les auteurs attribuent cela au fait que le noyau d'agrégation appris nécessite un réglage fin (fine-tuning) à faible taux d'apprentissage pour converger vers des pondérations par canal précises.

Signification et Revendications

L'article affirme que ConvNN fournit une base principalisée pour concevoir des opérations qui font le pont entre le calcul convolutionnel et l'attention. Sa signification réside dans :

Unification : Il prouve formellement que la convolution et l'attention ne sont pas fondamentalement distinctes, mais sont des points sur un spectre opérationnel continu défini par les critères de sélection de voisins.
Exploration de l'Espace de Conception : Il expose un nouvel espace de conception où les praticiens peuvent ajuster systématiquement l'équilibre entre la proximité spatiale et la similitude des caractéristiques, plutôt que de choisir l'une ou l'autre opération.
Gains de Performance : Les résultats empiriques démontrent que les configurations hybrides (combinant les deux modes de sélection) et les noyaux d'agrégation appris peuvent produire des améliorations de performance de pointe par rapport aux baselines correspondantes dans les architectures CNN et Transformer.

Les auteurs maintiennent une position modeste, notant que si ConvNN améliore les baselines correspondantes, il ne vise pas nécessairement les performances absolues de l'état de l'art atteint par des conceptions macro-architecturales sur mesure (ex: CoAtNet, ConvNeXt). Au lieu de cela, il isole et optimise l'opération d'agrégation sous-jacente elle-même. Deux questions restent ouvertes : si un critère de sélection intermédiaire peut surpasser les deux extrémités, et comment gérer dans la pratique la dépendance au calendrier (schedule-dependence) du noyau d'agrégation appris.