🤖 AI

Hierarchical Vision Transformer Enhanced by Graph Convolutional Network for Image Classification

Cet article propose GCN-HViT, une architecture hiérarchique combinant les Transformers Vision et les réseaux de convolution graphique pour surmonter les limites des patchs fixes et des embeddings de position 1D en capturant simultanément les relations globales et locales, ce qui permet d'atteindre des performances de pointe en classification d'images.

Auteurs originaux : Haibin Jiao

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haibin Jiao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de reconnaître un visage humain à partir d'une photo. Comment votre cerveau le fait-il ? Il ne regarde pas tout d'un coup, ni ne se concentre uniquement sur un seul grain de peau. Il fait deux choses simultanément : il observe les détails fins (les yeux, la bouche) et il comprend comment ces détails s'assemblent pour former le visage entier.

C'est exactement le défi que les chercheurs rencontrent avec l'intelligence artificielle lorsqu'elle essaie de "voir" des images. Le papier que vous avez partagé décrit une nouvelle méthode appelée GCN-HViT, qui est comme un super-héros de la vision par ordinateur, combinant les meilleurs atouts de deux technologies existantes.

Voici une explication simple, avec des analogies pour mieux comprendre :

1. Le Problème : Les deux outils imparfaits

Avant cette invention, les chercheurs utilisaient deux outils principaux, mais chacun avait un défaut majeur :

L'outil ViT (Vision Transformer) : Imaginez un chef d'orchestre très doué. Il peut voir l'ensemble de l'orchestre (l'image entière) et comprendre comment tous les musiciens interagissent entre eux (la relation globale). C'est excellent pour voir le "grand tableau".
- Le problème : Il perd souvent les détails. S'il regarde l'orchestre de loin, il ne voit pas si un violoniste a un doigté précis. De plus, il utilise une "étiquette de position" un peu bête (une simple liste numérotée 1, 2, 3...) qui ne comprend pas que l'image est en 2D (haut/bas, gauche/droite).
L'outil GCN (Réseau de Convolution Graphique) : Imaginez un voisin très curieux. Il ne regarde que sa propre maison et celle de ses voisins immédiats. Il est excellent pour comprendre les détails locaux et les relations de proximité.
- Le problème : Il est trop petit pour voir l'orchestre entier. Il ne comprend pas la structure globale de la symphonie.

2. La Solution : Le mariage parfait (GCN-HViT)

L'auteur, Haibin Jiao, a eu l'idée brillante de marier ces deux approches dans une structure Hiérarchique (en plusieurs niveaux).

Voici comment cela fonctionne, étape par étape :

Étape 1 : La structure en "Matriochkas" (Les poupées russes)

Au lieu de couper l'image en petits morceaux une seule fois, le modèle le fait en deux niveaux, comme des poupées russes :

Niveau 1 (Les petits détails) : L'image est découpée en 16 petits morceaux (comme des pixels géants). Le modèle regarde ces petits morceaux individuellement.
Niveau 2 (Les grands groupes) : Ces 16 petits morceaux sont regroupés par 4 pour former 4 grands morceaux. Le modèle regarde ensuite ces grands groupes.

C'est comme si vous lisiez un livre : d'abord vous lisez les lettres (Niveau 1), puis vous formez des mots, et enfin vous comprenez les phrases (Niveau 2). Cela permet au modèle de voir à la fois les détails fins et la structure globale.

Étape 2 : Le "GPS" intelligent (Le rôle du GCN)

C'est ici que la magie opère. Dans les modèles classiques, on donne aux morceaux d'image une étiquette de position simple (comme "morceau n°5"). C'est comme dire à un livreur : "Déposez le colis au numéro 5 de la rue", sans lui dire où se trouve la rue.

Dans ce nouveau modèle, le GCN agit comme un GPS intelligent.

Au lieu d'une simple liste, le GCN regarde chaque morceau d'image et ses voisins immédiats (comme le voisin curieux).
Il crée une "carte de position" en 2D très précise. Il dit au modèle : "Ce morceau est en haut à gauche, et il est connecté à celui qui est juste à sa droite".
Cela remplace l'ancienne étiquette de position par une compréhension spatiale réelle.

3. Le Résultat : Pourquoi c'est génial ?

En combinant le Chef d'orchestre (qui voit le tout) et le Voisin curieux (qui voit les détails et la géographie), le modèle GCN-HViT devient incroyablement efficace.

Il ne se trompe pas sur la taille des morceaux (il utilise à la fois les petits et les grands).
Il comprend parfaitement où se trouvent les choses dans l'image (grâce au GPS GCN).
Il capture à la fois la structure locale (les textures) et globale (l'objet entier).

En résumé

Imaginez que vous devez reconnaître un animal dans une forêt.

L'ancien modèle (ViT seul) voyait l'arbre et la forêt, mais confondait parfois un chat avec un chien car il ne regardait pas assez les détails.
L'autre modèle (GCN seul) regardait les feuilles et les branches, mais ne comprenait pas que c'était un animal entier.
Le nouveau modèle (GCN-HViT) regarde les feuilles (détails), comprend comment elles forment l'arbre (structure locale), et voit ensuite l'arbre dans la forêt (structure globale), tout en sachant exactement où il se trouve sur la carte.

Les tests ont montré que cette méthode bat les records actuels (SOTA) sur plusieurs jeux de données, prouvant que cette approche "hybride" est la voie de l'avenir pour faire comprendre aux ordinateurs ce qu'ils voient.

1. Problématique et Contexte

L'article aborde les limitations actuelles des modèles de classification d'images basés sur les Transformers de Vision (ViT) et les Réseaux de Convolution Graphique (GCN) lorsqu'ils sont utilisés séparément. Les auteurs identifient trois défis majeurs :

Le compromis de la taille des patches (Patch Size) : Dans les ViT standards, le choix de la taille des patches est critique. Des patches trop petits capturent mal les structures globales et augmentent les coûts de calcul, tandis que des patches trop grands lissent les caractéristiques locales et réduisent la sensibilité aux textures. Il n'existe pas de méthode optimale pour combiner harmonieusement des échelles de patches différentes.
Inadéquation des embeddings de position 1D : Les ViT utilisent des embeddings de position apprenables en 1D pour préserver l'ordre des patches. Cependant, les images sont intrinsèquement des structures 2D spatialement organisées. Les embeddings 1D échouent à capturer précisément la structure spatiale et les relations de voisinage dans l'espace 2D.
Limitations de la portée des modèles : Les GCN excellent à capturer les relations de connectivité locale entre les nœuds (patches) mais manquent de capacité à modéliser les structures graphiques globales. À l'inverse, le mécanisme d'auto-attention des ViT capture les relations globales mais néglige la structure locale fine de l'image.

2. Méthodologie : GCN-HViT

Pour surmonter ces limitations, les auteurs proposent le GCN-HViT (Hierarchical Vision Transformer Enhancé par un Réseau de Convolution Graphique). L'architecture repose sur une approche en deux étapes combinant une hiérarchie spatiale et une extraction de caractéristiques locales via des graphes.

A. Vision Transformer Hiérarchique (Hierarchical ViT)

L'idée centrale est de modéliser la structure hiérarchique naturelle des images, où les petits patches forment des patches plus grands.

Niveau 1 (Petits patches) : L'image est divisée en 16 petits patches non chevauchants. Chaque patch est encodé via une CNN pour obtenir des embeddings de niveau 1.
Niveau 2 (Grands patches) : Les caractéristiques du niveau 1 sont réorganisées (reshape) pour former 4 grands patches. Ces grands patches sont ensuite encodés via une autre CNN.
Interactions : Ce mécanisme permet au modèle de modéliser les interactions d'information à l'échelle globale au sein de chaque niveau, tout en capturant les relations hiérarchiques entre les petits et les grands patches à travers les niveaux.

B. Intégration du GCN pour les Embeddings de Position 2D

Le GCN remplace les embeddings de position 1D standards par des embeddings de position 2D dérivés de la structure spatiale.

Représentation en graphe : Les patches d'image sont traités comme des nœuds dans un graphe, organisés en grille 2D. Une matrice d'adjacence ( $A$ ) définit les relations de voisinage entre les patches.
Extraction de caractéristiques locales : Le module GCN prend en entrée les embeddings des patches et la matrice d'adjacence. Il effectue une moyenne pondérée des informations des nœuds voisins et du nœud lui-même.
Fonction double : Le GCN agit à la fois comme un extracteur de caractéristiques locales (renforçant les détails locaux) et comme un générateur d'embeddings de position ( $E_{Pos}$ ) qui encode la structure spatiale 2D réelle. Ces embeddings sont ajoutés aux embeddings des patches avant l'entrée dans les encodeurs Transformer.

C. Architecture Globale

Le flux de données suit le schéma suivant :

Division de l'image en petits patches $\rightarrow$ Encodage CNN $\rightarrow$ Ajout des embeddings de position GCN ( $E_{Pos1}$ ) $\rightarrow$ Encodeur Transformer Niveau 1.
Regroupement en grands patches $\rightarrow$ Encodage CNN $\rightarrow$ Ajout des embeddings de position GCN ( $E_{Pos2}$ ) $\rightarrow$ Encodeur Transformer Niveau 2.
Ajout d'un token de classification et prédiction finale via une tête de classification.

3. Contributions Clés

Analyse de la structure hiérarchique : Conception d'un ViT hiérarchique capable de modéliser les interactions globales au sein de niveaux de patches et les relations inter-niveaux (petits vers grands patches).
Nouvelle méthode d'embedding de position : Développement d'une approche basée sur le GCN pour générer des embeddings de position 2D. Cette méthode capture la structure spatiale des patches et les relations de connectivité locale, surpassant les approches 1D traditionnelles.
Modèle unifié et élégant : Création d'un modèle concis qui intègre les avantages des deux architectures (vision globale du ViT et structure locale du GCN) tout en restant explicable.

4. Résultats Expérimentaux

Les auteurs ont évalué le modèle sur trois jeux de données réels : MNIST, Fashion-MNIST et Quick Draw.

Comparaison des modèles :
- ViT-16 (16 patches) surpasse ViT-4 (4 patches), soulignant l'importance des caractéristiques locales.
- Hiérarchique ViT (HViT) surpasse le ViT standard, confirmant l'efficacité de la modélisation hiérarchique.
- GCN-HViT surpasse toutes les variantes précédentes.
Performance spécifique :
- Sur Fashion-MNIST, le GCN-HViT-1 atteint 90,26 % de précision (contre 89,85 % pour HViT et 89,46 % pour ViT-16).
- Sur Quick Draw, il atteint 86,55 % (contre 86,12 % pour HViT).
- Sur MNIST, il atteint 98,80 %.
Ablation Study (GCN-HViT-1 vs GCN-HViT-2) : Le modèle utilisant une matrice d'adjacence unidirectionnelle (GCN-HViT-1, voisinage droite/bas) a surperformé celui utilisant une matrice bidirectionnelle (GCN-HViT-2). Cela suggère que la directionnalité spécifique ou la simplicité de la connexion unidirectionnelle apporte des informations plus pertinentes pour la tâche de positionnement dans ce contexte.

5. Signification et Perspectives

Ce travail démontre que l'intégration de la théorie des graphes (GCN) dans l'architecture Transformer pour la vision par ordinateur permet de résoudre le problème de la perte d'information spatiale locale et de la rigidité des embeddings de position.

Signification : Le GCN-HViT établit un nouvel état de l'art (SOTA) sur les jeux de données testés sans nécessiter de pré-entraînement, prouvant que la combinaison de l'attention globale et de la convolution graphique locale est une voie prometteuse.
Travaux futurs : Les auteurs prévoient d'appliquer ce cadre à des images haute résolution, d'étendre l'architecture à une hiérarchie multi-niveaux (au-delà de deux niveaux) et d'adapter la méthode à d'autres tâches comme la segmentation sémantique et la génération d'images.