Résumé Technique : Induction de la Localité Spatiale dans les Transformers de Vision via le Protocole d'Entraînement

Énoncé du Problème

Les Transformers de Vision (ViT) ont atteint des performances compétitives en classification d'images, mais diffèrent fondamentalement des Réseaux de Neurones Convolutifs (CNN) par leurs biais inductifs. Alors que les CNN intègrent explicitement la localité spatiale via des convolutions et des champs récepteurs limités, les ViT utilisent une auto-attention globale, permettant à chaque jeton de se concentrer sur tous les autres jetons sans restriction spatiale. Bien que cette flexibilité permette de capturer des dépendances à long terme, elle impose au modèle d'apprendre à se concentrer localement si un tel comportement est bénéfique pour la tâche.

Des travaux antérieurs de Raghu et al. [12] ont démontré que la localité dans les premières couches des ViT émerge principalement grâce à un pré-entraînement à grande échelle (par exemple sur JFT-300M) ou lorsque la capacité du modèle est faible par rapport à la taille des données. Cependant, il reste à déterminer si le protocole d'entraînement lui-même — spécifiquement les techniques d'augmentation et de régularisation appliquées lors d'un entraînement à partir de zéro — peut induire une localité spatiale sur des ensembles de données de taille modérée (50 000 à 100 000 images) sans nécessiter de pré-entraînement massif.

Méthodologie

Les auteurs ont conçu une expérience contrôlée pour isoler les effets des protocoles d'entraînement sur la structure d'attention interne des ViT.

Configuration Expérimentale

• Architecture : Un ViT compact (Profondeur $L=8$, Dimension d'embedding $D=192$, 8 têtes, $\approx$2,4M de paramètres) entraîné à partir de zéro. Le dropout interne a été fixé à 0,0 pour s'assurer que tout effet observé était attribuable uniquement au protocole d'entraînement plutôt qu'à une régularisation stochastique au sein du réseau.
• Ensembles de données : Trois ensembles de données de complexité croissante ont été utilisés : CIFAR-10, CIFAR-100 et Tiny-ImageNet. Pour assurer la comparabilité des métriques spatiales, toutes les images ont été traitées en $N_p=64$ patches (une grille de $8 \times 8$).
• Protocoles :
  • Référence (Baseline) : Augmentation minimale (Recadrage aléatoire, Retournement horizontal aléatoire) et perte CrossEntropy standard.
  • Moderne : Intègre trois composants standards dans l'entraînement efficace des Transformers : AutoAugment (ou ColorJitter pour Tiny-ImageNet), CutMix et lissage des étiquettes (Label Smoothing).
• Métriques : L'étude caractérise les motifs d'attention à l'aide de deux métriques par tête :
  1. Distance Moyenne d'Attention (MAD) : Quantifie la distance spatiale moyenne des jetons auxquels on s'attarde. Des valeurs plus faibles indiquent une attention locale.
  2. Entropie d'Attention Normalisée : Mesure la concentration de la distribution d'attention. Des valeurs plus faibles indiquent une attention concentrée sur quelques jetons.

Étude d'Ablation

Pour identifier le moteur spécifique de la localité, une étude d'ablation systématique a été menée sur CIFAR-100. Cela impliquait :

1. De retirer des composants individuels du protocole Moderne.
2. D'ajouter des composants individuels au protocole Référence.
   Cette conception couvrait toutes les huit combinaisons possibles des trois composants (AutoAugment, CutMix, Lissage des étiquettes).

Résultats Clés

1. Comparaison des Protocoles

Sur les trois ensembles de données, le protocole Moderne a produit de manière constante une attention plus locale et plus concentrée dans les premières couches par rapport au protocole Référence.

• CIFAR-100 : L'effet a été le plus prononcé. La MAD minimale est passée de 0,316 (Référence) à 0,008 (Moderne).
• Espace Comportemental : Dans l'espace MAD-Entropie, le protocole Référence montrait une distribution uniforme des têtes dans la région de haute distance et haute entropie (attention globale et diffuse). Le protocole Moderne a induit une trajectoire où les premières couches se sont déplacées vers la région de faible distance et faible entropie (locale et concentrée), imitant la structure hiérarchique des CNN avant de converger vers une attention globale dans les couches plus profondes.

2. Résultats de l'Ablation

L'étude d'ablation a identifié CutMix comme le seul facteur déterminant de l'émergence de la localité spatiale.

• Séparation Binaire : Toutes les conditions contenant CutMix (Moderne, $-$AutoAugment, $-$Lissage des étiquettes, $+$CutMix) ont présenté une MAD minimale $\le 0,024$. À l'inverse, toutes les conditions sans CutMix (Référence, $-$CutMix, $+$AutoAugment, $+$Lissage des étiquettes) sont restées à MAD $\ge 0,210$.
• Indépendance des Autres Composants : AutoAugment et le Lissage des étiquettes n'ont montré aucun effet indépendant sur la localité. L'ajout uniquement d'AutoAugment ou du Lissage des étiquettes au protocole Référence a abouti à des valeurs MAD presque identiques à celles de la Référence.
• Précision vs Localité : Tanto CutMix qu'AutoAugment ont amélioré la précision de test de marges comparables par rapport à la Référence ($\approx$6–7 points de pourcentage). Cependant, seul CutMix a modifié la géométrie de l'attention pour induire la localité.

Signification et Revendications

L'article revendique démontrer que les protocoles d'entraînement peuvent induire une localité spatiale dans les Transformers de Vision entraînés à partir de zéro sur des ensembles de données de taille modérée, remettant en question la notion qu'un tel comportement nécessite un pré-entraînement à grande échelle ou des contraintes architecturales spécifiques.

• Mécanisme : Les auteurs postulent que CutMix induit la localité en forçant le modèle à classifier correctement en utilisant uniquement des régions partielles de l'image. Cette pression incite les premières couches à extraire des informations discriminantes à partir de voisinages locaux, créant efficacement un biais inductif similaire à celui des CNN.
• Distinction par rapport aux Travaux Antérieurs : Alors que Raghu et al. [12] ont établi l'échelle des données comme un facteur critique pour la localité, ce travail identifie la pression pour classifier à partir de régions partielles (via CutMix) comme un facteur alternatif et suffisant.
• Insight Structurel : L'étude souligne que les améliorations de la précision de classification ne sont pas nécessairement corrélées à des changements dans la structure d'attention interne. Des techniques comme AutoAugment et CutMix peuvent produire des gains de précision similaires mais opèrent via des mécanismes internes fondamentalement différents (augmentation de la diversité des entrées vs induction d'une extraction de caractéristiques locale).

Limitations

Les auteurs reconnaissent plusieurs limitations :

• Les expériences ont été menées sur une seule architecture compacte ; la généralisation à des modèles plus grands (par exemple ViT-B, ViT-L) nécessite une validation.
• L'étude a utilisé une seule graine d'initialisation.
• L'étude d'ablation a été réalisée exclusivement sur CIFAR-100.
• Les dynamiques temporelles de l'émergence de la localité pendant l'entraînement n'ont pas été analysées.

Les travaux futurs proposés incluent une validation multi-graines, une réplication sur d'autres ensembles de données, une extension à des architectures plus grandes et une analyse temporelle de l'émergence de la localité.