Vision Transformers Need Better Token Interaction

Résumé Technique : Les Transformers Visuels Ont Besoin d'une Meilleure Interaction entre les Tokens

Énoncé du Problème
Les Transformers Visuels (ViT) sont réputés pour apprendre de fortes représentations au niveau de l'image, mais leurs représentations au niveau des patches se dégradent souvent lors d'un entraînement prolongé, devenant moins efficaces pour des tâches de prédiction dense telles que la segmentation sémantique et l'estimation de la profondeur. Alors que des recherches antérieures ont attribué cette « dégradation dense » à des artefacts de haute norme ou à des tokens aberrants, cet article soutient qu'il s'agit de symptômes plutôt que de la cause racine. Les auteurs identifient le problème central comme étant la diffusion sémantique : un raccourci d'optimisation où l'information sémantique globale se propage indistinctement à travers les tokens de patches au-delà de ce qui est localement justifié. Ce phénomène permet au modèle d'améliorer la reconnaissance globale en exploitant des interactions de tokens sans restriction, mais au prix de la dégradation de la structure spatiale requise pour les tâches denses.

Méthodologie
Les auteurs proposent que la solution ne consiste pas à éliminer le contexte global ou à supprimer entièrement les tokens d'arrière-plan, mais à rendre les interactions entre tokens plus sélectives. Ils introduisent l'attention parcimonieuse (sparse attention) comme une intervention minimale pour modifier la géométrie de l'attention.

• Mécanisme : Le mécanisme d'attention softmax standard est remplacé par entmax-1.5. Contrairement au softmax, qui produit des distributions de probabilité denses, entmax-1.5 est une cartographie de probabilité parcimonieuse capable d'attribuer des poids exactement nuls aux interactions à faible utilité.
• Implémentation : La méthode préserve la connectivité globale des tokens (contrairement à l'attention par fenêtre locale) et n'introduit aucun paramètre supplémentaire, aucun token de registre, ni aucune branche de traitement séparée (contrairement aux approches de spécialisation ou basées sur des registres).
• Hypothèse : En encourageant des distributions d'attention parcimonieuses, le modèle est contraint d'être plus sélectif dans son mélange de tokens. Cela réduit le « raccourci d'optimisation » de la diffusion sémantique, empêchant les patches d'arrière-plan sémantiquement non pertinents de diluer la structure locale des patches d'avant-plan, tout en maintenant la capacité à capturer la sémantique globale.

Contributions Clés

1. Recadrage de la Dégradation Dense : L'article caractérise la dégradation dense non pas simplement comme un problème d'artefacts, mais comme une conséquence de la diffusion sémantique, un raccourci d'optimisation où les sémantiques globales diffusent dans les tokens de patches de manière localement incohérente.
2. Analyse des Rôles des Tokens : Grâce à l'analyse Point-in-Box (PiB) et au sondage couche par couche, les auteurs démontrent que, si les couches peu profondes maintiennent une meilleure alignement spatial (PiB plus élevé), elles manquent de la richesse sémantique des couches plus profondes. Crucialement, ils montrent que le token [CLS] conserve des informations globales complémentaires qui, lorsqu'elles sont concaténées aux caractéristiques des patches, aident considérablement la prédiction dense, suggérant que le contexte global doit être préservé mais mieux géré.
3. Intervention Minimale : L'article introduit un changement architectural simple — le remplacement du softmax par entmax-1.5 — qui agit comme un biais représentationnel vers une interaction de tokens sélective, sans nécessiter de supervision supplémentaire, de modèles enseignants ou de modifications architecturales complexes.

Résultats Expérimentaux
La méthode a été évaluée sur des modèles DINOv1 ViT-S/16 entraînés pendant 200 époques sur ImageNet-1K. Les résultats indiquent que l'attention parcimonieuse améliore les représentations denses sans sacrifier la reconnaissance globale :

• Reconnaissance au Niveau de l'Image : La variante Entmax-1.5 a atteint une précision Top-1 de 70,06 % lors du sondage linéaire sur ImageNet, surpassant légèrement la référence CLS (69,50 %) et d'autres variantes comme Register-4 et Specialization.
• Segmentation Sémantique : Les gains les plus significatifs ont été observés ici. Par rapport à la référence CLS, Entmax-1.5 a amélioré :
  • mIoU VOC : de 42,80 à 48,78 (+5,98).
  • mIoU ADE20K : de 19,85 à 21,97 (+2,12).
  • mIoU Cityscapes : de 36,79 à 37,87 (+1,08).
  • Elle a surpassé à la fois Register-4 et la spécialisation CLS/patch sur les trois benchmarks de segmentation.
• Estimation de la Profondeur : Les améliorations ont été plus modérées mais cohérentes sur les benchmarks NYUv2, SUN RGB-D et KITTI (réduction du RMSE de 0,004 à 0,005). Les auteurs notent que le protocole de sondage de profondeur de référence concatène déjà les caractéristiques [CLS] et des patches, ce qui peut compenser partiellement la diffusion sémantique, rendant les gains plus difficiles à obtenir.
• Analyse Qualitative : Les visualisations PCA des caractéristiques des patches ont montré qu'Entmax-1.5 produit des cartes de caractéristiques plus nettes et plus spatialement cohérentes, avec une meilleure séparation entre les régions d'avant-plan et d'arrière-plan par rapport aux références.

Signification et Revendications
L'article affirme que le mélange sélectif de tokens est un biais simple et efficace pour améliorer les représentations denses des ViT. La signification réside dans la démonstration que l'objectif de la prédiction dense n'est pas de supprimer le contexte global, mais d'affiner la manière dont les tokens interagissent avec celui-ci. En remplaçant le softmax par entmax-1.5, les auteurs montrent qu'une modification légère de la normalisation de l'attention peut atténuer la diffusion sémantique, conduisant à des améliorations substantielles de la segmentation sémantique tout en maintenant ou en améliorant légèrement la reconnaissance au niveau de l'image.

Les auteurs restent modestes quant à leurs revendications, notant que cette étude est limitée aux modèles DINOv1 ViT-S/16 et n'a pas encore évalué des backbones plus grands ou des programmes d'entraînement préliminaire plus longs. Ils positionnent l'attention parcimonieuse non pas comme une architecture finale définitive, mais comme une preuve soutenant le principe plus large selon lequel rendre les interactions entre tokens plus sélectives est une voie viable pour résoudre la dégradation dense.