Vision Transformers Need More Than Registers

Cet article démontre que les artefacts des Vision Transformers proviennent d'une agrégation paresseuse exploitant des arrière-plans sémantiquement non pertinents, et propose une méthode de sélection des patches pour améliorer les performances sur douze benchmarks sous divers régimes d'apprentissage.

L'essentiel

🎨 Le Problème : L'IA qui regarde le mauvais endroit

Imaginez que vous apprenez à un enfant à reconnaître un chat.

• La méthode classique (ConvNet) : Vous lui montrez des photos. Il apprend à regarder les oreilles, la queue et les moustaches. Il se concentre sur le chat.
• La méthode moderne (Vision Transformer ou ViT) : C'est un enfant très intelligent, mais un peu paresseux. Quand vous lui montrez une photo d'un chat dans un salon, il ne regarde pas le chat. Il regarde le tapis, le canapé ou le mur derrière, car ces éléments sont partout sur la photo.

Pourquoi ? Parce que le tapis et le canapé sont "sûrs". Ils sont là dans presque toutes les photos de chats. L'enfant-paresseux se dit : "Si je regarde le tapis, je peux deviner qu'il y a un chat quelque part, sans avoir à faire l'effort de trouver le chat lui-même."

C'est ce que les chercheurs appellent une "agrégation paresseuse" (Lazy Aggregation). L'IA trouve un raccourci : elle utilise le fond (le décor) pour deviner le sujet, au lieu de vraiment le comprendre.

🔍 La Découverte : Le "Score de Patch"

Les auteurs de l'article ont inventé un outil pour mesurer ce comportement, qu'ils appellent le "Score de Patch".
Imaginez que l'IA a une petite loupe (le token CLS) qui doit pointer vers l'objet principal.

• Chez un bon modèle : La loupe pointe sur le chat.
• Chez un modèle "paresseux" : La loupe pointe sur le tapis ou le mur, même si le chat est au centre.

Ils ont découvert que ce problème existe partout, que l'IA soit entraînée avec des étiquettes (supervisé), avec du texte (comme CLIP), ou toute seule (auto-supervisé). Le problème est le même : l'IA préfère le chemin facile (le fond) au chemin difficile (l'objet).

💡 La Solution : "LazyStrike" (Le Coup de Pouce)

Pour corriger cela, les chercheurs ont créé une méthode appelée LaSt-ViT (LazyStrike ViT). Voici comment cela fonctionne, avec une analogie simple :

Imaginez que vous organisez une réunion avec 100 personnes (les morceaux de l'image).

• Avant : Tout le monde parle en même temps. Les gens qui parlent fort (le fond, le tapis) dominent la conversation, et le chef de réunion (le token CLS) finit par écouter le bruit de fond plutôt que le sujet important.
• Avec LazyStrike : Le chef de réunion a une nouvelle règle. Il dit : "Je ne vais écouter que les personnes dont la voix est stable et cohérente."
  • Le bruit de fond (le tapis) est souvent chaotique ou changeant d'une image à l'autre.
  • L'objet (le chat) a une structure stable.

La méthode LazyStrike filtre le bruit. Elle force l'IA à ignorer les "fausses pistes" du fond et à se concentrer uniquement sur les parties de l'image qui sont stables et importantes. C'est comme si on donnait à l'IA un filtre anti-bruit pour qu'elle entende enfin le chat, et non le tapis.

🚀 Les Résultats : Pourquoi c'est génial ?

En appliquant ce filtre "anti-paresse", les chercheurs ont obtenu des résultats incroyables :

1. Plus de précision : L'IA ne se trompe plus de cible. Elle pointe directement sur l'objet.
2. Moins de "fantômes" : Avant, l'IA créait des artefacts bizarres (des taches lumineuses sur le fond qui n'avaient aucun sens). LazyStrike les fait disparaître.
3. Polyvalence : Cela fonctionne aussi bien pour la reconnaissance d'objets, la segmentation (découper l'image pièce par pièce) et même pour les modèles qui parlent (comme CLIP).

🏁 En Résumé

Les Vision Transformers sont des modèles puissants, mais ils ont un défaut de jeunesse : ils sont paresseux et regardent le décor au lieu du sujet principal.

Les auteurs de cet article disent : "Il ne suffit pas d'ajouter des petits registres (comme le suggéraient d'autres travaux précédents) pour cacher le problème. Il faut changer la façon dont l'IA agrège l'information."

Leur solution, LazyStrike, agit comme un filtre de sagesse : elle apprend à l'IA à distinguer le bruit du fond de la réalité de l'objet, rendant l'intelligence artificielle plus précise, plus fiable et plus "intelligente" dans sa compréhension du monde visuel.

C'est un peu comme passer d'un enfant qui devine la réponse en regardant la fenêtre, à un enfant qui observe vraiment l'objet pour répondre.

Résumé technique

1. Problématique : Le phénomène de « Lazy Aggregation »

Les Vision Transformers (ViT) sont devenus l'étalon-or pour la reconnaissance d'images et servent de modèles de base pour de nombreuses tâches visuelles. Cependant, des études récentes ont mis en évidence des artefacts persistants dans leurs représentations denses (features), quelle que soit la méthode de supervision (supervisée, auto-supervisée ou supervisée par texte).

• Observation clé : Les ViT tendent à attribuer des scores d'attention élevés (ou des normes de caractéristiques élevées) à des patches de fond (background) sans pertinence sémantique, plutôt qu'aux objets principaux (foreground).
• Conséquences : Cela se manifeste par :
  • Une mauvaise localisation d'objets (les cartes d'attention ne correspondent pas aux objets).
  • Des échecs dans les tâches de segmentation sémantique en zero-shot.
  • L'apparition de tokens à « haute norme » (high-norm tokens) qui perturbent les tâches de localisation.
• Hypothèse centrale : Les auteurs identifient la cause racine comme étant un comportement de « Lazy Aggregation » (agrégation paresseuse).
  • Sous une supervision grossière (niveau image) et grâce à la dépendance globale de l'attention, le ViT trouve un « raccourci » optimisationnel : il diffuse les sémantiques de l'objet principal vers les nombreux patches de fond pour minimiser la perte globale, plutôt que de se concentrer précisément sur l'objet.
  • Ce comportement apparaît dès le début de l'entraînement et persiste, contrairement aux ConvNets qui se concentrent naturellement sur les bords et les régions saillantes.

2. Méthodologie : LaSt-ViT (LazyStrike ViT)

Pour contrer ce comportement, les auteurs proposent une nouvelle architecture et une méthode d'agrégation appelée LaSt-ViT. L'approche ne repose pas sur l'ajout de tokens supplémentaires (comme les « Registers » précédents), mais sur une sélection intelligente des patches existants.

A. Analyse et Métriques

Les auteurs introduisent deux métriques pour quantifier le problème :

1. Patch Score : La similarité entre les caractéristiques d'un patch et le token global (CLS). Un score élevé sur le fond indique un artefact.
2. Point-in-Box (PiB) : La proportion d'images où le patch ayant le score le plus élevé se trouve à l'intérieur de la boîte englobante de l'objet annoté. Les ViT standards obtiennent des scores PiB très bas comparés aux ConvNets.

B. Le mécanisme LaSt-ViT

La méthode reformule l'agrégation du token CLS en un processus sensible à la fréquence (frequency-aware) pour distinguer le fond de l'objet :

1. Score de Stabilité (Stability Score) :

   • Les auteurs appliquent une transformée de Fourier 1D sur la dimension des canaux de chaque patch.
   • Ils filtrent les hautes fréquences (Low-Pass Filter) pour obtenir une version lissée des caractéristiques.
   • Le score de stabilité ($S_{i,j}$) mesure la cohérence d'un canal de patch entre sa version originale et sa version filtrée.
   • Intuition : Les régions de fond ont une diversité sémantique élevée (variations rapides), tandis que les objets (foreground) ont des signaux plus homogènes et stables. Les patches stables sont donc plus susceptibles d'appartenir à l'objet.

2. Poolage Sélectif (Channel-wise Top-K Pooling) :

   • Au lieu d'agréger tous les patches (moyenne globale), le token CLS est mis à jour en sélectionnant, pour chaque canal, les K patches les plus stables.
   • Un mécanisme de « vote » est utilisé : un patch qui est sélectionné fréquemment à travers les canaux est considéré comme pertinent.
   • Cela force le token CLS à s'ancrer sur les régions stables (l'objet) et à ignorer les variations du fond.

3. Contributions Clés

1. Analyse Systématique : Identification de la « Lazy Aggregation » comme cause fondamentale des artefacts dans les ViT, valable pour tous les types de supervision (label, texte, auto-supervision).
2. Nouvelle Hypothèse : Lien direct entre la supervision grossière, la dépendance globale de l'attention et l'adoption de raccourcis par le modèle (utilisation du fond comme proxy sémantique).
3. Solution Unifiée (LaSt-ViT) : Proposition d'une méthode simple, sans ajout de paramètres (pas de registres), qui sélectionne dynamiquement les patches pertinents via une analyse fréquentielle.
4. Validation Empirique : Démonstration que cette méthode élimine les tokens à haute norme et améliore la cohérence sémantique sans nécessiter de réentraînement complexe ou de modifications architecturales lourdes.

4. Résultats Expérimentaux

Les auteurs ont évalué LaSt-ViT sur 12 benchmarks couvrant la découverte d'objets, la segmentation sémantique/instance, et la détection en vocabulaire ouvert (open-vocabulary).

• Élimination des Artefacts :
  • Le score Point-in-Box (PiB) augmente significativement, se rapprochant voire dépassant celui des ConvNets (ex: passage de 42,7% à 55,1% pour ViT supervisé).
  • Le phénomène de tokens à haute norme (high-norm) disparaît complètement.
• Performances en Supervision Complète (Label) :
  • Amélioration de la segmentation sémantique émergente (sur VOC12) : +10,5% pour ViT-B/16.
  • Meilleure précision de localisation d'objets.
• Performances en Supervision par Texte (CLIP/OpenCLIP) :
  • Améliorations massives en segmentation sémantique zero-shot (ex: +26% sur Pascal VOC pour CLIP-B/16, passant de 49% à 75%).
  • Meilleures performances en détection d'objets en vocabulaire ouvert (OV-COCO, OV-LVIS).
• Performances en Auto-Supervision (DINO) :
  • Amélioration significative de la découverte d'objets non supervisée (CorLoc sur VOC07/12/COCO), surpassant les méthodes de pointe comme LOST et DINO-seg, tout en étant plus rapide (55,9 images/seconde).
• Comparaison avec les Registres :
  • Contrairement à la méthode « Register » qui déplace simplement les artefacts vers des tokens dédiés, LaSt-ViT résout le problème à la source en empêchant l'agrégation paresseuse.

5. Signification et Impact

Ce travail remet en question la compréhension actuelle du comportement interne des Vision Transformers.

• Au-delà des Registres : Il démontre que l'ajout de tokens « registres » n'est pas la solution universelle. Le problème est plus profond : il réside dans la dynamique d'apprentissage qui favorise les raccourcis sémantiques via le fond.
• Nouvelle Perspective : La méthode suggère que la stabilité fréquentielle des caractéristiques est un indicateur fiable de la pertinence sémantique, offrant un moyen simple de « réparer » les ViT sans changer leur architecture de base.
• Généralité : La solution fonctionne de manière cohérente quelle que soit la méthode de pré-entraînement (supervisée, auto-supervisée, ou par texte), ce qui en fait une base solide pour les futurs modèles de fondation visuelle.

En résumé, LaSt-ViT propose une approche élégante et efficace pour forcer les Vision Transformers à se concentrer sur les objets réels plutôt que sur le bruit de fond, résolvant ainsi des problèmes de localisation et de segmentation qui persistent depuis plusieurs années.