Screening Is Effective for Visual Recognition

Imaginez que vous essayez d'apprendre à un robot à reconnaître un chat dans une photographie. Dans le monde de l'intelligence artificielle, c'est un travail qui incombe à la « vision par ordinateur ». Pendant longtemps, la meilleure façon d'y parvenir était d'utiliser un type spécial de cerveau appelé Vision Transformer (ViT). Considérez un ViT comme un bibliothécaire super organisé qui prend une image, la découpe en centaines de minuscules pièces de puzzle carrées (patches), puis tente de comprendre l'histoire globale en demandant à chaque pièce de discuter avec toutes les autres. Le bibliothécaire utilise une règle appelée « auto-attention » pour décider quelles pièces sont importantes. C'est comme une salle de classe où chaque élève lève la main, et l'enseignant (le bibliothécaire) doit décider qui a le droit de parler. L'enseignant utilise un système appelé « softmax » pour répartir le temps de parole. Le problème est que ce système force l'enseignant à accorder un peu de temps à tout le monde, même aux élèves qui chuchotent des banalités sur la météo ou qui regardent par la fenêtre. Dans une photo de chat, ces pièces « chuchotantes » pourraient être l'herbe de l'arrière-plan ou un mur flou. Parce que l'enseignant ne peut pas dire « non » à eux, elles se mélangent à l'histoire finale, ce qui peut parfois induire le robot en erreur sur ce qu'il regarde réellement.

C'est ici qu'une nouvelle idée appelée « Screening » (filtrage) entre en jeu. Inventé à l'origine pour la lecture de texte, le Screening est comme un videur strict à l'entrée d'un club. Au lieu de répartir le projecteur entre tout le monde, le videur vérifie l'identité (la pertinence) de chaque personne par rapport à une règle spécifique. Si vous ne répondez pas aux critères, vous n est pas admis du tout. Vous recevez un « non » catégorique. Ce document, intitulé « Screening Is Effective for Visual Recognition » par Shunya Shimomura et Kazuhiro Hotta de l'Université Meijo, pose une grande question : pouvons-nous utiliser ce style de filtrage par « videur » pour les images, et pas seulement pour les mots ? Ils proposent un nouveau modèle appelé VisionScreen. Au lieu de forcer chaque pièce de puzzle à rivaliser pour attirer l'attention, VisionScreen permet à chaque pièce de décider de manière indépendante si ses voisines sont réellement pertinentes. Si un patch d'herte en arrière-plan n'est pas important pour le chat, VisionScreen peut explicitement l'expulser de la conversation. Les auteurs suggèrent qu'en faisant cela, le robot peut se concentrer purement sur le chat, ignorant le bruit, et devenir meilleur pour reconnaître les choses sans avoir besoin d'un cerveau plus gros ou plus complexe.

Le nouveau modèle : VisionScreen

Les auteurs ont construit VisionScreen pour résoudre le problème de la « compétition de classe » des ViT standards. Dans un ViT normal, si un patch de l'oreille du chat parle à un patch de l'arrière-plan, le patch de l'arrière-plan peut quand même recevoir un peu d'attention simplement parce que le patch de l'oreille parle à quelqu'un. C'est un jeu relatif ; vous obtenez de l'attention uniquement si vous êtes meilleur que les autres patchs bruyants. VisionScreen change les règles pour en faire un jeu absolu. Il demande : « Ce patch est-il pertinent ? » Si la réponse est « non », le score de pertinence est de zéro, et le patch est totalement ignoré.

Pour faire fonctionner cela avec des images, l'équipe a dû faire preuve d'une ingénierie créative. Les images sont des grilles bidimensionnelles (comme un damier), tandis que le Screening original a été conçu pour des lignes de texte unidimensionnelles (comme une phrase). Les auteurs ont étendu le mécanisme pour gérer cet espace 2D. Ils ont introduit un « masque spatial doux » (spatial softmask), qui agit comme une bulle invisible et flexible autour de chaque pièce de puzzle. À l'intérieur de cette bulle, la pièce peut discuter avec ses voisines. La taille de cette bulle n'est pas fixe ; le modèle apprend de quelle taille il a besoin pour chaque tâche spécifique. Certaines parties du modèle peuvent avoir besoin d'une petite bulle pour observer des détails fins (comme des moustaches), tandis que d'autres peuvent avoir besoin d'une grande bulle pour voir tout le corps du chat.

Ce qu'ils ont découvert

L'équipe a testé VisionScreen sur deux ensembles de données d'images célèbres : ImageNet-1k (une collection massive de 1,2 million d'images) et CIFAR-100 (un ensemble plus petit de 60 000 images avec 100 catégories différentes). Ils ont comparé leur nouveau modèle à une version minuscule et standard de Vision Transformer appelée ViT-Tiny/16.

Les résultats sont prometteurs. Sur ImageNet-1k, VisionScreen a atteint une précision top-1 de 72,5 %, alors que le ViT-Tiny/16 standard n'a atteint que 68,1 %. Cela représente un gain de 4,4 points de pourcentage. Sur le plus petit ensemble de données CIFAR-100, VisionScreen a obtenu 52,4 %, battant le modèle standard qui affiche 50,3 %. Curieusement, VisionScreen a accompli tout cela en utilisant légèrement moins de paramètres (environ 5,4 millions contre 5,7 millions pour le ViT). Cela suggère que le modèle n'est pas devenu meilleur simplement parce qu'il était plus gros, mais parce qu'il est devenu plus intelligent dans sa façon de prêter attention.

Voir la différence

Pour comprendre pourquoi VisionScreen fonctionnait mieux, les auteurs ont regardé sous le capot. Ils ont visualisé la façon dont le modèle « voyait » les images. En observant une photo d'un poisson (plus précisément un Tanche), le ViT standard semblait être distrait. Il prêtait attention à la canne à pêche et au moulinet en arrière-plan, mélangeant ces détails à son idée de ce qu'est un poisson. C'était comme si le bibliothécaire était confus par le bruit de fond.

En revanche, VisionScreen était beaucoup plus concentré. Il rejetait explicitement le matériel de pêche et l'eau environnante, concentrant son attention presque entièrement sur le poisson lui-même. Les visualisations ont montré que VisionScreen ne dispersait pas son attention de manière ténue sur toute l'image. Au lieu de cela, il créait des connexions nettes et claires entre les parties pertinentes du poisson. Cela suggère qu'en utilisant une pertinence absolue (le videur) plutôt qu'une compétition relative (le vote de la classe), le modèle a appris à ignorer les « corrélations spécieuses » — ces connexions accidentelles entre un chat et un certain type d'herbe, ou un poisson et une canne à pêche.

Les détails techniques

Les auteurs précisent avec prudence que, bien que ces résultats soient solides, ils reposent sur des expériences spécifiques. Ils ont entraîné les modèles de zéro sur ces ensembles de données et ont constaté que VisionScreen obtenait non seulement des scores plus élevés, mais présentait également une « perte de validation » plus faible (une mesure d'erreur) pendant l'entraînement, ce qui suggère que le processus d'apprentissage était plus stable. Ils ont également testé un mécanisme de « porte » (un interrupteur qui active ou désactive les caractéristiques) et ont constaté que le retirer faisait chuter la précision de 0,7 point de pourcentage, ce qui suggère que cet interrupteur aide à affiner la concentration du modèle.

Cependant, l'article ne prétend pas que ceci est la solution finale pour toute la vision par ordinateur. Les auteurs suggèrent que cette méthode est une alternative puissante à la norme actuelle, offrant un moyen de construire des modèles plus efficaces et moins sujets à la distraction. Ils concluent que le Screening peut être efficace pour la reconnaissance visuelle, offrant une nouvelle voie où les modèles apprennent à dire « non » aux informations non pertinentes, tout comme un bon lecteur ignore le bruit dans une bibliothèque pour se concentrer sur l'histoire.