Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

Dans le monde de l'intelligence artificielle, il existe une classe croissante de modèles conçus pour regarder des images et les comprendre, de la même manière qu'un être humain le fait. Ces systèmes, connus sous le nom de Vision Transformers, ne scannent pas une image pixel par pixel en ligne droite. Au lieu de cela, ils découpent l'image en de nombreux petits fragments carrés, traitant chaque fragment comme une information distincte, ou « jeton » (token). Le modèle traite ensuite tous ces jetons ensemble, en évaluant l'attention que chacun mérite pour prendre une décision finale. Cette approche est incroyablement puissante pour des tâches telles que l'identification d'une espèce d'oiseau spécifique ou d'un modèle de voiture rare, où la différence entre deux catégories peut être aussi subtile que la courbe d'un bec ou la forme d'un phare. Cependant, parce que ces modèles examinent chaque fragment, ils peuvent devenir très lents et coûteux en termes de calcul, surtout lorsqu'ils traitent des images à haute résolution. Pour accélérer les processus, les ingénieurs ont développé une technique appelée élagage de jetons (token pruning). Il s'agit d'une méthode consistant à écarter les fragments les moins importants tôt dans le processus, en ne conservant que les plus pertinents pour gagner du temps et de l'énergie. La question critique a toujours été : comment décider quels fragments sont les plus importants ?

Pendant des années, la méthode standard pour prendre cette décision reposait sur un signal spécifique au sein du modèle, demandant essentiellement au système de regarder où son propre « focus » était naturellement attiré. Les chercheurs supposaient que si le modèle prêtait attention à un fragment, ce fragment devait contenir les détails cruciaux pour l'identification. Cependant, une nouvelle étude remet en question cette hypothèse de longue date. Les chercheurs ont découvert que la méthode utilisée pour décider quels fragments conserver pour la rapidité n'est pas nécessairement la même méthode qui garantit que le modèle regarde réellement les bonnes parties de l'objet. Ils ont découvert qu'un système optimisé pour conserver les fragments qui correspondent le mieux à la forme physique d'un oiseau ou d'une voiture finit souvent par prendre des décisions tout aussi fiables que le système standard, mais avec une logique interne complètement différente. En fait, les deux objectifs — conserver les bonnes parties physiques et conserver la bonne logique pour la réponse finale — peuvent tirer dans des directions opposées, ce qui signifie que l'outil utilisé pour accélérer le modèle peut masquer la véritable raison pour laquelle le modèle fonctionne.

L'équipe derrière cette recherche, basée dans des universités au Ghana, s'est donné pour mission de tester ce décalage en utilisant la classification visuelle fine (fine-grained visual classification), un domaine dédié à la distinction d'éléments très similaires comme différents modèles d'avions ou différentes races d'oiseaux. Ils ont utilisé une version standard et plus petite du modèle Vision Transformer et l'ont testée sur trois ensembles de données bien connus : des images d'oiseaux, de voitures et d'avions. Leur objectif était de comparer deux façons de juger la qualité d'un système d'élagage. La première mesure examinait la « couverture des parties » (part coverage), qui vérifie simplement si les fragments conservés par le modèle chevauchent réellement les parties physiques réelles de l'objet, comme les ailes d'un avion ou la calandre d'une voiture. La seconde mesure examinait la « fidélité » (faithfulness), qui vérifie si la décision finale du modèle reste la même qu'il voie l'image complète ou seulement la version élaguée. Si une méthode d'élagage est réellement bonne, elle devrait réussir sur ces deux points.

Les chercheurs ont testé plusieurs stratégies différentes pour décider quels fragments conserver. Une stratégie utilisait le signal d'« attention » standard, qui est la méthode par défaut utilisée par la plupart des systèmes aujourd'hui. Ils ont également testé une nouvelle stratégie qui observait comment l'état interne du modèle changeait lorsque l'entrée était légèrement altérée, une technique qui capture une relation plus profonde et plus directe entre l'image et la réponse finale. Lorsqu'ils ont mené les expériences, les résultats ont été surprenants. La nouvelle stratégie, qui utilisait ce signal interne plus profond, était nettement meilleure pour conserver les fragments qui couvraient les parties réelles des objets. Sur l'ensemble de données des avions, par exemple, cette nouvelle méthode a amélioré la couverture des parties réelles de l'avion de plus de six points de pourcentage par rapport à la méthode standard. Pourtant, lorsqu'ils ont vérifié la fidélité — la capacité du modèle élagué à prendre la même décision correcte que le modèle complet — les deux méthodes étaient presque identiques. La nouvelle méthode n'a pas rendu le modèle moins fiable ; elle a simplement fait en sorte que le modèle regarde les bonnes choses plus souvent sans changer son verdict final.

Cette découverte révèle une faille cachée dans la manière dont ces systèmes sont actuellement évalués. Pendant longtemps, le domaine a supposé que si une méthode d'élagage maintient la précision du modèle, elle regarde également les bonnes parties de l'image. L'étude montre que ce n'est pas toujours vrai. Un système peut être précis tout en regardant les mauvais fragments, ou il peut être précis tout en regardant les bons fragments mais en utilisant un chemin interne différent pour y parvenir. Les chercheurs ont introduit un nouveau cadre pour mesurer ce décalage, qu'ils appellent un « découplage ». Ils ont constaté que ce décalage est plus visible lorsque le modèle examine l'image à une étape intermédiaire spécifique de son traitement. Si le modèle regarde trop tôt ou trop tard dans sa chaîne de traitement, la différence entre les deux méthodes disparaît. Ils ont également constaté que cet effet est plus marqué lorsque le modèle est contraint d'être très efficace, en ne conservant qu'une petite fraction des fragments d'origine.

L'étude a également écarté soigneusement la possibilité que ces améliorations soient simplement dues au fait que la nouvelle méthode dispose de plus de puissance informatique ou de paramètres supplémentaires à apprendre. En comparant leur nouvelle méthode à une version possédant la même capacité supplémentaire mais n'ayant pas été entraînée avec le signal spécifique, ils ont confirmé que l'amélioration provenait de la manière spécifique dont le modèle a appris à regarder l'image, et non pas seulement du fait d'avoir plus d'outils. Ils ont constaté que la méthode standard, qui repose sur l'attention naturelle du modèle, échouait souvent à capturer les parties les plus critiques de l'objet lorsque le modèle était contraint d'être efficace. En revanche, la nouvelle méthode sélectionnait systématiquement les fragments correspondant aux caractéristiques physiques que les humains utiliseraient pour identifier l'objet.

Cette découverte est importante car elle change la façon dont nous devons construire et faire confiance à ces systèmes d'IA. Si un développateur souhaite créer un système rapide pour identifier les espèces d'oiseaux, il ne peut pas simplement supposer que la méthode d'élagage standard est suffisante. Il pourrait obtenir un système rapide qui fonctionne, mais il pourrait ignorer les plumes ou les formes de bec qui définissent l'espèce. L'étude suggère qu'en utilisant un signal d'entraînement différent, on peut obtenir un système tout aussi rapide et tout aussi précis, mais qui regarde réellement le bec et les ailes de l'oiseau. Les chercheurs soulignent que ce n'est pas une solution miracle qui fonctionne pour toutes les situations ; l'effet dépend fortement de la taille spécifique du modèle et de la quantité d'image conservée. Cependant, pour les types de petits modèles efficaces utilisés dans de nombreuses applications réelles, la nouvelle approche offre une voie claire vers une meilleure performance.

Les chercheurs ont également noté que ce phénomène n'est pas universel. Lorsqu'ils ont testé une version beaucoup plus grande et plus puissante du modèle, la différence entre les deux méthodes a disparu. Cela suggère que le problème est spécifique aux contraintes des modèles plus petits et plus rapides, qui sont souvent utilisés dans les applications pratiques. Dans ces modèles plus petits, la méthode standard pour décider de ce qu'il faut conserver n'est pas aussi précise qu'elle pourrait l'être. L'étude fournit une carte claire pour les ingénieurs : si vous avez besoin que votre modèle soit rapide et que vous avez également besoin qu'il regarde les bonnes parties de l'image, vous devez utiliser le nouveau signal d'entraînement. Si vous ne vous souciez que de la vitesse et de la précision finales, l'ancienne méthode peut encore fonctionner, mais vous prenez le risque que le modèle prenne ses décisions pour de mauvaises raisons.

En fin de compte, ce travail apporte un nouveau niveau de clarté au domaine de la vision par ordinateur. Il montre que l'efficacité et l'explication ne sont pas toujours la même chose. Un modèle peut être efficace sans être transparent, et il peut être transparent sans être efficace. En séparant ces deux objectifs, les chercheurs ont donné à la communauté scientifique un meilleur moyen de mesurer et d'améliorer ces systèmes. Ils ont montré qu'avec le bon entraînement, nous pouvons avoir le beurre et l'argent du beurre : un système assez rapide pour fonctionner sur un téléphone, assez précis pour identifier un oiseau rare, et assez honnête pour nous montrer exactement quelle partie de l'oiseau il est en train de regarder. C'est une étape significative vers la création d'une intelligence artificielle non seulement puissante, mais aussi compréhensible et fiable.