💻 computer science

Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP

Le papier propose Grad-ECLIP, une méthode basée sur le gradient qui génère des explications visuelles et textuelles de haute qualité pour CLIP en exploitant les poids de canaux et d'espace sur les caractéristiques des jetons plutôt que sur des cartes d'auto-attention éparses, révélant ainsi les mécanismes d'appariement du modèle et permettant une amélioration de l'alignement fin lors de l'ajustement fin.

Auteurs originaux : Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan

Publié 2026-08-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde moderne de l'intelligence artificielle, il existe une classe de systèmes connus sous le nom de modèles vision-langage. Ce sont des esprits numériques entraînés sur de vastes collections d'images et le texte qui les décrit, apprenant comment une image de chien est liée au mot « chien ». Ils sont devenus des outils puissants, capables de trouver des images spécifiques dans de gigantesques bases de données ou de répondre à des questions sur ce qu'ils voient. Cependant, un mystère important entoure ces systèmes : bien qu'ils produisent des réponses correctes, personne ne sait réellement quelles parties d'une image ou quels mots spécifiques d'une phrase dictent ces décisions. C'est comme regarder un étudiant brillant résoudre un problème de mathématiques complexe parfaitement, tout en étant incapable de voir les étapes qu'il a suivies pour y parvenir. Sans cette compréhension, il est difficile de savoir si le système comprend véritablement le monde ou s'il se contente de deviner en se basant sur des motifs cachés.

Les chercheurs tentent depuis longtemps de jeter un coup d'œil à l'intérieur de ces modèles pour voir sur quoi ils se concentrent. Certaines méthodes examinent les mécanismes d'« attention » internes, qui sont conçus pour mettre en évidence les informations importantes, mais dans ces modèles spécifiques, ces mises en évidence s'avèrent souvent éparses et confuses, pointant vers des endroits aléatoires plutôt que vers le sujet réel. D'autres approches tentent de mesurer à quel point la réponse change lorsqu'on supprime des parties de l'image, mais ces méthodes peuvent être lentes ou produire des résultats bruités et peu clairs. Le défi central a été de trouver un moyen de montrer clairement, pour toute image et phrase donnée, exactement quels pixels et quels mots comptent le plus pour la décision finale du modèle.

Une équipe de chercheurs a maintenant introduit une nouvelle méthode appelée Grad-ECLIP pour résoudre ce problème. Au lieu de s'appuyer sur les cartes d'attention internes du modèle, qui échouent souvent à donner une image complète, leur approche calcule l'importance de chaque partie de l'image et de chaque mot du texte en mesurant la sensibilité du résultat final à de petites variations. Imaginez la décision du modèle comme un équilibre délicat ; cette méthode pousse doucement différentes parties de l'entrée pour voir lesquelles provoquent le changement le plus important dans le résultat. Si la suppression d'un patch spécifique de pixels ou d'un seul mot fait chuter considérablement la confiance du modèle, cette partie est marquée comme hautement importante. En faisant cela, les chercheurs peuvent générer des cartes de chaleur claires qui brillent sur les zones les plus pertinentes d'une image et mettent en évidence les mots les plus critiques dans une phrase.

Lorsqu'elle a été testée contre les techniques existantes, cette nouvelle méthode s'est révélée bien plus précise. Dans les tests visuels, alors que les anciennes méthodes mettaient souvent en évidence le bruit de fond ou des objets non liés, Grad-ECLIP se concentrait systématiquement sur les sujets corrects. Par exemple, lors de l'appariement d'une image d'un chien jouant avec un frisbee à la phrase « un chien joue avec un frisbee », la méthode a correctement mis en évidence le chien et le frisbee, tout en ignorant l'arrière-plan. Elle a également identifié avec succès que le mot « joue » correspondait à l'action des pattes du chien, et que « frisbee » correspondait à l'objet en l'air. Dans les tests quantitatifs, où les chercheurs ont systématiquement supprimé ou ajouté des pixels en fonction des cartes générées, la nouvelle méthode a provoqué un changement plus drastique de la performance du modèle que n'importe quelle autre technique, prouvant qu'elle identifiait effectivement les informations les plus cruciales.

Au-delà de la simple démonstration du fonctionnement du modèle, les chercheurs ont utilisé cet outil pour découvrir comment le modèle réfléchit réellement. Ils ont découvert que le système possède une capacité remarquable à décomposer des phrases complexes en concepts individuels, puis à les combiner. Si l'on montre une photo d'un cheval et qu'on lui demande de trouver un « jeune cheval », le modèle se concentrera sur le cheval mais renforcera son attention sur le plus jeune. Cependant, si l'on demande un « cheval blanc » alors que le cheval sur la photo est brun, le modèle ignorera largement la couleur et se concentrera sur le cheval lui-même, suggérant qu'il traite l'adjectif discordant comme un détail secondaire plutôt que comme un point de rupture. Cela a révélé que le modèle a tendance à prioriser les concepts visuels concrets, comme les couleurs et les formes, par rapport aux comparaisons abstraites comme « gauche » ou « droite », qu'il peine souvent à localiser précisément.

L'étude a également révélé que le modèle accorde une importance beaucoup plus grande aux mots concrets — ceux qui décrivent des choses que l'on peut voir et toucher — par rapport aux mots abstraits. Cette préférence n'est pas simplement due au fait que les mots concrets apparaissent plus souvent dans les données d'entraînement ; les chercheurs ont vérifié la fréquence des mots et n'ont trouvé aucun lien direct. Au lieu de cela, le modèle semble avoir appris que les détails visuels concrets sont plus fiables pour faire correspondre les images au texte. Cette compréhension aide à expliquer pourquoi ces systèmes sont si performants en apprentissage « zero-shot », où ils peuvent reconnaître de nouvelles choses qu'ils n'ont jamais vues auparavant, en s'appuyant sur les blocs de construction visuels solides qu'ils ont maîtrisés.

En fin de compte, ce travail offre une fenêtre claire sur le raisonnement d'une intelligence artificielle complexe. En montrant exactement où le modèle regarde et ce qu'il valorise, les chercheurs ont dépassé le stade de traiter ces systèmes comme des boîtes noires. La nouvelle méthode permet aux scientifiques et aux développeurs de faire confiance plus sereinement aux décisions du modèle, sachant exactement quelles caractéristiques ont conduit à une conclusion. Elle souligne également les limites actuelles du modèle, telles que sa difficulté avec les relations spatiales, offrant une feuille de route pour de futures améliorations. Avec cet outil, le chemin vers la construction d'une intelligence artificielle plus fiable et compréhensible devient beaucoup plus clair.

Résumé technique de Grad-ECLIP : Explications visuelles et textuelles basées sur le gradient pour CLIP

Énoncé du problème
Bien que l'apprentissage contrastif de l'image et du texte (Contrastive Language-Image Pre-training - CLIP) ait atteint un succès significatif dans les applications en aval, l'interprétabilité de son mécanisme de correspondance image-texte reste sous-explorée. Les méthodes d'explication existantes pour les modèles basés sur les Transformers reposent souvent sur des cartes d'auto-attention, qui sont typiquement extrêmement éparses dans CLIP, conduisant à une faible fidélité et des visualisations confuses. D'autres approches, telles que les méthodes de cartes de similitude (par exemple, CLIPSurgery, MaskCLIP), reposent uniquement sur le traitement direct (forward processing) et peuvent mettre en évidence des caractéristiques qui ne sont pas réellement utilisées dans la prédiction finale. De plus, les méthodes basées sur le gradient comme Grad-CAM peinent lorsqu'elles sont appliquées directement aux couches du Vision Transformer (ViT) de CLIP, car les jetons de patch finaux ne sont pas impliqués dans le calcul du score de correspondance. Il existe un besoin pour une méthode capable de décomposer efficacement l'architecture de l'encodeur pour générer des explications visuelles et textuelles de haute fidélité et spécifiques au résultat, tant pour les entrées d'images que de textes.

Méthodologie : Grad-ECLIP
Les auteurs proposent Grad-ECLIP, une méthode d'explication basée sur le gradient adaptée à l'architecture à double encodeur de CLIP. La méthode dérive une relation entre le score de similitude image-texte final et les caractéristiques spatiales intermédiaires à travers une série d'approximations.

Décomposition et approximation : La méthode approxime l'incorporation de la caractéristique d'image finale ( $F_I$ ) comme une agrégation de caractéristiques de chaque couche de transformer. Elle approxime ensuite le score de correspondance comme une somme pondérée des caractéristiques de canaux dans la sortie de la couche d'attention ( $o_{cls}$ ).
Poids de canaux basés sur le gradient : Pour déterminer l'importance des canaux de caractéristiques, la méthode calcule le gradient du score de correspondance image-texte par rapport à la sortie de la couche d'attention ( $o_{cls}$ ). Ces gradients servent de poids de canaux ( $w_c$ ).
Poids spatiaux assouplis : Reconnaissant que les cartes d'attention softmax standard sont trop éparses pour représenter efficacement l'importance spatiale, les auteurs proposent une carte d'attention « assouplie ». Au lieu d'utiliser la sortie softmax stricte, ils appliquent une normalisation 0-1 aux scores de similitude entre la requête et les clés ( $q_{cls}k_i^T$ ) pour générer des poids spatiaux ( $\lambda_i$ ). Cela permet à la méthode de refléter l'importance d'une gamme plus large de régions plutôt que de se limiter au seul jeton le plus activé.
Génération de cartes de chaleur : La carte d'explication finale est générée en agrégeant les caractéristiques de valeur ( $v_i$ ) de la couche d'attention, pondérées par l'importance du canal ( $w_c$ ) et l'importance spatiale assouplie ( $\lambda_i$ ). Une fonction ReLU est appliquée pour se concentrer uniquement sur les caractéristiques ayant un impact positif sur le score.
Applicabilité : Le même cadre est appliqué à l'encodeur de texte (en utilisant le jeton [eos]) pour générer des explications textuelles, mettant en évidence l'importance de mots spécifiques dans une phrase par rapport à une image. La méthode est applicable aux architectures CLIP basées sur ViT et sur CNN (ResNet avec pooling d'attention).

Contributions clés

Nouveau cadre d'explication : L'article introduit Grad-ECLIP, une approche basée sur le gradient qui produit des cartes de chaleur de haute qualité et spécifiques au résultat, tant pour les régions d'images que pour les mots textuels dans les modèles CLIP.
Supériorité sur l'état de l'art : À travers des évaluations qualitatives et quantitatives exhaustives, il est démontré que Grad-ECLIP surpasse les méthodes d'interprétation de Transformers existantes (ex: Rollout, GAME) et les méthodes spécifiques à CLIP (ex: CLIPSurgery, MaskCLIP, M2IB) en termes de fidélité.
Généralisabilité : La méthode est validée sur divers ensembles de données (ImageNet, MS COCO, Conceptual Captions, rayons X médicaux) et différents domaines (croquis, exemples adverses). Il est également démontré qu'elle est applicable à d'autres modèles basés sur les Transformers, incluant les classificateurs ViT et BLIP, ainsi qu'aux variantes de CLIP basées sur les CNN.
Aperçus des mécanismes de CLIP : En utilisant Grad-ECLIP, les auteurs analysent le fonctionnement interne de CLIP, révélant :
- Décomposition conceptuelle et additivité : CLIP traite les phrases en les décomposant en mots individuels et en ajoutant leurs contributions, plutôt qu'en les traitant comme des unités monolithiques.
- Identification d'attributs : CLIP montre de fortes capacités à identifier des attributs concrets comme la couleur et la forme, mais peine avec les attributs comparatifs (taille, position) et les concepts abstraits.
- Biais de concrétude : Il existe une corrélation positive significative entre la concrétude des mots et l'importance des mots dans le processus de correspondance de CLIP, un biais qui persiste même en contrôlant la fréquence des mots.

Résultats expérimentaux

Évaluation quantitative : Grad-ECLIP obtient les scores d'Insertion Moins Suppression (IMD) les plus élevés sur les tâches de classification ImageNet et de recherche MS COCO, indiquant que les régions mises en évidence sont les plus critiques pour la prédiction du modèle. Il surpasse significativement les bases de référence dans les métriques de Suppression et d'Insertion ( $p < .001$ ).
Localisation : Dans les tests de Point Game et de segmentation, Grad-ECLIP démontre une précision de localisation supérieure, identifiant correctement les régions d'objets avec une précision plus élevée que les méthodes concurrentes.
Étude utilisateur : Une étude utilisateur impliquant 34 participants a montré que fournir des explications via Grad-ECLIP améliorait considérablement la capacité des utilisateurs à prédire les scores de correspondance de CLIP (la précision est passée de 67,6 % à 80,0 %), validant la fiabilité et l'interprétabilité de la méthode.
Efficacité : La méthode est informatiquement efficace, avec des temps de traitement comparables à ceux de Grad-CAM et de l'attention brute, et nettement plus rapides que les méthodes basées sur la perturbation comme RISE.

Signification et affirmations
L'article affirme que Grad-ECLIP fournit un outil robuste pour comprendre la nature de "boîte noire" de CLIP. En révélant que CLIP repose fortement sur des concepts visuels concrets et décompose les phrases de manière additive, la méthode offre aux développeurs et chercheurs des informations sur les forces et les limites du modèle. Les auteurs suggèrent que ces découvertes peuvent guider l'amélioration des modèles de vision-langage (VLM) et de leurs applications en aval. De plus, l'article démontre une application pratique où Grad-ECLIP est utilisé pour générer des paires région-phrase afin d'affiner CLIP pour une meilleure compréhension fine, montrant son efficacité dans la classification de régions zero-shot et la détection en vocabulaire ouvert. Ce travail se positionne comme une étape vers des systèmes d'IA multimodaux plus transparents et interprétables.

Articles similaires