On the Explainability of Vision-Language Models in Art History

Cet article examine comment les méthodes d'IA explicable peuvent rendre le raisonnement visuel des modèles vision-langage (comme CLIP) compréhensible dans le contexte de l'histoire de l'art, en démontrant que leur efficacité dépend de la stabilité conceptuelle et de la disponibilité représentationnelle des catégories étudiées.

L'essentiel

🎨 Le Détective et le Tableau : Quand l'IA essaie de comprendre l'Art

Imaginez que vous avez un super-détective robot (appelé "CLIP" dans le papier) qui a vu des milliards de photos sur Internet. Ce robot est très fort pour associer des mots à des images. Si vous lui dites "chat", il trouve des chats. Si vous lui dites "pomme", il trouve des pommes.

Mais que se passe-t-il si vous lui montrez un tableau complexe de la Renaissance et que vous lui demandez : "Où est le serpent ?" ou "Montre-moi la tristesse de Marie ?". Le robot va-t-il pointer du doigt le bon endroit ? Et si oui, comment le sait-il ?

C'est exactement ce que l'auteure, Stefanie Schneider, a voulu découvrir. Elle s'est demandé : "Comment pouvons-nous voir ce que le robot voit vraiment, et est-ce que c'est la même chose que ce que nous, humains, voyons ?"

Voici les trois grandes étapes de son enquête, expliquées avec des analogies :

1. Le Problème : Le Robot a les yeux bandés (mais il devine bien)

Le robot CLIP est comme un étudiant qui a lu tous les livres du monde mais qui n'a jamais visité de musée. Il connaît les mots, mais il ne comprend pas l'histoire derrière les tableaux.

• L'analogie : Imaginez que vous demandez à quelqu'un qui n'a jamais vu de peinture de vous expliquer un tableau de la Cène. Il pourrait vous dire "il y a des gens autour d'une table", mais il pourrait se tromper sur qui est Judas ou sur le sens du geste de Jésus.
• Le but de l'étude : L'auteure veut utiliser des outils spéciaux (appelés XAI ou "Intelligence Artificielle Explicable") pour enlever les bandeaux du robot et voir sur quoi il se concentre quand il répond. Ces outils créent une "carte de chaleur" (une image où les zones importantes sont rouges).

2. L'Expérience : La course des détectives

Pour tester cela, l'auteure a organisé une compétition entre 7 méthodes différentes (7 façons de créer ces cartes de chaleur). Elle les a mises à l'épreuve sur deux types de terrains :

• Terrain A (Les données brutes) : Elle a utilisé des milliers de tableaux avec des étiquettes précises (ex: "cette zone contient un ange"). Elle a mesuré qui trouvait le mieux l'ange.
  • Résultat : Un détective nommé "CLIP Surgery" a gagné haut la main. Il est comme un chirurgien qui sait exactement où couper pour voir le cœur du problème. Il a devancé les autres méthodes, même celles qui sont très connues.
• Terrain B (L'humain) : Elle a demandé à des étudiants en histoire de l'art de regarder les mêmes tableaux et de dire : "Moi, je pense que le détective devrait regarder ici." Ensuite, ils ont classé les cartes de chaleur des robots du meilleur au pire.
  • Résultat : Les humains ont aussi préféré "CLIP Surgery". Mais attention ! Quand la tâche était floue (par exemple : "trouve la jalousie" ou "trouve le péché"), même les humains ne s'accordaient pas. Le robot, lui, était perdu.

3. La Révélation : Ce que le robot voit n'est pas ce que nous voyons

C'est la partie la plus importante et la plus philosophique de l'étude.

• L'analogie du miroir déformant : Les cartes de chaleur (les cartes rouges) montrent où le robot a regardé, mais elles ne montrent pas pourquoi.

  • Si le robot pointe sur un "serpent" dans un tableau, c'est peut-être parce qu'il a vu des serpents dans des photos de zoos sur Internet, pas parce qu'il comprend le symbolisme biblique du serpent dans l'histoire d'Adam et Ève.
  • Le robot ne "comprend" pas l'art comme un historien. Il ne voit que des motifs statistiques. C'est comme si vous regardiez une carte météo : elle vous dit qu'il va pleuvoir (le robot voit le mot "pluie"), mais elle ne vous dit pas que c'est triste ou romantique (l'émotion humaine).

• Le piège de la simplicité : Plus un objet est simple et grand (comme un "pont" ou un "pont"), plus le robot est bon. Plus l'objet est abstrait ou dépend du contexte (comme "la tristesse" ou "une vierge spécifique"), plus le robot échoue.

  • Exemple : Dans un tableau, il y a trois femmes qui pleurent. Pour un humain expert, on peut distinguer Marie Madeleine de la Vierge Marie. Pour le robot, ce sont juste "trois femmes qui pleurent". Il ne peut pas faire la différence, peu importe la méthode utilisée pour le "révéler".

🏁 La Conclusion en une phrase

Ces cartes de chaleur sont comme des lunettes magiques qui nous montrent où le robot regarde, mais elles ne nous disent pas ce qu'il pense.

Pour l'histoire de l'art, cela signifie que nous ne pouvons pas faire confiance aveuglément à l'IA. Nous devons utiliser ces outils avec prudence : ils sont excellents pour trouver des objets simples, mais ils échouent souvent à comprendre les histoires complexes et les émotions profondes des tableaux. L'IA nous aide à voir, mais c'est à nous, humains, de donner du sens à ce que nous voyons.

En résumé : L'IA est un excellent photographe qui sait où pointer son objectif, mais elle a besoin d'un historien pour lui expliquer l'histoire derrière la photo.

Résumé technique

1. Problématique

L'article s'interroge sur la capacité des Modèles Vision-Langage (VLM), et plus spécifiquement de CLIP (Contrastive Language–Image Pre-training), à être compris et interprétés dans le contexte de l'histoire de l'art. Bien que ces modèles soient devenus des outils polyvalents pour la recherche d'images et l'analyse sans supervision (zero-shot), leur « boîte noire » pose des problèmes épistémologiques majeurs :

• Opacité et biais : Les VLMs sont entraînés sur des données web massives (comme LAION-400M) qui contiennent des biais structurels, des stéréotypes et une vision du monde hégémonique.
• Inadéquation sémantique : L'histoire de l'art repose sur des conventions culturelles, l'iconographie et des significations historiques denses qui ne peuvent être réduites à de simples étiquettes descriptives.
• Question centrale : Dans quelle mesure les méthodes d'Intelligence Artificielle Explicable (XAI) peuvent-elles rendre la logique visuelle de CLIP lisible pour des interprètes humains, sans simplement « esthétiser » l'opacité du modèle ?

L'auteur cherche à déterminer si les cartes de saillance (saliency maps) révèlent véritablement la structure conceptuelle interne du modèle ou si elles ne font que projeter les attentes humaines sur des artefacts computationnels.

2. Méthodologie

L'étude adopte un cadre d'évaluation en deux étapes, combinant une analyse quantitative sur de grands ensembles de données et une évaluation qualitative auprès d'experts humains.

A. Sélection des méthodes XAI

Sept méthodes d'explication post-hoc (appliquées à un modèle pré-entraîné sans réentraînement) ont été sélectionnées selon trois paradigmes :

1. Méthodes basées sur le gradient : Grad-CAM, Grad-CAM++, LayerCAM, LeGrad. Elles rétropropagent les gradients pour identifier les régions influentes.
2. Méthodes basées sur le score (sans gradient) : ScoreCAM, gScoreCAM. Elles masquent des parties de l'image et mesurent l'impact sur le score de prédiction.
3. Méthodes spécifiques à CLIP : CLIP Surgery. Une intervention directe dans le pipeline d'inférence pour désintriquer les flux textuels et visuels.

B. Étude de cas 1 : Évaluation Quantitative (Localisation)

• Données : Deux ensembles de données d'histoire de l'art annotés : IconArt (1 480 images, 10 classes iconographiques) et ArtDL (4 166 images, 59 classes).
• Protocole : Évaluation en mode zero-shot (sans fine-tuning). Pour chaque méthode, une carte de saillance est générée, seuillée, et convertie en boîte englobante (bounding box).
• Métrique : Précision de localisation (BoxAcc) mesurée par l'Intersection over Union (IoU) à différents seuils (0.30, 0.50) et pour différentes tailles d'objets (petits, moyens, grands).

C. Étude de cas 2 : Évaluation Qualitative (Interprétabilité Humaine)

• Protocole : Une enquête en ligne auprès de 33 participants (étudiants et experts en histoire de l'art).
• Tâche : Les participants annotent manuellement des régions pertinentes sur 7 œuvres d'art pour des concepts donnés (ex: « serpent », « Vierge Marie », « lustre »). Ils doivent ensuite classer les 7 cartes de saillance générées par les méthodes XAI selon leur correspondance avec leurs annotations humaines.
• Analyse : Mesure de l'accord inter-évaluateurs (Coefficient de concordance de Kendall's W) et analyse des préférences selon le niveau d'expertise.

3. Résultats Clés

Performance Quantitative (Localisation)

• Supériorité de CLIP Surgery : Cette méthode, adaptée spécifiquement à l'architecture double-encodeur de CLIP, surpasse systématiquement les autres méthodes sur les deux ensembles de données, en particulier pour les IoU plus stricts (0.50).
• Deuxième meilleure méthode : LeGrad se classe généralement deuxième, montrant une bonne performance, notamment sur les objets de taille moyenne.
• Limites des méthodes classiques : Les méthodes basées sur le gradient (Grad-CAM, etc.) et les méthodes sans gradient (ScoreCAM) affichent des performances nettement inférieures, surtout sur des concepts iconographiques complexes.
• Facteurs d'influence : La précision dépend fortement de la taille de l'objet (les petits objets sont mal détectés) et de la stabilité conceptuelle. Les classes visuellement distinctes (ex: « pont », « serpent ») sont mieux localisées que les concepts abstraits ou contextuels (ex: « luxurieux », « Vierge Marie »).

Performance Qualitative (Perception Humaine)

• Préférences des experts : Les participants ont globalement préféré les cartes générées par CLIP Surgery, LeGrad et ScoreCAM.
• Corrélation avec l'expertise : Les participants avec des connaissances intermédiaires ou avancées ont montré une légère préférence pour LeGrad, tandis que les débutants favorisaient CLIP Surgery.
• Ambiguïté sémantique : Pour les concepts visuellement bien définis (ex: « pied gauche »), l'accord entre les humains et les machines est fort. Pour les concepts symboliques ou contextuels (ex: « luxurieux », « Vierge Marie »), l'accord inter-évaluateurs humain est faible, et aucune méthode XAI ne parvient à dominer clairement.
• Échec de la localisation : Dans des cas complexes (ex: les voleurs sur le tableau Le Calvaire d'Antonello da Messina), les cartes de saillance sont incohérentes, révélant que le modèle n'a pas encodé le concept de « voleur » de manière transférable.

4. Contributions Principales

1. Évaluation comparative rigoureuse : C'est l'une des premières études à comparer systématiquement sept méthodes XAI sur des données d'histoire de l'art en mode zero-shot, établissant un nouveau standard pour l'évaluation des VLMs dans les humanités numériques.
2. Validation de l'approche hybride : L'article démontre la nécessité de combiner des métriques quantitatives (précision de localisation) et des évaluations qualitatives (jugement humain) pour évaluer véritablement l'explicabilité.
3. Analyse des limites épistémiques : L'étude met en lumière que la performance des méthodes XAI est intrinsèquement liée à la granularité de l'espace d'incorporation (embedding space) du modèle. Si le modèle n'a pas appris un concept de manière stable (en raison de biais dans les données d'entraînement), aucune méthode d'explication ne peut le rendre lisible.
4. Implications pour l'histoire de l'art numérique : L'article propose une lecture critique des cartes de saillance : elles ne révèlent pas la « compréhension » du modèle, mais plutôt la projection des désirs interprétatifs humains sur des artefacts computationnels.

5. Signification et Conclusion

L'article conclut que l'explicabilité en histoire de l'art numérique ne doit pas être vue comme une simple question technique de « quelle méthode est la plus précise », mais comme un processus dialogique entre la vision humaine et la vision machine.

• Limites de la transparence : Les cartes de saillance peuvent être visuellement lisibles mais épistémologiquement trompeuses. Elles révèlent la dynamique interne des activations (quels tokens s'activent) mais cachent les présupposés historiques, culturels et linguistiques qui rendent ces activations significatives.
• Recommandation méthodologique : Les chercheurs doivent utiliser ces outils avec une conscience critique des biais inhérents aux données d'entraînement (comme LAION) et des limites de l'ontologie visuelle apprise par le modèle.
• Avenir : Les méthodes comme CLIP Surgery offrent les meilleures performances techniques actuelles, mais l'interprétation des résultats nécessite toujours une expertise humaine pour contextualiser les findings, car les modèles ne « voient » pas l'histoire, mais seulement le résidu statistique d'un monde visuel médiatisé.

En somme, l'article plaide pour une approche où l'IA explicable sert de point de départ à une enquête herméneutique plus profonde, plutôt que comme une explication finale et autonome.