On the Explainability of Vision-Language Models in Art History

本文通过结合零样本定位实验与人类可解释性研究，评估了七种可解释人工智能方法在艺术史语境下对 CLIP 等视觉 - 语言模型视觉推理的阐释能力，发现其有效性取决于所考察类别的概念稳定性与表征可用性。

要点

这篇论文探讨了一个非常有趣的问题：当我们让 AI 看艺术画时，它到底“看”到了什么？我们又能相信它的解释吗？

想象一下，你有一个超级聪明的机器人（AI 模型，比如 CLIP），它读过互联网上数以亿计的图片，并且能听懂人类的语言。如果你给它看一幅画，然后问它：“画里的蛇在哪里？”或者“画里那个悲伤的人是谁？”，它能回答出来。

但是，这个机器人是个“黑盒子”。它虽然能给出答案，但我们不知道它的大脑里是怎么思考的。为了解开这个谜题，研究人员使用了各种“探照灯”工具（也就是可解释性 AI 方法，XAI），试图照亮机器人做出决定的区域，让我们看到它到底盯着画的哪一部分。

这篇文章就像是一场**“探照灯大比拼”**，主要做了两件事：

1. 第一次实验：像考试一样“找茬”

研究人员找来了两本巨大的“艺术画册”（包含近 2000 幅名画），上面已经由专家标好了答案（比如：这里有个“蛇”，那里有个“圣母”）。

他们让 7 种不同的“探照灯”工具去工作，看看谁能最准确地圈出这些物体。

• 结果： 有一个叫 CLIP Surgery 的工具表现最好，就像是一个戴着高倍放大镜的侦探，能最精准地找到目标。
• 但是： 即使是最聪明的工具，在面对一些抽象概念（比如“悲伤”、“神圣”）或者非常小的物体时，也会变得晕头转向，圈错地方。这就好比让机器人找“悲伤”，它可能找不到一个具体的“悲伤”物体，因为它在训练数据里只见过具体的“哭泣的脸”，没见过抽象的“悲伤”。

2. 第二次实验：像开研讨会一样“问人”

光有机器打分还不够，因为艺术是给人看的。研究人员找来了 33 位懂艺术的人（从学生到专家），让他们看同一幅画，然后让他们自己圈出重要的地方。接着，再把那 7 种“探照灯”生成的图给他们看，问他们：“哪张图最像你们圈出来的？”

• 结果： 大家普遍喜欢 CLIP Surgery、LeGrad 和 ScoreCAM 生成的图。
• 有趣的发现：
  • 如果画的是具体的东西（比如“桥”、“蛇”、“脚”），大家的意见很统一，机器也能猜对。
  • 如果画的是抽象或复杂的概念（比如“欲望”、“斯芬克斯”），大家就会吵起来，有的圈这里，有的圈那里，机器也跟着糊涂了。
  • 最扎心的真相： 有时候，连人类专家对“画里到底是谁”都有分歧（比如《哀悼基督》画里有三个叫玛利亚的女人，长得都很像，谁是谁很难分清）。这时候，机器如果只圈出了最显眼的一个，也不能说它完全错了。

核心比喻：机器眼中的“艺术”是什么？

作者用了一个很棒的比喻来总结：

想象一下，CLIP 模型就像是一个看过无数照片的“统计学家”。它并不真正理解艺术的历史、情感或文化背景。它只是把“蛇”这个概念，和它见过的所有“蛇”的图片在数学上进行了平均。

• 当概念很稳定时（比如“蛇”总是长那样），机器能看得很清楚。
• 当概念很模糊时（比如“欲望”或“神圣”），机器就找不到具体的“锚点”了，因为它的数据库里没有统一的“欲望模板”。

这篇文章告诉我们要什么？

1. 不要盲目相信“热力图”： 那些红红绿绿的“探照灯”图，虽然看起来很有说服力，但它们展示的只是机器**“关注了哪里”，而不是机器“理解了什么”**。
2. 艺术需要“人”来解读： 机器可以帮我们快速检索或定位，但它无法替代人类艺术史学家那种充满文化、历史和情感深度的“凝视”。
3. 解释是双向的对话： 真正的“可解释性”不是机器给人类一个标准答案，而是机器和人类之间的一场对话。我们需要意识到，机器看到的“世界”，其实是互联网大数据的统计投影，里面充满了偏见和缺失。

一句话总结：
这篇论文告诉我们，虽然现在的 AI 能像侦探一样在名画里找东西，而且有些工具（如 CLIP Surgery）找得挺准，但AI 并不真正“懂”艺术。那些彩色的解释图，更像是机器在向我们展示它的“注意力”，而不是它的“智慧”。在艺术史领域，我们依然需要人类专家那双充满故事的眼睛，来填补机器留下的空白。

技术摘要

这是一份关于论文《On the Explainability of Vision–Language Models in Art History》（艺术史中视觉 - 语言模型的可解释性）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：
视觉 - 语言模型（VLMs，如 CLIP）通过将视觉和文本数据映射到共享的嵌入空间，实现了强大的多模态任务能力。然而，在艺术史领域，这些模型的应用面临“黑盒”挑战：

1. 认识论的模糊性： 模型是否真正“理解”了艺术品的符号学、风格或情感内涵？还是仅仅基于训练数据中的统计相关性进行匹配？
2. 数据偏见与缺失： 训练数据（如 LAION-400M）包含结构性偏见、刻板印象和非共识图像，导致模型在艺术史语境下可能重现历史和文化的不平等。
3. 可解释性的局限： 现有的可解释人工智能（XAI）方法能否在零样本（zero-shot）条件下，将 CLIP 的视觉推理逻辑转化为人类（特别是艺术史专家）可理解的视觉证据？

研究目标：
评估七种 XAI 方法在零样本条件下，对 CLIP 模型在艺术史图像中进行“视觉定位”和“概念解释”的有效性，并探究这些解释是否与人类艺术史专家的视觉判断一致。

---

2. 方法论 (Methodology)

本研究采用两阶段评估框架，结合定量实验与定性人类研究：

A. 方法选择 (Method Selection)

选取了七种后处理（post-hoc）显著性图（Saliency Map）生成方法，分为三类：

1. 基于梯度的方法 (Gradient-based)： 通过反向传播类特定梯度到特征图。
   • Grad-CAM, Grad-CAM++, LayerCAM, LeGrad。
2. 基于分数的无梯度方法 (Score-based, Gradient-free)： 通过遮挡图像区域并测量模型输出分数的变化。
   • ScoreCAM, gScoreCAM。
3. CLIP 特定干预方法 (CLIP-specific)： 直接干预推理流程，解耦文本和视觉流。
   • CLIP Surgery。

筛选标准： 必须生成空间定位的热力图、无需重新训练 CLIP 模型、且能明确展示文本 - 图像交互。

B. 案例研究 1：定量定位评估 (Case Study 1: Quantitative Localization)

• 数据集： 使用两个包含图标学（iconographic）标注的艺术史数据集：
  • IconArt: 1,480 张图像，侧重特定宗教/历史母题（如“耶稣受难”、“圣母”）。
  • ArtDL: 4,166 张图像，包含更广泛的圣人和属性（如“百合花”、“脸”）。
• 任务： 在零样本条件下，评估各方法生成的显著性图能否准确框出目标概念（如“蛇”、“圣母”）的边界框。
• 指标： 使用 BoxAcc（边界框准确率），通过网格搜索最佳阈值 $\tau$ 计算 IoU（交并比）$\ge 0.30$ 和 $\ge 0.50$ 时的表现。

C. 案例研究 2：人类可解释性评估 (Case Study 2: Human Interpretability)

• 实验设计： 在线用户调查（2025 年 6-7 月），参与者为 33 名具有不同艺术史背景（从初学者到专家）的受试者。
• 任务：
  1. 受试者查看 7 幅不同风格/时期的艺术作品，手动标注特定概念（如“凸面镜”、“蛇”）的相关区域。
  2. 受试者对同一图像 - 概念对生成的 7 种 XAI 热力图进行排序，判断哪种最符合其人工标注。
• 分析： 使用 Kendall's W 系数衡量受试者间的一致性（Inter-rater reliability），分析不同方法在不同概念抽象度下的表现。

---

3. 关键贡献 (Key Contributions)

1. 艺术史语境下的 XAI 基准测试： 首次系统性地评估了多种 XAI 方法在零样本条件下处理复杂艺术史图像（包含符号、隐喻和特定历史语境）的能力，填补了通用计算机视觉评估与艺术史专业需求之间的空白。
2. 双重评估框架： 结合了大规模数据集的定量定位精度与人类专家的定性可解释性评估，揭示了算法性能与人类感知之间的差异。
3. 对“可解释性”的批判性反思： 提出 XAI 方法生成的热力图并不等同于模型的“理解”，它们可能只是将模型的统计偏差“美学化”。研究强调了概念稳定性（Conceptual Stability）和表征可用性（Representational Availability）对解释效果的决定性作用。
4. 特定方法的性能验证： 证明了 CLIP Surgery 在艺术史特定任务中优于传统通用方法，并分析了不同方法在计算效率与解释质量之间的权衡。

---

4. 主要结果 (Results)

A. 定量定位结果 (Case Study 1)

• 最佳方法： CLIP Surgery 在两个数据集（IconArt 和 ArtDL）上均表现最佳，特别是在 IoU $\ge 0.30$ 和 $\ge 0.50$ 的阈值下，显著优于其他方法。
  • 在 ArtDL 上，CLIP Surgery 的 BoxAcc 达到 52.28% (IoU $\ge 0.30$)，比第二名 LeGrad (43.82%) 高出近 9 个百分点。
• 次优方法： LeGrad 通常表现第二好，特别是在中等尺寸物体上。
• 表现较差的方法： 传统的基于梯度的方法（Grad-CAM, Grad-CAM++, LayerCAM）在艺术史图像上性能显著下降，尤其是在处理小物体或复杂符号时。
• 影响因素：
  • 物体大小： 小物体（<1% 图像面积）的检测准确率普遍较低。
  • 概念抽象度： 具体、视觉明确的物体（如“蛇”、“桥”）定位准确；抽象或依赖语境的符号（如“受难”、“淫欲”）定位困难。

B. 人类可解释性结果 (Case Study 2)

• 用户偏好： 参与者普遍倾向于 CLIP Surgery、LeGrad 和 ScoreCAM，认为这些方法生成的热力图最能反映他们标注的区域。
• 一致性差异：
  • 高一致性 (High W)： 对于视觉明确的目标（如“蛇”、"left foot"、"flower"），人类对热力图的排序高度一致。
  • 低一致性 (Low W)： 对于抽象或解释性强的概念（如“淫欲”、“狮身人面像”），人类判断分歧大，且没有单一方法能主导。
• 人类标注的局限性： 即使是人类专家，在面对复杂构图（如《奥德修斯与斯芬克斯》中的多只脚）或特定历史知识（如区分不同的“圣母”）时，也会产生标注不一致，这反映了艺术史解释本身的模糊性。

C. 性能与效率权衡

• CLIP Surgery 仅需单次前向传播（无梯度计算），计算效率极高，适合实时应用，但可能丢失部分梯度信息。
• ScoreCAM/gScoreCAM 需要多次前向传播，计算成本高，但生成的热力图通常更平滑、噪声更少。
• 基于梯度的方法 速度快，但容易出现梯度饱和或过度关注高层特征的问题。

---

5. 意义与结论 (Significance & Conclusions)

1. 方法论启示：

   • XAI 方法在艺术史中的应用不能仅依赖定量指标。必须结合人类专家的判断，因为艺术史的解释往往涉及语境、符号和叙事，而不仅仅是视觉特征的匹配。
   • CLIP Surgery 是目前在零样本艺术史分析中最具潜力的工具，因为它更好地适应了 CLIP 的双编码器架构。

2. 认识论反思：

   • 热力图的欺骗性： 显著性图（Saliency Maps）虽然看起来清晰，但并不等同于“认识论的透明”。它们展示了特征在嵌入空间中的激活，但掩盖了训练数据中的历史和文化偏见。
   • 模型并非“理解”： 模型并没有真正“看到”艺术品的历史意义，它只是反映了已中介化的图像世界的统计残留。
   • 对话式解释： 在数字艺术史中，可解释性应被视为人与机器视觉之间的对话过程（Dialogical Process）。XAI 的输出不应被视为最终解释，而应作为进一步诠释性探究的提示（Prompt）。

3. 未来方向：

   • 需要开发更能处理抽象概念和语境依赖的 XAI 方法。
   • 在应用 VLMs 进行艺术史研究时，必须警惕训练数据带来的偏见，并批判性地审视模型生成的“视觉逻辑”。

总结： 该论文不仅评估了具体算法的性能，更深刻地探讨了在人文科学领域应用 AI 解释性工具时的认识论边界，指出技术工具必须与人文批判性思维相结合，才能真正服务于艺术史研究。