Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments

这篇论文题为《图像真实性判断中基于模型行为的解释不可识别性》（Non-Identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments），由 Icaro Re Depaolini 和 Uri Hasson 撰写。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心问题：深度神经网络（DNN）可以训练以预测人类的判断（例如图像的真实性评分），但成功的预测并不等同于模型使用了与人类相同的信息，也不意味着模型暴露了这些信息。
• 现有局限：为了理解模型如何做出预测，研究者通常使用归因热力图（Attribution Heatmaps，如 Grad-CAM, LIME）作为“解释”。然而，这些解释是否稳健（Robust）且具有一致性，尚未在图像真实性（Image Authenticity）领域得到充分验证。
• 研究动机：随着 AI 生成内容（AIGC）日益逼真，理解人类如何评估图像真实性至关重要。如果不同的模型虽然预测准确，但给出的解释（关注的图像区域）完全不同（即“拉什莫恩效应”Rashomon effect），那么基于单一模型的解释来推断人类认知机制将是不可靠的。

2. 方法论 (Methodology)

研究使用了 AIGCIQA2023 数据集，包含 2400 张 AI 生成图像及人类对其质量（Quality）、真实性（Authenticity）和对应性（Correspondence）的评分。

2.1 实验设计

• 模型架构：使用了多种冻结预训练的骨干网络（Backbones），包括 VGG-16/19, ResNet-152, DenseNet-161, EfficientNetB3 以及自监督的 Barlow Twins。
• 训练策略：在冻结的骨干网络上附加轻量级的回归头（Regression Head）来预测人类真实性评分（0-100 分）。
• 数据划分：通过蒙特卡洛交叉验证，对每个架构训练了 10 个不同随机种子（Random Seeds）的变体，以评估稳定性。
• 解释方法：使用了三种归因方法生成热力图：
  1. Grad-CAM：基于梯度的归因方法。
  2. MPM (Multi-scale Pixel Masking)：基于多尺度像素遮挡的扰动方法。
  3. LIME：基于局部代理模型的扰动方法。
• 一致性分析：
  • 架构内一致性 (Within-Architecture)：同一架构下，不同随机种子生成的解释图是否一致。
  • 跨架构一致性 (Across-Architecture)：不同架构之间，对同一图像生成的解释图是否一致。
• 集成学习 (Ensemble)：为了克服单一模型解释的多样性，构建了 Bagging（平均预测）和 Stacking（元学习）集成模型，并尝试生成集成模型的归因图。

2.2 关键分析指标

• 预测性能：RMSE, PLCC (皮尔逊相关系数), SRCC (斯皮尔曼等级相关系数)。
• 噪声上限 (Noise Ceiling)：基于人类评分的分裂半信度计算，评估模型预测的理论上限。
• 方差分解：通过偏相关分析，区分模型是预测了“真实性特有的方差”还是仅仅预测了与“图像质量”共变的方差。

3. 主要结果 (Key Results)

3.1 预测性能与方差来源

• 预测能力：部分架构（如 Barlow Twins, DenseNet-161）表现良好，达到了人类噪声上限（约 0.82）的 80% 左右（PLCC ≈ 0.63）。
• 质量 vs. 真实性：
  • VGG 系列：虽然预测评分尚可，但它们主要通过跟踪图像质量（Quality）而非真实性特有的方差来工作。当剔除质量因素后，VGG 模型无法解释真实性评分的剩余方差。
  • 其他架构：Barlow Twins, ResNet-152, DenseNet-161, EfficientNetB3 在剔除质量因素后，仍保留了显著的真实性特有方差（偏相关系数在 0.15-0.24 之间）。

3.2 解释的一致性 (Consistency)

• 架构内一致性：
  • 大多数架构（如 VGG, Barlow Twins, ResNet）在不同随机种子下生成的 Grad-CAM 热力图具有高度一致性（相关系数 > 0.9）。
  • 然而，DenseNet 和 EfficientNet 在基于 IoU（交并比）的显著区域一致性上略低。
  • 有趣发现：对于被人类评为“更真实”的图像，模型生成的解释图一致性更高；反之，低真实性图像的解释图在不同种子间差异较大。
• 跨架构一致性 (核心发现)：
  • 极度薄弱：即使不同模型具有相似的预测性能，它们生成的解释图（热力图）在跨架构层面上一致性非常低。
  • 例如，VGG 系列与其他架构（如 EfficientNet）关注的图像区域截然不同。
  • 这证实了“拉什莫恩效应”：多个表现良好的模型可能基于完全不同的特征线索做出预测。

3.3 集成模型 (Ensembles)

• 性能提升：集成模型（Bagging 和 Stacking）的预测性能优于任何单一模型（PLCC 提升至 0.73）。
• 解释生成：集成模型可以通过像素遮挡（MPM）生成图像级别的归因图。这些图在空间上能更好地区分影响真实性的图像元素。
• 局限性：LIME 难以作为集成模型的有效代理（Surrogate），因为其生成的解释与集成模型的真实归因图相似度不高。

4. 主要贡献 (Key Contributions)

1. 揭示了预测与解释的解耦：证明了在图像真实性判断任务中，模型的高预测准确率并不保证解释的跨架构一致性。
2. 区分了质量与真实性线索：通过偏相关分析，明确指出某些高性能模型（如 VGG）实际上是在预测图像质量，而非人类感知的真实性，这警示了直接使用模型解释推断人类认知的风险。
3. 量化了解释的不稳定性：系统性地评估了同一架构内（种子间）和不同架构间的解释一致性，发现跨架构的一致性远低于架构内的一致性。
4. 提出了集成解决方案：展示了集成学习不仅能提高预测精度，还能通过聚合多模型信息生成更稳健的图像级归因图，为处理“拉什莫恩效应”提供了方法论路径。

5. 意义与结论 (Significance & Conclusion)

• 对认知科学的启示：目前，仅凭行为预测的成功，不足以将单一深度学习模型视为人类认知机制的有效解释模型。如果不同模型对同一图像给出不同的解释，那么基于单一模型的解释来推断人类心理机制是薄弱的证据。
• 对可解释性 AI (XAI) 的警示：在心理学和认知神经科学应用中，必须谨慎对待后验解释（Post-hoc explanations）。解释的稳健性（Consistency）应被视为评估模型心理相关性的必要条件，但非充分条件。
• 未来方向：研究建议采用集成框架，将预测准确性和解释一致性作为分离的评估维度。在缺乏跨架构共识时，集成模型可能是获取更可靠人类行为解释的可行途径。

总结：该论文通过严谨的实证分析指出，虽然深度学习模型能很好地预测人类对图像真实性的判断，但它们往往基于不同的特征（甚至只是图像质量）来实现这一目标，且不同模型给出的“解释”互不兼容。因此，在将 AI 模型作为人类认知机制的代理时，必须对模型生成的解释保持高度怀疑，并寻求多模型共识或集成方法。