💻 computer science

From Local to Global to Mechanistic: An iERF-Centered Unified Framework for Interpreting Vision Models

本文提出了一种以统一iERF为核心的框架，通过共享比率分解、概念锚定特征解释和层间概念归因，将局部、全局与机制性可解释性融为一体，从而为视觉模型如何将像素转化为决策提供稳健且基于证据的解释。

原作者： Yearim Kim, Sangyu Han, Nojun Kwak

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yearim Kim, Sangyu Han, Nojun Kwak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人，它看一眼照片就能立刻知道：“那是只狗！”或者“那是只猫！”但如果你问机器人为什么这么认为，它只会说：“因为我就是这么说的。”它就像一个黑盒。

本文介绍了一种打开这个黑盒的新方法。作者构建了一个统一系统，以回答关于这些视觉模型如何工作的三个核心问题：

局部视角：机器人究竟在看哪里？
全局视角：机器人学到了哪些具体的想法或“概念”？
机制视角：机器人如何将这些小想法组合起来做出最终决策？

为此，他们创建了一个名为PFV-iERF 包的单一“超级单元”。你可以把它想象成一张带有 GPS 标签的存储卡。

PFV（逐点特征向量）：这就是“存储卡”。它保存了机器人发现的特定信息片段（例如“毛发纹理”或“尖耳朵”）。
iERF（实例特定有效感受野）：这就是"GPS 标签”。它告诉你原始照片中究竟是哪些像素触发了该记忆。

以下是他们系统的工作原理，分为三个部分：

1. 局部视角：“侦探的放大镜”

问题：旧的 AI 解释方法往往给出模糊的热力图，或者在图像发生轻微变化（例如微小的噪声）时感到困惑。它们可能会说：“机器人在看整只狗”，但无法 pinpoint 真正起作用的精确像素。

解决方案（SRD）：作者使用了一种名为**共享比率分解（SRD）**的方法。

类比：想象一场接力赛。机器人将接力棒（信息）从一名选手传递给下一名。SRD 追踪接力棒的速度有多少确切地来自上一位选手。
工作原理：它不是靠猜测，而是通过数学分解机器人内部的计算，精确查看每个像素对最终决策的贡献程度。
结果：它生成了一张清晰的高清地图，精确显示机器人使用了哪些像素。其精确度极高，即使你试图通过微小的、肉眼不可见的图像修改来欺骗机器人，这张地图依然保持诚实，不会混淆。

2. 全局视角：“概念词典”

问题：有时，机器人学到的概念是分散的。例如，“打哈欠”这个概念可能由图像角落的一张嘴和另一处的舌头共同触发。旧方法试图通过寻找图像中“最响亮”的部分来发现这些概念，但当概念是分散的（非局部的）时，这种方法就会失效。这在现代模型（如 Transformer）中尤为明显，因为它们会同时混合来自各处的信息。

解决方案（CAFE）：他们使用了概念锚定特征解释（CAFE）。

类比：想象机器人有一本抽象词汇（概念）的词典。旧方法试图通过向你展示该词汇出现频率最高的图片来定义像“绝望”这样的词。但如果“绝望”是由角落里的一个打翻的药瓶触发的，而机器人的“注意力”却集中在背景上呢？旧方法就会出错。
工作原理：CAFE 利用"GPS 标签”（iERF）来透过表象看本质。它忽略机器人当前注意力集中在哪里，而是问：“究竟是哪些具体像素导致了这个概念被激活？”
结果：它能正确识别出像“三”这样的概念意味着“数三个物体”，即使这些物体分散在整个图像中。它将抽象概念锚定在真实、可验证的像素上。

3. 机制视角：“概念的家谱”

问题：我们知道机器人看到了什么以及看向哪里，但我们不知道它是如何构建最终答案的。“毛发” + “耳朵” + “尾巴”是如何变成“狗”的？

解决方案（ICG & ICAT）：他们构建了一个层间概念图。

类比：把机器人的大脑想象成一栋多层建筑。底层看到简单的东西（线条、颜色），顶层做出最终决策。这张图绘制了一棵连接底层想法到顶层想法的“家谱树”。
工作原理：他们追溯一个想法的“血统”。他们会问：“顶层的‘狗’概念是否源自底层的‘毛发’概念？”他们使用一种名为ICAT（层间概念归因）的方法来衡量这些连接强度。
结果：他们发现**集成梯度（Integrated Gradients）**是绘制这张家谱树的最佳工具。
- 成功案例：他们展示了机器人如何通过追踪从微小的“红色”像素一直到最终决策的路径，正确识别出“家雀”。
- 失败案例：他们展示了机器人如何被欺骗。在一种情况下，一只“虎斑猫”被误认为是“拳击手犬”，因为猫脸上“条纹脸”的概念意外触发了“狗”的路径。在另一种情况下，一只“边境牧羊犬”被黑客攻击，看起来像“海蛞蝓”，因为一个微小的“皱纹”概念被放大，从而覆盖了狗的身份。

总结

本文声称，通过使用PFV-iERF单元（即带有 GPS 标签的存储卡），他们可以：

绘制机器人视线更清晰、更诚实的地图（局部）。
正确定义抽象概念，即使这些概念分散在整个图像中（全局）。
追踪确切路径，了解微小的视觉线索如何组合成重大决策，从而揭示机器人犯错或被黑客攻击的原因（机制）。

他们在各种模型（如 ResNet 和视觉 Transformer）上测试了该方法，发现其表现优于以往方法，且对欺骗手段更具鲁棒性。它提供了一条从原始像素到最终决策的清晰、有据可依的叙事。

以下是论文《从局部到全局到机制：以 iERF 为中心的视觉模型解释统一框架》的详细技术总结。

1. 问题陈述

现代视觉模型（CNN 和 Vision Transformers）实现了高准确率，但缺乏透明度。当前的可解释性方法被割裂为三个互不关联的领域：

局部： 解释模型针对特定输入“看”在哪里（例如显著性图），但往往无法区分特定类别的证据，或难以处理非局部化特征。
全局： 解释模型在整个数据集中“编码”了什么（例如概念发现），但在处理 Transformer 中的“非局部化”特征时面临困难，因为这些模型中的激活是分散的，使得语义落地变得困难。
机制： 解释内部计算如何在各层组装证据，但缺乏一个统一的单元来追踪概念的演变和交互。

现有方法通常依赖梯度（可能具有噪声或可被操纵）或启发式后处理，且未能提供一个一致的分析单元，以弥合像素级证据与抽象潜在概念之间的鸿沟。

2. 核心方法论：以 iERF 为中心的框架

作者提出了一个围绕单一基本分析单元构建的统一框架：即逐点特征向量（PFV）及其实例特异性有效感受野（iERF）。

逐点特征向量（PFV）： 隐藏层中特定空间坐标处的多通道激活向量。这将空间位置视为不变锚点，既适用于 CNN（滑动窗口），也适用于 Transformer（Token）。
实例特异性有效感受野（iERF）： 一种评分图，用于识别驱动给定输入实例中特定 PFV 激活的具体输入像素（或图像块）。与理论感受野不同，iERF 是动态的且以证据为锚点。

该框架利用此单元解决三个可解释性维度：

A. 局部解释：共享比率分解（SRD）

目标： 生成高分辨率、具有类别区分度的显著性图。
机制： SRD 将目标 PFV 分解为上游 PFV 的加权混合体。它利用模型内部的仿射变换，基于部分贡献与目标向量之间的方向对齐度，计算共享比率（ $\mu$ ）。
过程： iERF 从输入递归传播至输出。最终的类别显著性图是编码器输出处 iERF 的加权和，其中权重经过调整以抑制类别无关信号。
优势： 与基于梯度的方法不同，SRD 仅依赖模型生成的信息，使其对噪声和对抗性操纵具有鲁棒性，且与激活函数无关。

B. 全局解释：概念锚定特征解释（CAFE）

目标： 通过将抽象潜在向量（例如来自稀疏自编码器或 Transformer Token 的向量）落地到像素级证据来解释它们。
问题： 在 Transformer 中，自注意力机制混合了全局上下文，导致特征变得“非局部化”（由远处的像素激活）。传统的“激活最强的图像块”方法在此失效。
机制： CAFE 使用iERF作为每个概念向量的直接语义标签。它不关注哪个 Token 被激活，而是追踪哪些像素驱动了该 Token 的激活。
过程： 相关性从目标 SAE 神经元反向传播至骨干网络，最终到达输入。iERF 揭示了真正的语义驱动因素（例如“洒落的药丸”与背景图像块），解决了非局部化特征和类别 Token 的歧义问题。

C. 机制解释：层间概念图（ICG）与 ICAT

目标： 追踪概念如何在各层演变和交互以形成决策。
节点： 从 PFV 空间提取的逐层概念向量（使用二分 k-means 或 SAE 等方法）。每个节点均由其 iERF 锚定。
边：通过**层间概念归因（ICAT）**进行量化。ICAT 衡量第 $a$ 层中的父概念对第 $b$ 层中子概念的影响。
归因方法： 论文通过层间插入/删除协议验证，积分梯度（IG）是 ICAT 最忠实的实现形式（称为ICAT $_{IG}$ ）。
输出： 一个有向多重图，展示了证据从低级特征（纹理）流向高级概念（物体）及最终决策的过程。

3. 主要贡献

统一分析单元： 引入PFV–iERF 捆绑包作为跨 CNN 和 Transformer 进行局部、全局和机制分析的一致原语。
SRD（局部）： 一种无梯度、鲁棒的生成类别区分度显著性图的方法，在保真度和鲁棒性方面优于最先进基线。
CAFE（全局）： 一种将非局部化 SAE 特征和 Transformer Token 落地到可验证像素证据的新方法，解决了类别 Token 的“空间无维度”问题。
ICG 与 ICAT（机制）： 一个追踪跨层概念间影响的框架，确定了积分梯度是层间分析的最佳归因方法。
综合评估： 在 ResNet50、VGG16 和 ViTs 上进行了广泛实验，证明了其在定位、稀疏性、保真度和对抗鲁棒性方面的卓越性能。

4. 实验结果

局部（SRD）：
- 在 ImageNet-S50 的指向游戏（Pointing Game）、归因定位、保真度和稳定性指标上，优于基线方法（Grad-CAM、LRP、积分梯度等）。
- 展示了针对定向对抗攻击的高鲁棒性（在竞争对手失败的情况下保留了类别相关线索）。
- 在各种激活函数（ReLU、Swish、GELU、Tanh）下保持了高保真度，而不同于仅针对 ReLU 定制的方法。
全局（CAFE）：
- 在插入测试中，iERF 引导的 CAFE 比朴素激活排序基线显著更快地恢复了潜在激活。
- 成功解释了非局部化特征（例如“三”计数概念、“骑士盔甲”），而传统方法产生了模糊或不正确的语义标签。
机制（ICG）：
- 验证了积分梯度在插入/删除曲线中提供了最陡峭的下降/上升，确认其为 ICAT 最忠实的方法。
- 成功诊断了故障模式：
  - 误分类： 揭示了导致错误的竞争概念路径（例如“拳击手狗”与“虎斑猫”）。
  - 对抗攻击： 追踪了扰动如何重新利用低级概念（例如“皱纹”）以劫持高级表示。

5. 意义

本文提供了一张从像素到概念再到决策的连贯、有证据支持的地图。通过将所有可解释性任务锚定在iERF上，该框架：

统一了分散的可解释性领域（局部、全局、机制），置于单一数学透镜之下。
解决了现代架构（Transformer）的具体挑战，即全局上下文混合掩盖了局部证据。
增强信任： 提供了一种稳健、抗操纵的工具，用于调试模型、理解故障模式，并验证模型是否依赖于语义有意义的特征而非虚假相关性。
未来影响： 为将可解释性从事后可视化转向支持模型引导和干预的概念落地分析奠定了基础。