💻 computer science

Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias

本文介绍了一种利用聚类技术将单张图像归因图分组为循环空间捷径模式的方法，从而能够识别出具有高错误率的特定图像子集，并开发针对性的干预措施以减少视觉模型的性能差异。

原作者： Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个孩子识别不同类型的动物。你给他看一张在绿草地上奶牛的照片，他学会了“奶牛”意味着“在田野里的带斑点动物”。接着，你给他看一张在雪地谷仓里的奶牛，他感到很困惑，因为“田野”这个部分不见了。这正是某些人工智能（AI）模型发生的情况。它们非常擅长发现模式，但有时会变得“偷懒”。它们并没有学习识别事物的真正特征（比如奶牛的形状），而是抓住了容易获得的、偶然出现的线索（比如绿色的草地），这些线索恰好出现在它们的训练照片中。在计算机科学领域，这被称为“捷径学习”（shortcut learning）。这就像一个学生没有真正学习数学，而是背下了答案集的字体风格。问题在于，这些捷径在测试内容发生变化时（比如奶牛出现在谷仓里）表现得非常好，但一旦变化，AI 就会失败；如果这些失败更多地发生在特定群体身上（比如来自某个特定医院的患者），AI 就会变得不公平或产生偏见。

这篇论文介绍了一种捕捉这些“懒惰捷径”的新方法，以防止它们造成麻烦。研究人员构建了一个工具，充当 AI 的“空间侦探”。他们不仅仅观察最终答案，还会窥视模型的大脑内部，看看 AI 究竟在图像中的哪个位置进行观察。他们发现，AI 模型通常会针对不同的图片使用多种不同的、截然不同的“捷径”。有些图片可能会触发基于背景的捷径，而另一些图片则可能依赖于摄像机的某种奇怪伪影。通过将这些不同的捷径模式组合在一起，研究人员可以准确识别出哪些图像最有可能出错，甚至可以在运行时修复模型，即告诉它忽略捷径，专注于真正的线索。

侦探工作：寻找捷径

来自伦敦国王学院的研究团队致力于解决一个特定的谜题：现有的方法可以告诉你 AI 正在使用捷径，但无法告诉你它如何以及 在哪里 使用捷径，从而无法帮助修复特定群体的错误。想象一下，你想通过一张所有犯罪行为的模糊平均地图来寻找城市里的窃贼。你会知道犯罪确实发生了，但你不知道那个窃贼是在公园里的扒手，还是郊区的窃贼。旧的方法就像那张模糊的地图；它们把所有的图像混在一起，掩盖了不同图片拥有不同种类捷径的事实。

该团队开发了一种拆解这种现象的方法。首先，他们为 AI 看到的每一张照片观察了三个不同的“视角”：

任务视角（Task View）： AI 认为对完成任务重要的部分（例如，识别肿瘤）。
捷径视角（Shortcut View）： AI 认为对敏感特征重要的部分（例如，照片来自哪个医院，或者人的性别）。
公平视角（Fair View）： 一个经过训练以实现公平、忽略敏感特征的参考模型。

通过比较这些视角，他们为每一张图像创建了一个“贡献图”（contribution map）。这张地图突出了 AI 用来做出决策的具体像素。如果 AI 正在使用捷径，地图会在背景或特定的伪影处亮起，而不是在实际的目标物体上。

模式分组

这里是奇迹发生的地方。研究人员将这些成千上万的个体地图通过一种数学排序技术（称为 K-means 和非负矩阵分解）分组为“捷径组”（Shortcut Groups）。可以把这想象成将一大堆混合在一起的拼图碎片根据碎片上的图案分类放入不同的盒子里。

他们发现，捷径并不是一个巨大的坏行为集合，而是存在几种截然不同的“个性化”捷径。例如，在一个鸟类照片的数据集上，他们发现了一组 AI 观察水面背景的捷径，以及另一组 AI 观察陆地背景的捷种。在一个胸部 X 光片的数据集上，他们发现了一些关注乳房阴影或肺部下部的捷径，而“好的”任务聚焦区域则位于肺部的正中间。

这些分组非常有用。研究人员发现，如果他们只查看属于“高风险”捷径组的前 20% 的图像，就能找到模型总错误中的绝大部分。在某些情况下，比如使用鸟类数据集，这个小群体包含了模型犯下的近 74% 的错误。这意味着审计人员不需要检查每一张图像；他们只需要检查特定的“捷径组”就能快速找到问题。

“重来”按钮：修复模型

这篇论文最令人兴奋的部分在于，他们不仅发现了问题，还尝试在不重新训练整个模型的情况下实时修复问题。他们在图像上测试了两种类型的“干预”：

输入掩蔽（Input Masking）： 他们直接遮盖了图像中 AI 用作捷径的部分。
特征空间干预（Feature Space Intervention）： 他们进入模型的内部处理过程，并告诉它“调低”捷径信号的音量，同时“调高”真实任务信号的音量。

结果非常有趣。当他们掩蔽“捷径”区域时，模型的性能通常保持不变，甚至略有提升，这证明了那些区域对于完成任务其实并非必要。然而，当他们掩蔽“任务”区域（真实的线索）时，模型的性能崩溃了，这证实了那些部分才是重要的。

真正的胜利来自于一种结合的方法：抑制捷径的同时放大真实的任务。 当他们这样做时，不同群体（如不同性别或不同医院）之间的性能差距显著缩小了。例如，在 CelebA 人脸数据集中，这种方法将性能差距缩小了约 7.8 个百分点。在 CheXpert 胸部 X 光数据集上，这种差距缩小了惊人的 20.3 个百分点。

这意味着什么

论文指出，通过对这些空间捷径进行分组，我们可以更清晰地了解 AI 模型在哪里失败。这不仅仅是说“这个模型有偏见”，而是说“这个模型通过观察以下几种特定模式的背景来使用捷径”。

研究人员表明，这些分组是稳定且可靠的。即使他们重新训练用于检测捷径的辅助模型，这些分组仍然保持一致。他们还在不同的 AI 架构（如 ResNet 和 ViT）以及不同类型的数据集（从皮肤病变到鸟类照片）上进行了测试，结果证明该方法具有普适性。

然而，作者也谨慎地指出，这并不是解决一切问题的万灵药。在某些复杂的医学案例中，例如组织病理学切片中，“捷径”是来自特定实验室的细微染色差异，仅仅抑制空间区域不足以修复这种偏见。但在许多其他情况下，这种寻找、分组并抑制空间捷径的方法，为审计和改进 AI 提供了一种强大的新途径，使 AI 在无需从头开始的情况下变得更加公平和可靠。它将 AI 偏见的模糊地图变成了能够修复错误的详细且可操作的指南。

技术摘要：发现并空间表征视觉模型偏差中的多种捷径组

问题陈述

深度学习模型通常通过依赖“捷径”（shortcut）特征（即存在于训练分布中但不具备泛化能力的伪相关性）来获得较高的平均准确率，这些特征在特定子群体中表现得尤为明显。虽然分布外（OOD）测试可以揭示性能差异，但它无法定位与这些捷径相关的具体图像区域。现有的基于归因的审计方法（如 OSCAR）通常会对整个数据集的归因图进行聚合，从而生成单一的数据集级贡献图。这种聚合假设捷径特征在空间上具有一致性，但这可能会掩盖仅在部分图像中出现或与不同子群体的任务相关证据发生不同交互的循环空间模式。因此，审计人员缺乏可操作的空间证据，无法识别高风险图像子集，也无法理解固定训练模型中对捷径依赖的具体性质。

方法论

所提出的框架——空间捷径组发现（Spatial Shortcut Group Discovery），旨在解决这些局限性，通过计算图像级贡献图并对其进行分组，以揭示循环出现的空间模式。该方法分为四个主要步骤：

图像级归因与排序：
使用了三个模型：被审计的任务模型 ( $f_{TS}$ )、在属性平衡数据集上训练的偏差削减基准模型 ( $f_{BA}$ )，以及敏感属性模型 ( $f_{SA}$ )。生成每个模型的归因图（例如 LRP, AttnLRP），将其划分为 $R$ 个互斥区域的网格，并转换为低分辨率的空间向量。至关重要的是，这些向量在每张图像内部进行排序，以保留图像间的差异性。
条件对齐与贡献图：
利用偏相关性，该方法计算图像级对齐得分：
- 捷径对齐 ( $\rho_{sc}$ )： 在移除 $f_{BA}$ 的线性效应后，衡量 $f_{TS}$ 与 $f_{SA}$ 之间的对齐程度。高分表示任务模型使用了与敏感属性相关的区域。
- 任务对齐 ( $\rho_{task}$ )： 在移除 $f_{SA}$ 的效应后，衡量 $f_{TS}$ 与 $f_{BA}$ 之间的对齐程度。
  区域级贡献图 ( $m_{sc}$ 和 $m_{task}$ ) 通过分解这些对齐得分得出，仅保留支持相应对齐的正向贡献。
空间模式分组：
将每个图像的联合捷径和任务贡献图进行拼接并归一化。随后使用两种方法将这些表示转化为循环出现的空间模式：
- K-means： 将每张图像分配到单个“捷径组”。
- 非负矩阵分解 (NMF)： 允许图像同时表达多种模式，提供软成员权重。
  结果包括一组捷径组原型（基于成员权重的平均值）和各组的代表性示例图像。
测试时空间干预：
为了验证这些地图的效用，本文采用了输入遮蔽（input masking）和内部特征空间干预。
- 输入遮蔽： 遮蔽具有高捷径或高任务贡献的区域，以观察性能下降情况。
- 特征空间干预： 提出捷径抑制（在抑制前从捷径图中移除任务成分）和任务放大（在放大前从任务图中移除捷径成分）。结合的方法同时应用两者，以在保持准确率的同时减少子群体间的差异。

核心贡献

空间捷径模式发现： 本文引入了一种计算图像级捷径与任务贡献图并使用 K-means 和 NMF 进行分组的方法。这揭示了多个连贯的空间捷径模式（具有不同的子群体构成和错误率）可以共存于同一个数据集中，而这种细微差别在数据集级的聚合中会被丢失。
针对性失效审计： 该框架证明了捷径组成员身份可用于构建风险评分，从而识别出包含不成比例总测试误差的图像子集。这使得审计人员能够将检查重点放在高风险子集上，而非随机采样。
可操作的测试时干预： 研究验证了所识别的空间图包含可操作的证据。遮蔽任务贡献区域会导致性能下降，而结合了捷径抑制和任务放大的干预措施通常能减少不同数据集和架构下的子群体性能差距（以最大性能差距 LPG 衡量）。

实验结果

该方法在五个数据集（CelebA, CheXpert, Waterbirds, Camelyon17, ISIC2019）和两种架构（ResNet50, ViT-B/16）上进行了评估。

模式发现： 对捷径组原型的视觉检查揭示了独特的空间结构。例如，在 CelebA 中，某些组显示捷径依赖集中在头发区域（任务相关），而其他组则集中在背景/衣物。在 CheXpert 中，捷径组突出了非肺部区域（如乳腺阴影），而任务组则聚焦于肺部区域。
风险识别： 基于捷径组的风险评分成功识别出了包含显著多于随机基准误差的子集。例如，在 Celeb了 CelebA ViT 模型上，按风险评分排名前 20% 的图像包含了约 63.5% 的总留出误差（相比之下，随机情况下预期为 20%）。NMF 分组在捕捉误差和跨独立训练模型的稳定性方面通常优于 K-means。
干预有效性：
- 输入遮蔽： 遮蔽高任务贡献区域导致性能严重下降，证实了这些区域对预测至关重要。遮蔽捷径区域的效果各异，通常会保持或略微提高准确率，表明这些线索是非必要的或伪相关的。
- 特征干预： 结合捷径抑制和任务放大的方法在大多数数据集上一致降低了最大性能差距 (LPG)。例如，在带有 ViT 的 CheXpert 上，结合干预将 LPG 降低了 12.8 个百分点，同时保持或略微提高了准确率。
- 迭代干预： 反复应用干预进一步降低了捷径对齐得分和子群体差异，证明了这些地图的实用性。

意义与主张

本文声称，空间捷径组发现弥合了视觉检查、针对性审计与测试时干预之间的鸿沟。通过超越数据集级的聚合，该框架提供了一个紧凑且可检查的摘要，用于说明捷径依赖如何随图像和子群体的变化而变化。

作者强调，该方法不需要重新训练模型，因此适用于已部署的固定视觉系统。生成的原型和风险评分为审计人员提供了实用的工作流，以实现以下目标：

可视化原本隐藏的循环出现的偏差空间模式。
优先处理基于高错误率的数据子集进行人工审查。
在测试时进行干预，通过抑制伪相关线索并放大任务相关证据来减轻差异。

本文对于泛化性保持了审慎的态度，指出虽然该方法能有效处理单一敏感属性，但现实场景可能涉及多个相互作用的属性。此外，基于网格的分区假设了某种程度的空间对齐，这可能会限制其在缺乏进一步适配的高空间变异性数据集上的适用性。这项工作为使用空间贡献模式来引导视觉模型的可操作解释性奠定了基础。