⚡ electrical engineering

CAMAL: Improving Attention Alignment and Faithfulness with Segmentation Masks

本文介绍了 CAMAL，这是一种高效且可扩展的方法，它利用分割掩码作为辅助正则化项，在深度学习和深度强化学习范式中显著提升视觉模型注意力的空间准确性（对齐性）和因果意义性（忠实性），从而在不增加推理成本的情况下增强可解释性。

原作者： Rajdeep Singh Hundal, Yan Xiao, Jin Song Dong, Manuel Rigger

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Rajdeep Singh Hundal, Yan Xiao, Jin Song Dong, Manuel Rigger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人识别照片中的猫。你给它看成千上万张图片，最终，这个机器人变得非常擅长说出：“那是猫！”但问题在于：它为什么会这么认为？

也许它是在看猫毛茸茸的耳朵。或者，它只是在看背景中的绿草，因为所有猫的照片碰巧都是在草坪上拍摄的。如果机器人只是根据草地来猜测，那它并没有真正“学习”关于猫的知识；它只是在走捷径。

本文介绍了一种名为CAMAL（类激活图注意力学习）的新方法来解决这个问题。可以将 CAMAL 想象为一位严格但乐于助人的老师，它不仅检查机器人的最终答案，还会检查机器人在思考时目光聚焦在何处。

以下是其工作原理，分解为简单的概念：

1. 问题：“机器人看错了地方”

过去，研究人员尝试利用其他 AI 模型提供的“提示”来教导机器人关注正确的区域（例如，一个知道猫听起来像什么或通常长什么样的模型）。论文将这些称为“伪判别区域”。

类比：想象你试图教一个学生在人群中找特定的人，方法是给他们看一张该人物模糊、低分辨率的素描。学生可能会猜对那个人，但也可能感到困惑，指着一个只是碰巧戴着相似帽子的人。这个提示太模糊了。

2. 解决方案：“黄金标准地图”

作者注意到，许多现代数据集都带有分割掩码。

类比：与其使用模糊的素描，不如想象你拥有一张完美勾勒的轮廓（就像涂色书的一页），它逐像素地精确显示猫在哪里。这就是“真实标签”。这是一张经过人工验证的地图，它表明：“猫就在这里，别处没有。”

CAMAL 利用这些完美的地图来教导机器人。它说：“当你看着图片时，你的‘注意力’（你的精神聚光灯）必须在这个轮廓内部的区域明亮地闪耀，而在其他地方保持黑暗。”

3. CAMAL 如何工作（“老师的惩罚”）

论文描述了机器人在训练期间遵循的两部分规则：

鼓励好的行为：如果机器人的注意力闪耀在猫身上（在掩码内部），老师会竖起大拇指。
惩罚坏的行为：如果机器人的注意力闪耀在草地或背景上（在掩码外部），老师会竖起大拇指表示反对（即给予负面反馈）。

论文将此称为“注意力对齐”（看对地方）和“注意力忠实性”（确保看那个地方确实有助于机器人做出决定）。CAMAL 迫使机器人同时做到这两点。

4. “批次”技巧（加快速度）

通常，检查机器人对每一张单张图片的注视点需要大量的计算能力和时间。这就像老师停下来，在转向下一个学生之前，逐一批改每个学生的作业。

创新点：作者发现了一个巧妙的数学技巧，可以一次性检查整个班级。他们不是逐个批改 32 名学生的作业，而是一次性批改整个小组。这使得过程快得多，并允许他们在巨大的数据集上使用这种方法，而不会导致计算机崩溃。

5. 他们的发现

研究人员在两类任务上测试了这种方法：

标准视觉（DL）：识别花朵、宠物和医学图像。
电子游戏（DRL）：教导机器人玩第一人称射击游戏（ViZDoom）。

结果：

更精准的聚焦：与使用旧版“模糊素描”提示或完全没有提示训练的机器人相比，使用 CAMAL 训练的机器人能更准确地注视实际物体（猫、花、敌人）。
更值得信赖：当研究人员测试机器人的聚焦是否真的重要时，他们发现 CAMAL 训练的机器人是“忠实的”。如果你遮挡住机器人正在注视的部分，机器人就会感到困惑。如果你遮挡住背景，机器人则毫不在意。这证明了机器人实际上是在关注重要的内容。
无速度惩罚：当机器人稍后实际玩游戏或识别物体时，它们并没有变慢。额外的工作仅发生在它们学习期间。

结论

论文认为，为了使 AI 值得信赖，我们需要将其注意力建立在可靠、经人工验证的地图（分割掩码）之上，而不是依赖其他 AI 模型的模糊猜测。CAMAL 是一种利用这些地图来训练 AI 关注正确事物的工具，从而使 AI 的决策更加合乎逻辑，且不太可能基于偶然的捷径。

简而言之：CAMAL 使用完美的轮廓作为指南，教导 AI 看“猫”而不是看“草”，并且高效地做到这一点，不会拖慢最终结果。

技术摘要：CAMAL

问题陈述

部署在现实世界应用中的视觉模型需要可解释性，以确保其决策值得信赖。类激活图（CAMs）被广泛用于可视化模型的注意力，突出显示模型认为具有判别性的区域。然而，现有方法存在两个关键局限性：

注意力对齐缺失：模型往往关注虚假区域而非真实判别区域，这种现象被称为“捷径学习”。
注意力忠实性缺失：即使注意力与某个区域对齐，也不能保证该注意力因果性地影响了模型的决策。

近期试图通过“注意力监督”解决此问题的方法，依赖于源自预训练零样本模型（如 CLIP）的伪判别区域作为参考信号。作者认为这些先验不可靠，因为它们是为广泛泛化而非精确空间定位而优化的，通常导致碎片化或虚假的参考区域。此外，现有方法往往无法高效扩展至大型数据集，因为它们依赖于基于每个样本的梯度注意力提取，这会产生 prohibitive 的计算开销。

方法论：CAMAL

作者提出了类激活图注意力学习（CAMAL），这是一种利用分割掩码作为可信参考区域来引导模型注意力的方法。

1. 可信参考区域

与以往使用基于 CLIP 先验的工作不同，CAMAL 利用分割掩码（通常由人类验证或由 SAM 等工具生成）来定义真实判别区域。这些掩码提供了结构化、完整且准确的空间信息。

2. 掩码引导的辅助正则化

CAMAL 构建了一个辅助正则化目标，联合优化从模型注意力热图 $H_c$ 和分割掩码 $M_c$ 导出的两个指标：

$\alpha$ （掩码内注意力）：真实判别区域内的平均注意力。
$\beta$ （掩码外注意力）：这些区域之外的平均注意力。

目标函数最小化差值 $(\beta - \alpha)$ ，有效地鼓励模型增加掩码内的注意力（ $\alpha \uparrow$ ）并抑制虚假区域的注意力（ $\beta \downarrow$ ）。这作为正则项添加到标准的交叉熵损失中：
$L = L_{CE} + \lambda \sum_{b} (\beta_b - \alpha_b)$
其中 $\lambda$ 控制正则化的强度。

3. 高效的小批量级注意力提取

一项关键技术贡献是解决了基于梯度的注意力提取（如 Grad-CAM）中的可扩展性瓶颈。标准方法需要对小批量中的每个样本进行单独的反向传播（ $O(B)$ 复杂度）。CAMAL 引入了一种高效公式，将小批量中所有样本的 logits 求和为单个标量，然后执行一次反向传播。

理论保证：由于微分的线性以及批量内样本的独立性，这种单次反向传播产生的梯度与单独计算它们的结果相同（ $O(1)$ 复杂度）。
影响：这显著降低了训练开销，使得注意力监督在大规模训练方案中变得可行。

4. 架构与任务无关性

CAMAL 被设计为与网络架构（适用于 CNN、ViT 等 Transformer 以及混合模型）和学习范式无关。在缺乏真实标签的深度强化学习（DRL）中，CAMAL 使用评论家的价值估计 $V(s)$ 作为注意力计算的目标，从而允许在弱监督设置中进行监督。

主要贡献

原则性注意力监督：引入 CAMAL，将注意力学习建立在可信的分割掩码之上，而非未经验证的伪区域。
新颖的正则化目标：一种同时鼓励真实区域内注意力并抑制其他区域注意力的公式，解决了“仅抑制”正则化的局限性。
可扩展的提取方法：一种高效的小批量级注意力提取技术，将计算复杂度从 $O(B)$ 降低到 $O(1)$ ，实现了可扩展的监督。
全面评估：在深度学习（DL）和深度强化学习（DRL）范式下进行了统计严谨的评估。

实验结果

作者将 CAMAL 与两个基线进行了评估：Vanilla（无注意力监督）和Prior（使用基于 CLIP 的伪区域进行注意力监督）。

注意力对齐

指标：模型注意力与真实掩码之间的交并比（IoU）。
DL 结果：CAMAL 在所有 6 个模型（ResNet、ConvNeXt、EfficientNet、ViT、Swin、MaxViT）和 3 个数据集（BUSI、Oxford-IIIT-Pet、Oxford-Flower）上均实现了 IoU 的统计显著提升。CAMAL 的 IoU 分数 substantially 高于 Vanilla 和 Prior（例如，在不同数据集上，CAMAL 约为 33-42%，而 Prior 约为 2-12%）。
DRL 结果：在 ViZDoom 环境中，与 Vanilla 相比，CAMAL 显示出显著更高的平均 IoU，并通过分层 Bootstrap 置信区间（SBCI）和改进概率（POI）确认了统计显著性。

注意力忠实性

指标：通过基于注意力重要性移除/插入像素并观察模型置信度变化来测量的因果影响。
结果：CAMAL 表现出比 Prior 更忠实的注意力。在像素移除情况下，CAMAL 的模型置信度下降更快，表明其注意力正确识别了关键特征。在像素插入情况下，置信度恢复更快。在插入场景中，CAMAL 的曲线下面积（AUC）比 Prior 高出 35.3%。

泛化性能

DL：CAMAL 在大多数模型 - 数据集组合中在分类准确率上始终优于 Vanilla，且在大多数情况下取得了统计显著的增益。
DRL：与 Vanilla 相比，CAMAL 显示出平均回报提升的趋势，尽管这些增益在所有环境中并不总是统计显著的，这表明注意力监督有利于泛化，但可能需要针对复杂的 DRL 动态进行细化。
与 Prior 的比较：CAMAL 在泛化方面表现与 Prior 相当或更优，表明注意力监督的主要好处在于提高注意力质量，而非大幅提升任务性能。

意义与主张

该论文声称，CAMAL 证明了分割掩码中的空间信息可以被有效利用来引导模型注意力。作者强调：

可信度是关键：注意力监督必须建立在可信的参考区域（分割掩码）之上才能可靠；依赖零样本模型的伪区域会导致不可靠的修正。
质量优于数量：注意力监督的主要好处在于提高所学注意力的质量（对齐性和忠实性），任务性能的提升是适度的且依赖于上下文。
可扩展性：所提出的小批量级提取方法使得注意力监督在现代大规模训练中变得切实可行，且不会增加推理成本。

作者得出结论，CAMAL 为未来的注意力监督方法建立了一个可靠的基准，强调实现此类方法的全部潜力需要将其建立在准确、真实的空间信息之上。