技术摘要：SEAMS —— 基于 MSE 保留的软掩码充分性显著性

问题陈述

当前的计算机视觉视觉解释方法主要依赖于**基于敏感性（sensitivity-based）的方法（例如，梯度归因、集成梯度、层级相关性传播）。这些方法估算的是模型输出对无穷小输入扰动的敏感程度。然而，作者认为，敏感性和充分性（sufficiency）**是两个本质不同的概念。一个像素可能因为具有高敏感性（微小的变化会导致输出大幅偏移）而具有高归因分数，但该像素的信息可能在图像的其他地方被冗余编码。相反，具有低梯度的像素对于保持预测结果可能具有严格的必要性。

现有的试图解决充分性问题的扰动类方法通常存在特定局限性：它们可能需要辅助的干扰数据集，依赖于特定架构的归因机制，或者需要复杂的微分 top-$k$ 松弛和排序算子来选择离散的像素子集。本文解决的核心问题是：如何在不依赖这些辅助依赖项的情况下，识别出足以保留特定模型输出（如类别概率、CLS 嵌入或 Token 表示）的最小、紧凑的图像像素子集。

方法论：SEAMS

作者提出了 SEAMS（基于 MSE 保留的软掩码充分性显著性），这是一个后验、模型无关的框架，通过直接优化连续的软掩码来保留目标表示。

核心框架

给定一个冻结的可微视觉模型 $g$ 和输入图像 $x$，目标是找到一个软掩码 $M \in [0, 1]^{H \times W}$，使得从掩码复合图像 $\tilde{x}$ 计算出的模型输出与原始输出 $y^\star = g(x)$ 保持接近。

关键组件

1. 掩码参数化：
   SEAMS 并非直接优化掩码，而是优化无约束的逻辑值（logits）$\ell$。这些逻辑值通过**归一化并裁剪（normalise-and-clip）**参数化过程转化为有效的掩码：

   • $u = \text{softplus}(\ell)$ 确保非负性。
   • $\bar{u} = \alpha \frac{u}{\text{mean}(u)}$ 强制执行可学习的稀疏预算 $\alpha \in (0, 1]$。
   • $M = \text{clip}(\bar{u}, 0, 1)$ 将值约束在 $[0, 1]$ 范围内。
     这种方法避免了显式的子集选择、微分排序、Gumbel 采样或 top-$k$ 松弛。归一化步骤使像素之间为预算进行竞争，从而在没有显式二值化机制的情况下，自然地驱动掩码趋向于稀疏性（接近二值化值）。

2. 三方图像复合：
   为了评估掩码，作者使用完全由查询图像 $x$ 生成的三种来源构建复合图像 $\tilde{x}$：

   • 原始图像 ($x$)： 当 $M \approx 1$ 时保留的区域。
   • 自增强干扰项 ($x_{dist}$)： 通过 heavyAug（强几何/光度变换、扭曲、颜色偏移、剪切）生成。当 $M \approx 0$ 时，这些区域被替换为此项，以破坏弱纹理相关性。
   • 模糊上下文 ($x_{blur}$)： $x$ 的重度模糊版本。用于填充掩码值处于中间状态或超出预算的区域，以保留全局场景结构并减少优化伪影。
     复合图像定义为 $\tilde{x} = M \odot x + M'' \odot x_{dist} + N \odot x_{blur}$，其中系数之和为 1。

3. 优化目标：
   通过优化掩码和预算来最小化保留损失：
   $$\mathcal{L}(\ell, \alpha) = \mathbb{E}_{\mathcal{A}} \left[ \| g(\mathcal{A}(\tilde{x})) - y^\star \|_2^2 \right] + \lambda_\alpha \alpha$$

   • 保留项： 最小化增强后的复合图像与固定参考目标 $y^\star$ 之间的均方误差（MSE）。对复合图像应用增强 $\mathcal{A}$（中度裁剪、翻转、抖动）以确保鲁棒性，而 $y^\star$ 保持不变。
   • 稀疏项： 对预算 $\alpha$ 进行惩罚以鼓励紧凑的掩码。

4. 模块化目标：
   该框架与目标 $g(x)$ 无关。通过仅改变保留的输出，同一流水线可以生成多种类型的解释：

   • 类别条件解释： 保留特定的类别概率。
   • 全局表示掩码： 保留 CLS 嵌入。
   • Token 级解释： 保留稠密的 Patch-token 表示。

核心贡献

1. 基于充分性的公式化： 本文引入了一种显著性公式，它直接针对保持保真度（充分性）进行优化，而非局部敏感性。
2. 简化的优化框架： SEAMS 不需要外部干扰数据集、不需要特定架构的归因规则，也不需要复杂的微分子集选择算子（如 top-$k$ 松弛）。它仅依赖于带有可学习预算和自生成干扰项的软掩码优化。
3. 统一的多目标流水线： 通过改变保留的目标表示，单一的优化程序即可生成多样化的解释类型（物体级、类别特定级、Token 级）。
4. 架构相关的洞察： 该方法揭示了不同的架构（如 ViT 与 ConvNeXt）往往依赖于不同的充分像素集来实现相似的保留保真度，这是基于敏感性的方法难以捕捉的细微差别。

实验结果

作者在 ImageNet-1k（ViT-S/16, ConvNeXt-Tiny, ViT-B/16, DeiT-III-B/16）和一个私有医学数据集（早产儿视网膜病变）上评估了 SEAMS。

• 忠实度（插入/删除）： SEAMS 在插入和删除 AUC 分数方面达到了具有竞争力和通常优于梯度类方法（IxG, SmoothGrad, Integrated Gradients）以及其他基于扰动的方法（DAVE）的表现。值得注意的是，SEAMS 展示了极高的像素删除忠实度：目标类别概率在移除大量像素（高达 70-80%）之前保持稳定，仅在紧凑的充分区域被遮挡时才急剧下降。这表明该方法成功隔离了一个最小的充分子集。
• 跨架构泛化性： 当使用相同的超参数应用于不同骨干网络（ViT vs. ConvNeXt）时，SEAMS 生成了具有语义意义的掩码。然而，定量分析（IoU, 余弦相似度）显示，不同架构所选择的具体像素存在显著差异，证实了视觉充分性是依赖于架构的。
• 多目标灵活性： 实验证明，将目标从类别概率更改为 CLS 嵌入或 Patch tokens 会产生截然不同且具有解释性的掩码，能够突出图像中不同的语义层面。
• 医学影像迁移： 在无需修改超参数或优化流水线的情况下，SEAMS 成功识别了早产儿视网膜病变（ROP）眼底图像中具有临床相关性的视网膜结构（血管轨迹、分界线），展示了其在自然图像之外的迁移能力。
• 定性质量： 与现有技术相比，视觉对比显示 SEAMS 生成的解释更加清晰、更符合物体对齐，且空间连贯性更好，具有更少的 Patch 网格伪影。其掩码明显比竞争方法更具稀疏性和二值性。

重要性与主张

本文声称 SEAMS 提供了一个通用的、模型无关的框架，用于面向表示的视觉解释。其主要意义在于将范式从“什么会改变输出？”（敏感性）转向“什么足以保持输出？”（充分性）。

作者强调，SEAMS 具有以下特点：

• 不需要外部数据或复杂的架构修改。
• 生成紧凑、可解释且稳定的掩码。
• 揭示了不同的神经架构可能依赖于不同的视觉证据来得出相同的结论，这一发现通过基于充分性的分析得以呈现。
• 适用于多种尺度（从 224px 到 518px）和领域（从自然图像到医学影像）。