💻 computer science

Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

本文引入了 MIDAS 框架，旨在证明在针对细粒度视觉分类的小型 Vision Transformer 中，针对部分覆盖率（保留物体细节）和忠实度（解释分类器决策）进行优化的 Token 修剪策略在本质上是解耦的，这意味着其中一项指标的提升并不保证另一项指标的同步提升。

原作者： Richard Adusei, Kwabena Owusu-Agyeman, Eric Opuku Osei, Michael Asante

发布于 2026-10-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Richard Adusei, Kwabena Owusu-Agyeman, Eric Opuku Osei, Michael Asante

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，出现了一类旨在观察并理解图像、类似于人类视觉能力的模型。这些被称为视觉 Transformer（Vision Transformers）的系统并不以直线方式逐像素扫描图像，而是将图像切割成许多小的正方形块，将每个小块视为一个独立的特征信息，即“标记”（token）。随后，模型会同时处理所有这些标记，通过权衡每个标记应获得的注意力，从而做出最终决策。这种方法在识别特定鸟类品种或稀有车型等任务中表现得极其强大，因为这两类之间的区别可能仅仅在于喙部的曲线或车灯的形状。然而，由于这些模型需要观察每一个小块，导致它们在处理高分辨率图像时变得非常缓慢且计算成本高昂。为了提高速度，工程师们开发了一种称为“标记剪枝”（token pruning）的技术。这是一种在处理过程中过早丢弃不重要的小块，仅保留最相关部分的方法，以此节省时间和能源。而关键的问题始终在于：我们如何决定哪些小块是最重要的？

多年来，做出这一决策的标准方法依赖于模型内部的一种特定信号，本质上是要求系统观察其自身的“注意力”自然被吸引到了哪里。研究人员曾假设，如果模型正在关注某个小块，那么该小块必然包含了识别目标所需的关键细节。然而，一项新的研究挑战了这一长期存在的假设。研究人员发现，用于决定保留哪些小块以提高速度的方法，与确保模型确实在观察物体正确部位的方法并不一致。他们发现，一种经过优化、能够保留符合物体物理形状之小块的系统，其决策过程虽然与标准系统同样可靠，但其内在逻辑却完全不同。事实上，这两个目标——保留正确的物理部分以及保留正确的判断逻辑——可能会产生冲突，这意味着用于加速模型的工具可能会掩盖模型运作的真实原因。

这项研究的团队来自加纳的多所大学，他们致力于通过细粒度视觉分类（fine-grained visual classification）来测试这种脱节现象，该领域专门从事区分极其相似的事物，例如不同的飞机型号或鸟类品种。他们使用了一个标准的较小规模的视觉 Transformer 模型，并在三个著名的数据集（鸟类、汽车和飞机图像）上进行了测试。他们的目标是比较两种衡量剪枝系统质量的方法。第一个指标是“部分覆盖率”（part coverage），它简单地检查模型保留的小块是否确实覆盖了物体的实际物理部分，例如飞机的机翼或汽车的前格栅。第二个指标是“忠实度”（faithfulness），它检查在仅看到剪枝后的版本时，模型的最终决策是否保持不变。如果一种剪枝方法真正优秀，它应该在这两个方面都表现出色。

研究人员测试了几种不同的策略来决定保留哪些小块。一种策略使用了标准的“注意力”信号，这是目前大多数系统使用的默认方法。他们还测试了另一种新策略，该策略观察当输入被轻微改变时，模型的内部状态会发生怎样的变化，这种技术捕捉了图像与最终答案之间更深层、更直接的关系。当他们进行实验时，结果令人惊讶。使用这种更深层内部信号的新策略，在保留物体实际组成部分方面的表现显著更好。例如，在飞机数据集上，这种新方法在覆盖实际飞机部件方面的表现比标准方法提高了六个百分点以上。然而，当他们检查“忠实度”（即剪枝后的模型做出与完整模型相同正确决策的能力）时，两种方法几乎没有区别。新方法并没有降低模型的可靠性；它只是让模型更频繁地看向正确的地方，而没有改变其最终结论。

这一发现揭示了目前评估这些系统时存在的一个隐藏差距。长期以来，该领域一直假设，如果一种剪枝方法保持了模型的准确性，那么它也一定是在观察图像的正确部分。研究表明，这并不总是成立。一个系统可以很准确，但观察的是错误的区域；或者它也可以很准确，但在观察正确区域的同时，使用了完全不同的内部路径。研究人员引入了一个新的框架来衡量这种差距，称之为“解耦”（decoupling）。他们发现，当模型在其处理过程的特定中间阶段进行观察时，这种差距最为明显。如果模型在处理链的过早或过晚阶段进行观察，两种方法之间的差异就会消失。他们还发现，当模型被迫实现极高效率、仅保留原始图像一小部分小块时，这种效应最为强烈。

研究团队还仔细排除了这些改进仅仅是因为新方法拥有更多计算能力或额外参数进行学习的可能性。通过将他们的新方法与一个具有相同额外容量但未使用特定新信号训练的版本进行对比，他们证实了这种改进源于模型学习观察图像的具体方式，而非仅仅因为拥有更多的工具。他们发现，依赖于模型自然注意力的标准方法，在模型被迫追求高效时，往往无法捕捉到物体的最关键部分。相比之下，新方法始终能选择出那些对应于人类识别物体时所使用的物理特征的小块。

这一发现意义重大，因为它改变了我们构建和信任这些人工智能系统的方式。如果开发者想要创建一个识别鸟类的快速系统，他们不能简单地假设标准的剪枝方法已经足够。他们可能会得到一个运行迅速且准确的系统，但该系统可能忽略了定义该物种的关键羽毛或喙部形状。研究表明，通过使用不同的训练信号，我们可以获得一个速度同样快、准确度同样高，但实际上是在观察鸟类喙部和翅膀的系统。研究人员强调，这并不是一个适用于所有情况的“万能药”；其效果很大程度上取决于模型的具体规模以及保留了多少图像内容。然而，对于许多实际应用中所使用的这类小型、高效模型的特定类型，这种新方法提供了一条提升性能的清晰路径。

研究人员还指出，这种现象并非普遍存在。当他们测试一个规模更大、功能更强大的模型版本时，两种方法之间的差异消失了。这表明，该问题主要存在于那些常用于实际应用中的小型、快速模型的约束条件下。在这些较小的模型中，现有的决定保留哪些部分的标准方法并不够精确。这项研究为工程师提供了一张清晰的地图：如果你需要你的模型既快速又能观察到图像的正确部分，你应该使用这种新的训练信号。如果你只关心最终的速度和准确性，旧的方法或许仍然可行，但你承担着模型可能因错误原因做出决策的风险。

最终，这项工作为计算机视觉领域带来了更高层次的清晰度。它表明，效率与解释性并不总是同一回事。一个模型可以具备效率但不具备透明度，也可以具备透明度但不具备效率。通过将这两个目标分离，研究人员为科学界提供了一种更好的衡量和改进这些系统的方法。他们证明了通过适当的训练，我们可以兼得两者：一个运行速度足以支持手机端、准确度足以识别稀有鸟类，并且足够诚实，能向我们展示它究竟是在观察鸟类的哪个部位。这是在使人工智能不仅强大，而且更具可理解性和可靠性方面迈出的重要一步。

技术摘要：ViT Token Pruning 中的部分覆盖率（Part-Coverage）与忠实度（Faithfulness）解耦

问题陈述
在细粒度视觉分类（FGVC）中，Vision Transformers (ViTs) 依赖于 token 剪枝（token pruning）来提高效率并提供解释。目前社区使用两个衡量不同量值的指标来评估 token 剪枝评分器（scorer）：

部分覆盖率 (mIoU)： 衡量保留的 token 与地面真值（ground-truth）物体部件标注之间的重叠程度。
忠实度 (Insertion-Deletion AUC 或 IDAUC)： 通过按排名顺序扰动输入，衡量 token 排名对分类器决策的解释程度。

先前的工作仅针对其中一个准则进行优化而未测量另一个。本文解决的核心问题是这两个准则是否一致。作者假设并证明，对于小型 ViT 骨干网络，这两个指标是解耦的：一个最大化部分覆盖率的评分器不一定能最大化忠实度，反之亦然。这造成了文献中的一个空白：即根据其中一个指标选择出的用于效率或可解释性的评分器，无法保证在另一个指标下的表现。

方法论：MIDAS 框架
为了量化这种解耦现象并对设计空间进行编目，作者引入了 MIDAS（mIoU-IDAUC Disagreement Across Supervision-targets，跨监督目标的 mIoU-IDAUC 不一致性）框架。该框架由四个部分组成：

三条件协议： 为确保可信度并排除参数量带来的混淆，实验在固定的 DeiT-S/16 骨干网络上比较了三种情况：
- CLS-attention 参考基准 (T0)： 使用原始 CLS 注意力的无训练基准。
- 无监督评分器： 仅在分类损失上训练的已学习 MLP 评分器（无辅助监督）。它作为“证伪者”；如果其表现优于参考基准，则增益源于参数而非监督。
- 有监督评分器： 使用双损失配方（ $L = L_{cls} + \lambda L_{ga}$ ）训练的已学习 MLP 评分器，其中 $L_{ga}$ 是针对特定监督目标的蒸馏损失。
六目标监督分类法： 该框架定义了一个包含六个监督目标（ $T0$ – $T5$ ）的封闭设计空间，涵盖两个维度（特征来源：注意力 vs. 隐藏状态；算子：原始 vs. 梯度调制）：
- $T0$ ：CLS-attention 代理。
- $T1$ ：注意力幅度。
- $T2$ ：损失梯度调制的注意力。
- $T3$ ：Chefer 的注意力-梯度乘积。
- $T4$ ：隐藏状态注意力加权梯度。
- $T5$ ：隐藏状态输入乘以梯度（ $h_i \cdot \partial y_c / \partial h_i$ ），作者将其识别为该现象的新型驱动因素。
解耦幅度标量 ( $D$ )： 一个量化给定 faithfulness 对等条件下，目标与 CLS-attention 参考基准之间有符号 mIoU 差距的指标。
$D(t) = \text{mIoU}_t - \text{mIoU}_{\text{ref}} \quad \text{条件为} \quad \text{IDAUC}_t - \text{IDAUC}_{\text{ref}} \ge -0.01$
该条件具有不对称性，以允许帕累托占优（Pareto-dominant）的情况（即两个指标均提升），同时拒绝那些以牺牲忠实度为代价换取 mIoU 提升的情况。
部署建议： 该框架将 $(D, \text{IDAUC})$ 的读数转化为在两种部署目标之间的选择：最大化部分覆盖率（语义对齐）或最大化忠实度（决策保持）。

关键结果
实验在三个 FGVC 基准（CUB-200-2011、FGVC-Aircraft、Stanford Cars）上进行，使用 DeiT-S/16 骨干网络，保留预算为 25%，评分器深度为 $L=6$ 。

解耦确认： 隐藏状态输入乘以梯度的目标（ $T5$ $T 5$ ）在保持忠实度处于种子噪声水平内的同时，显著优于 CLS-attention 参考基准（ $T0$ $T 0$ ）的部分覆盖率。
- FGVC-Aircraft： $T5$ 使 mIoU 提升了 6.22 个百分点 (pp)，而 IDAUC 变化微乎其微 (+0.003)。该单元进入了帕累托占优区域。
- CUB-200-2011： $T5$ 使 mIoU 提升了 2.11 pp，而 IDAUC 变化微乎其微 (+0.002)。
- Stanford Cars： $T5$ 使 mIoU 提升了 1.49 pp，尽管 IDAUC 的下降 (-0.011) 使其处于严格对等带之外，属于边界情况。
监督特异性： 注意力幅度目标（ $T1$ ）在所有数据集上均显著低于参考基准（例如在 Aircraft 上为 -9.15 pp），证明这种增益是针对隐藏状态梯度信号的特有属性，而非仅仅因为使用了学习头。
机制依赖性： 解耦是特定于阶段（regime）的。在中间深度（ $L \in \{3, 6\}$ ）和激进预算（ $b \le 25\%$ ）下最为显著。在更深层（ $L \in \{9, 11\}$ ）或更宽松预算（ $b \ge 50\%$ ）下，该效应消失或发生反转。
机制分析： 余弦相似度探测显示，隐藏状态梯度信号与注意力梯度信号产生的排名在机械结构上截然不同（余弦相似度 $\le 0.082$ ），证实了 mIoU 的分离并非标签伪影。
规模敏感性： 该现象在较小的 DeiT-Ti/16 上可以复现，但在较大的 AugReg ViT-B/16 上会发生反转，表明该发现受限于容量、预训练和分辨率受到控制的小型骨干网络。

意义与主张
本文提出了三个主要贡献：

现象发现： 它确立了在 ViT token 剪枝中，部分覆盖率和忠实度并不是可以互换的指标。针对其中一个指标优化的评分器并不保证在另一个指标上的性能。
测量工具 (MIDAS)： 它提供了一个通过标量 $D$ 量化这种不一致性的框架，以及一个用于在单一轴上比较监督目标的分类法，解决了先前文献中缺乏统一评估的问题。
可操作信号： 它确定了隐藏状态输入乘以梯度 ( $T5$ ) 是在不牺牲忠实度的前提下，驱动小型骨干网络实现高部分覆盖率的具体监督信号。

作者强调这是一个针对小型骨干网络的受控研究。他们并不声称在全规模系统中实现了最先进的精度提升，而是旨在隔离监督信号的影响。这项工作是一项方法论上的修正，敦促从业者在选择 token 剪枝评分器时，应明确声明其部署目标（覆盖率 vs. 忠实度），因为在测试的这些阶段中，不存在能同时使两者最大化的单一评分器。

技术摘要：ViT Token Pruning 中的部分覆盖率（Part-Coverage）与忠实度（Faithfulness）解耦

类似论文