⚡ electrical engineering

Vertical Fusion: Condensing Internal Representations for Robust ViT Classification

本文介绍了 VFusion，一种通过聚合视觉 Transformer 内部的中间表示来恢复被误分类样本，并显著提升鲁棒性与准确性的方法，为传统的水平集成方法提供了一种高效的替代方案。

原作者： Francesco Di Salvo, Shyam Nandan Rai, Hamed Damirchi, Ignacio Meza De la Jara, Sebastian Doerrich, Marco Lents, Christian Ledig

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Francesco Di Salvo, Shyam Nandan Rai, Hamed Damirchi, Ignacio Meza De la Jara, Sebastian Doerrich, Marco Lents, Christian Ledig

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人大脑，叫做视觉 Transformer (ViT)。它就像一座巨大的、多层结构的图书馆，每一层（或称“层”）都在阅读一张图片并写下一份关于它所见内容的简短报告。通常情况下，当我们要求这个机器人识别一只猫或一辆车时，我们只听取最顶层编写的报告。我们将所有下层视为一个“黑盒”，忽略了它们写的笔记。

但如果顶层搞错了怎么办？如果下面的楼层其实早就知道答案了呢？

这就是这篇论文试图回答的大问题。研究人员发现，机器人的“中间层”非常有帮助。事实上，他们发现，在顶层出错的情况下，有 18% 到 76% 的概率，其中一个较低的楼层其实是判断正确的！他们把这种现象称为**“可恢复性”（recoverability）**。这就像拥有一支侦探团队，首席侦探（顶层）有时会漏掉线索，但初级侦探（中间层）已经在笔记本上记下了答案。

一个巨大的误解：这并非关于“分歧”

你可能会想：“哦，所以这些层之间是在互相争论吗？这就是它们为什么优秀的原因？”论文给出的回答是：不，事实并非如此。

通常，当我们结合不同的意见（比如在小组项目中）时，我们希望每个人都有不同的视角。但在这种情况下，各层之间并没有产生分歧。相反，它们都在观察同一个“真相”，只是观察到的噪声程度略有不同。论文表明，这些层的作用更像是冗余且稳定的探测器（redundant, stable probes）。它们都在试图告诉你同样的事情，只是有些层比其他的更清晰一些。其魔力不在于它们的冲突，而在于它们都在共同拼凑同一块拼图。

解决方案：VFusion（“垂直搅拌机”）

既然顶层并不完美，而底层又被忽视了，作者们开发了一个名为 VFusion 的新工具。

把 VFusion 想象成一个智能搅拌机，它不仅仅是接收顶层的报告。相反，它会抓取来自每一层（或经过智能筛选的层）的笔记，将它们混合在一起，并使用一种特殊的过滤器来挤出“噪声”，只保留清晰且共享的信号。它创造出了一个超密集的“全局 Token”，结合了所有层的精华。

结果非常惊人：

VFusion 平均比表现最好的单层模型高出约 1.9%。
它填补了最佳单层与“理论上的先知”（即只要任何一层答对就能得分的完美分数）之间 45% 的差距。
当图像具有挑战性时（例如区分不同品种的汽车或鸟类的细粒度细节），或者当图像模糊或扭曲时，它的表现甚至更好。

他们排除了哪些可能性

论文非常明确地指出了哪些方法不如 VFusion 有效：

仅仅挑选“最好”的那一层： 你不能仅仅靠猜测哪一层最聪明，然后只使用那一个。
简单的平均法： 仅仅对所有层的预测进行简单平均（就像简单的投票）效果并不如 VFusion 的智能混合。
水平集成（Horizontal Ensembles）： 论文指出，虽然你可以训练 10 个不同的机器人并让它们投票（一种“水平”团队协作），但这非常昂贵且缓慢。VFusion 通过观察单个机器人内部（一种“垂直”方法）就能获得相似甚至更好的结果。这在医学影像等领域意义重大，因为在这些领域，你可能只有一个预训练好的模型可用。

他们的结论有多可靠？

作者并非凭空猜测；他们在 16 个不同的数据集（从简单的数字到复杂的花卉和汽车）以及 5 个具有挑战性的“分布外”（out-of-distribution）偏移数据集（即图像看起来与机器人训练时的图像不同）上进行了测试。

他们测量出中间层可以恢复 18% 到 76% 的错误。
他们证明了 VFusion 在不同模型规模（小、基础、大）和不同训练风格（监督学习、自监督学习、CLIP）下都能持续表现出色。
他们甚至检查了它在“细粒度”任务（如区分 100 种不同类型的鸟类）中的表现，并发现 VFusion 在这些困难的数据集上表现卓越，准确率提升高达 7.2%。

核心启示

论文表明，我们一直忽略了 AI 模型内部的一座信息金矿。通过使用 VFusion，我们可以将一个单一的、冻结的机器人大脑变成一个超精确的分类器，而无需训练一整支新的机器人军队。这是一种轻量级、高效的方法，可以榨取我们现有层级中的每一滴智能。

而且最棒的是什么？这不仅仅是一个理论。代码已经公开，且结果在不同类型的图像和不同规模的模型中都经受住了考验。事实证明，整个图书馆比仅仅顶层的图书管理员要聪明得多。

技术摘要：用于鲁棒 ViT 分类的垂直融合 (VFusion)

1. 问题陈述

视觉 Transformer (ViT) 已在计算机视觉领域取得了最先进的性能，然而，它们主要被作为黑盒特征提取器部署，仅利用最后一层的表示进行下游任务。这种惯例依赖于一个隐含假设，即最后一层能够最优地浓缩所有与任务相关的信息。然而，最近的观察表明，中间层往往编码着互补的信息，特别是在应对分布偏移（distribution shifts）和样本难度方面。

目前的集成策略（水平集成）通过结合多个独立模型的预测来提高性能，但这类方法计算成本高昂，且忽略了单个模型内部层级所提供的“垂直”信号。此外，虽然卷积神经网络 (CNN) 的中间层在纠正错误方面已展现出效用，但由于 ViT 架构具有更均匀的表示轮廓和高度冗余性，其在 ViT 中的应用研究尚不充分。本文探讨的核心问题是：中间 ViT 层是否包含可恢复的信号，能够纠正最后一层的失效？如果是，如何有效地聚合这些信号，而不依赖于层与层之间的预测多样性（分歧）？

2. 方法论

2.1 可恢复性分析

作者首先量化了中间层的可恢复性 (recoverability)，将其定义为中间层探针正确分类那些被最后一层探针误分类样本的能力。在 16 个不同的数据集上，他们发现中间层探针可以恢复 18% 到 76% 的最后一层错误。

至关重要的是，分析表明这种增益并非由预测多样性（即各层产生不同类型的错误）驱动。相反，它源于一种冗余-正确性对应关系 (redundancy-correctness correspondence)：内部层充当了对共享判别信号的稳定、轻微扰动的探测。高可恢复性与高“纠错熵”（纠错能力在深度方向上的分布）相关，而与几何分歧（误分类样本逻辑值之间的余弦距离）负相关。这意味着各层之间是相关的而非完全相同的，它们提供了一个冗余但具有信息量的决策边界痕迹。

2.2 VFusion 架构

为了利用这种冗余性，作者提出了 VFusion，这是一种垂直聚合策略，旨在将 ViT 内部层级中的特征合成一个鲁棒的全局 Token。该框架由三个部分组成：

层选择 (Layer Selection)： 从冻结的骨干网络中选择一个子集 $S$ 。策略包括整体式（所有层）、后半部分和步长式。作者推荐使用整体式策略以保留完整的信息痕迹。
层融合 (Layer Fusion)： 将选定的层表示（具体为 [CLS] token）拼接成一个向量 $v$ 。一个可学习的融合编码器 $E$ （多层感知机）将这个高维向量映射到低维潜空间 $z$ 。该编码器充当噪声抑制滤波器，丢弃任务无关的残差 ( $r^{(\ell)}$ )，以分离出共享的任务相关信号 ( $s^{(\ell)}$ )。
监督训练 (Supervised Training)： 融合编码器和轻量级分类头在冻结的骨干网络上进行联合训练。训练目标结合了标准交叉熵损失 ( $L_{CE}$ ) 和正交化正则项 ( $L_{orth}$ )。该正则项惩罚潜空间维度中的线性依赖，从而鼓励模型学习融合表示中互补且去相关（decorrelated）的成分。

3. 核心贡献

量化可恢复性： 本文引入并测量了 ViT 中可恢复性的概念，证明了中间层可以在 16 个数据集上纠正 18% 至 76% 的最后一层误分类。
机制识别： 实验证实，纠错信号源于冗余-正确性对应关系（稳定、共享的信号），而非预测多样性，这挑战了“集成增益需要模型间存在独立分歧”的假设。
提出 VFusion： 一种轻量级、原则性的垂直聚合方法，它将内部层级特征合成一个单一的全局 Token，在领域内 (ID) 和分布外 (OOD) 设置下均优于已有的聚合基准（如 Super Learner、Neural Logit Controller、Mixture of Experts）。
泛化性与效率： 该方法在不同模型规模（ViT-S, B, L）、不同骨干网络家族（监督式 IN21k、自监督式 DINOv2、多模态 CLIP）以及预训练范式下均具有泛化能力。与水平集成相比，它以极低的计算开销实现了这些增益。
经验性指南： 研究提供了层选择的指导原则，表明整体式（连续）层选择效果最好，而步长式采样效果较差。

4. 实验结果

分布内性能： 在 16 个分类基准测试中，VFusion 达到了 91.4% 的平均准确率，比表现最好的单层探针高出 1.9%，比最强的基准方法 (Super Learner) 高出 1.7%。值得注意的是，VFusion 填补了最佳单层与理论最优 Oracle（即只要任一层预测正确即视为正确）之间 45% 的准确率差距。
分布外鲁棒性： 在协变量和子群体偏移（5 个数据集）下，VFusion 达到了最高的平均准确率 (84.6%)，在 C-100C 和 IN-200C 等细粒度任务上，比表现最好的单层高出多达 1.3%。
消融实验：
- 层选择： 整体式选择表现最好；限制在后半部分会导致轻微下降 (0.3%)，而步长式选择会导致较大的下降 (0.9%)。
- 骨干网络泛化： 增益在 ViT-S, B, L 规模以及不同的预训练范式下是一致的。在自监督 (DINOv2) 和多模态 (CLIP) 骨干网络上观察到的改进最为显著。
- 水平 vs. 垂直： 虽然跨不同骨干网络的水平融合 (HFusion) 取得了绝对最佳的结果，但 VFusion（单个骨干网络内的垂直融合）仍然具有竞争力，在平均水平上比 Super Learner 等逻辑值级聚合方法高出 0.5%。

5. 意义与主张

本文主张，ViT 中的潜在冗余是一种有益的资产，而非局限。通过将内部层级视为一系列稳定、冗余的探测器，VFusion 有效地压缩了这些信息，形成一个全局 Token，其预测能力通常超过任何单层。

作者强调，VFusion 提供了一种鲁棒且高效的替代方案，用于取代水平集成方法。与水平集成需要访问多个多样化的预训练模型（这在医疗影像等专业领域往往难以实现）并产生高昂计算成本不同，VFusion 在单个冻结的骨干网络内运行。它提供了一种原则性的方法，无需改变架构或对骨干网络进行大规模微调，即可最大限度地利用现成的预训练模型。

研究结论认为，单个 ViT 内部的“垂直信号”是实质性的，通过特征级压缩来聚合这些表示，是比简单的层选择或逻辑值平均更优的策略，尤其是在处理细粒度和退化图像任务时。