💻 computer science

Elastic ViTs from Pretrained Models without Retraining

本文介绍了 SnapViT，一种无需重新训练、后预训练阶段的结构化剪枝方法，该方法利用梯度信息和进化算法来近似跨网络相关性，使预训练视觉 Transformer 能够在无需标注数据的情况下，在连续的计算预算范围内实现弹性推理。

原作者： Walter Simoncini, Michael Dorkenwald, Tijmen Blankevoort, Cees G. M. Snoek, Yuki M. Asano

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Walter Simoncini, Michael Dorkenwald, Tijmen Blankevoort, Cees G. M. Snoek, Yuki M. Asano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座庞大且极其聪明的图书馆（一个 Vision Transformer 或 “ViT”），它几乎能识别出图片中的任何事物。这座图书馆规模巨大，占据了一整栋建筑，并且需要一台巨大的、昂贵的发电机来驱动运行。

问题在于，大多数现实世界的设备（比如你的手机、无人机或智能摄像头）都很小，电池容量有限。它们无法容纳整个图书馆，也负担不起运行它的电费。

通常情况下，如果你想要一个更小的图书馆，你必须从头开始构建一个新的小型图书馆。但这篇文章的作者们提出了 SnapViT，他们说：“为什么要重新构建呢？让我们直接把这个大图书馆缩小到你需要的任何尺寸，而且完全不损失它的聪明才智。”

以下是他们实现这一目标的简单解释：

1. 问题所在：并非所有尺寸都适用

把这些 AI 模型想象成一套俄罗斯套娃（Matryoshka dolls）。通常，你只能得到几种特定的尺寸：小号、中号和大号。如果你的设备需要一个比“中号”稍小一点、但比“小号”大一点的模型，你就没辙了。你要么只能使用那个巨大且缓慢的模型，要么只能用一个微小且笨拙的模型。

2. 解决方案：“一瞬即成”任何尺寸

作者们创造了一种名为 SnapViT 的方法。它就像一把神奇的剪刀，可以让你在瞬间将大图书馆裁剪成你想要的任何尺寸（缩小 10%、缩小 50% 等）。

无需重新训练： 通常，如果你从一台机器上切掉一部分，它就会停止工作并需要进行数小时或数天的修复（重新训练）。而 SnapViT 在裁剪模型后，它能立即投入使用。无需修复。
无需标签： 大多数方法都需要一位“老师”来告诉它们哪些部分是重要的（比如向 AI 展示成千上万张猫和狗的照片）。SnapViT 是自学成才的；它仅仅通过观察数据本身的模式，就能弄清楚哪些部分值得保留。

3. 它是如何工作的：“智能剪刀”

为了知道该剪掉 AI 的哪些部分以及保留哪些部分，作者们使用了一个两步评分系统：

第一步：局部检查（“痛感”测试）
想象一下用棍子戳一下这个 AI。如果戳某个特定部分会让 AI 踉跄，那么这个部分就是重要的。如果它没有反应，那么这个部分可能就是无用的。他们使用一种“自监督”技巧（通过观察同一张图片的不同角度）来观察哪些部分的大脑对变化敏感。这给了他们一份基础的裁剪清单。
第二步：全局检查（“团队协作”测试）
这是最聪明的地方。有时候，一个部分看起来可能本身没用，但它实际上是另一个部分的关键队友。如果你剪掉了其中一个，另一个就会感到困惑。
为了找到这些隐藏的团队，他们使用了一种 遗传算法（可以理解为一个数字化的进化模拟器）。他们并没有计算每一个连接（那会耗费极长时间），而是模拟了“如果我们剪掉这个会怎样？”以及“如果我们剪掉那个会怎样？”的过程，在短短几分钟内进行了数千次模拟。他们由此进化出了一张描述不同部分如何相互依赖的地图。

4. 结果：弹性推理

一旦有了这张地图，他们就可以生成一系列“连续型”的模型。

需要一个用于超高速无人机的模型？SnapViT 会给你一个微缩版本。
需要一个用于强大服务器的模型？SnapViT 会给你一个更大的版本。
需要介于两者之间的？SnapViT 同样可以满足你。

他们在几个著名的 AI 模型（如 DINO 和 SigLIPv2）上进行了测试。他们发现，即使将模型裁剪掉 40%（使其体积几乎减半），它依然能保持与原版几乎相当的水平，准确率几乎没有损失。

5. 为什么它很快

作者声称，他们可以在单个强大的计算芯片（A100 GPU）上，在 不到五分钟 的时间内完成整个过程。与那些可能需要耗费数天时间的其他方法相比，这简直快得惊人。

总结类比

想象你有一本长达 100 页的房屋建造说明书。

旧方法： 如果你只有时间看 50 页，你必须从头开始重写整本手册，才能做出一个逻辑依然通顺的 50 页版本。
SnapViT 方法： 你可以瞬间高亮出最重要的 50 页，然后把剩下的部分撕掉。剩下的 50 页依然能完美地告诉你如何建造这座房子，而且你只用了五分钟，甚至不需要请新的建筑师。

这种方法允许任何人提取一个庞大、强大的 AI，并将其瞬间缩小以适应特定的需求，从而在无需重新训练 AI 或需要老师指导的情况下，节省时间、金钱和能源。

技术摘要：SnapViT —— 无需重训的预训练模型弹性视觉 Transformer

问题陈述

视觉基础模型已在多种任务中取得了最先进的性能，但通常以有限的预定尺寸集（例如 DINOv3 或 DeIT 系列中的特定参数量）发布。这种僵化性迫使从业者在面临现实世界的计算、延迟和成本约束时，不得不做出次优的部署选择。现有的模型灵活性解决方案面临显著局限：

知识蒸馏（Knowledge Distillation）： 需要预定的目标架构，且通常依赖于非公开的预训练数据集，从而削弱了鲁棒性。
弹性推理（Elastic Inference）： 如 Matryoshka 表示法或可缩放网络（Slimmable Networks）等方法，要求模型在预训练期间就设计好特定的嵌套结构，这使得它们无法应用于现有的、现成的预训练模型。
结构化剪枝（Structured Pruning）： 虽然在减少内存和计算方面有效，但目前大多数剪枝技术是针对特定任务或约束量身定制的，且通常需要重训，这导致在通用的、无需标签数据或分类头的可适配模型方面存在空白。

方法论：SnapViT

作者提出了 SnapViT（用于剪枝视觉 Transformer 的单次网络近似法），这是一种后预训练（post-pretraining）结构化剪枝方法，能够从单个预训练模型中生成一个连续的弹性子网络，而无需重训或标签数据。该方法的核心是一个可剪枝评分（prunability score, $P$ ），它根据两个组成部分对待移除的参数进行排序：

1. 局部 Hessian 近似（自监督梯度）

为了在没有分类头的情况下捕捉局部参数敏感性，该方法使用自监督梯度来近似 Hessian 矩阵的对角线。具体而言，它采用 DINO 目标函数 在图像数据集上计算梯度。局部曲率 $H^{(l)}$ 被估计为梯度的平均平方范数：
$H^{(l)} \approx \frac{1}{N_D} \sum_{i=1}^{N_D} \|\nabla_\theta L_i\|^2$
这提供了一个衡量特定模块（例如前馈神经元或注意力头）内单个参数关键程度的基础度量。

2. 全局 Hessian 估计（进化算法）

为了解决忽略块间依赖关系（非对角 Hessian 元素）的局限性，SnapViT 引入了一种使用 指数自然进化策略（xNES） 的创新近似方法。

xNES 不直接计算难以处理的全 Hessian 矩阵，而是学习一组用于重新加权局部敏感性的结构级缩放因子（ $c$ ）。
该算法在这些缩放因子之上优化一个多元高斯分布。其适应度函数是无标签的，通过测量原始模型与剪枝模型（经 PCA 压缩后）嵌入之间的余弦相似度来进行评估。
通过自然梯度更新，进化策略的协方差矩阵 ( $\Sigma$ ) 会演化以近似真实的反向 Hessian 矩阵（ $H^{(g)} \approx \alpha \Sigma^{-1}$ ）。这使得该方法能够识别哪些块可以共同剪枝而不降低表示质量。

3. 统一的可剪枝评分与弹性生成

最终的可剪枝评分是局部敏感性与全局缩放因子的逐元素积：
$P = \text{diag}(H^{(l)}) \odot (M c)$
其中 $M$ 是将块级因子扩展到单个参数的成员矩阵。

单次生成（Single-Shot Generation）： 一旦计算出 $P$ ，所有参数将被进行全局排序。仅凭此单一排序即可提取出适用于任何期望稀疏度（ $S \in [0, 1]$ ）的子网络，而无需进一步优化。
范围： 该方法既剪枝前馈块内的行-列组合，也剪枝整个注意力头。

核心贡献

弹性剪枝策略： 一种高效、快速的预训练视觉 Transformer 剪枝策略，可生成可适应任何计算约束的弹性模型，且无需重训。
进化 Hessian 近似： 一种利用遗传算法（xNES）近似网络结构的非对角分量的创新策略，捕捉了传统对角近似所忽略的跨块相关性。
无标签、与头部无关的性能： 该方法在显著剪枝的情况下仍能保持最先进的性能，且不需要标签数据或分类头，能够泛化至监督和自监督基础模型。

实验结果

作者在八个数据集（包括 ImageNet-1k、Pascal VOC 及各种细粒度基准测试）上通过 k-最近邻（k-NN）分类、线性探测（linear probing）和线性语义分割对 SnapViT 进行了评估。

性能对比 SOTA： SnapViT 在各种稀疏度水平下始终能达到或超越最先进的方法（如 LAMP、LLM Surgeon、FPTP、SparseGPT、SNIP Magnitude、NViT）。
- 对于 DINOv1 ViT-B/16，该方法在剪枝至 40% 稀疏度 时，准确率下降不到 5%，实现了 1.58 倍 的推理加速。
- 在监督式 AugReg 模型上，在 50% 稀疏度 下，其在线性分类任务上的表现优于 SNIP 7% 和 FPTP 12.3%。
- 对于 SigLIPv2 和 DINOv3（大规模基础模型），该方法显著优于基准方法，在线性分类方面较第二名提升高达 34.3%。
效率： 为一个模型家族（例如 DeIT-III）进行的整个剪枝过程在单张 A100 GPU 上耗时不到五分钟。
后处理： 该方法与后剪枝权重修正（SparseGPT 式）及全量微调兼容。通过单步权重修正，可以在极高稀疏度（例如 SigLIPv2 在 50% 稀疏度下）下基本保持性能。
可扩展性： 虽然大规模预训练（如 DINOv3、SigLIPv2）由于分布式表示知识的存在使得剪枝更具挑战性，但 SnapViT 仍然有效，尤其是在结合权重修正或更长的优化周期（500 次 xNES 迭代）时。

意义与主张

本文声称 SnapViT 弥合了当前基础模型部署的僵化性与灵活、资源自适应推理需求之间的鸿沟。通过实现从单个预训练模型中单次提取连续子网络，它允许用户根据特定的计算预算精确定制最先进的模型。

作者强调，其方法：

消除了重训的需求，节省了大量的计算资源和时间。
移除了对标签数据的依赖，使其适用于缺乏分类头的自监督基础模型。
通过进化近似捕捉全局结构相关性，克服了仅基于局部剪枝指标的局限性。
降低了环境影响，通过降低视觉 Transformer 的计算需求和功耗，潜在地减少了推理过程中的二氧化碳排放。

这项工作被视为在受限环境中部署大规模视觉模型并保持高性能的实用解决方案。