💻 computer science

Video Patch Pruning: Efficient Video Instance Segmentation via Early Token Reduction

本文提出了一种名为视频补丁剪枝（VPP）的新框架，通过利用深层特征的先验知识构建全可微时间映射模块，实现了视频实例分割任务中早期 ViT 层的高效稀疏化，在将补丁减少量提升至 60% 的同时，在 YouTube-VIS 2021 数据集上仅造成 0.6% 的性能下降。

原作者： Patrick Glandorf, Thomas Norrenbrock, Bodo Rosenhahn

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Patrick Glandorf, Thomas Norrenbrock, Bodo Rosenhahn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为**VPP（视频补丁剪枝）**的新技术，它的目的是让电脑在处理视频时变得更“聪明”、更“省力”，同时还能看得很准。

为了让你更容易理解，我们可以把整个过程想象成**“在繁忙的火车站指挥交通”**。

1. 背景：为什么现在的系统太累了？

想象一下，现在的视频处理模型（比如 Vision Transformers）就像是一个极其勤奋但有点死板的火车站站长。

传统做法：不管火车（视频帧）里是载着重要乘客（前景物体，如人、车）还是空车厢（背景，如天空、墙壁），站长都要把每一节车厢都仔细检查一遍，甚至把每一节车厢里的每一个座位都数一遍。
问题：这非常消耗体力（计算资源），导致站长累得气喘吁吁，反应变慢，甚至无法在小型设备（如手机、自动驾驶汽车）上运行。

2. 以前的尝试：只剪“后半程”

以前的技术（图像剪枝）就像是一个只在列车快出站时才做决定的站长。

他会让列车头（视频的前几层处理）保持完整，把所有车厢都拉进来。
等到列车跑了一半，进入深层处理时，他才开始说：“哦，后面那些空车厢可以扔掉。”
缺点：虽然扔掉了一些，但因为车头已经拉了太多没用的东西，整体效率提升有限。这就好比你在进大门前没检查，非要把人拉进大厅再一个个赶出去，太浪费力气了。

3. 本文的突破：VPP（视频补丁剪枝）

这篇论文提出的 VPP 就像是一位拥有“预知能力”和“记忆”的超级站长。

核心创意一：利用“记忆”提前筛选

VPP 不再只看当前这一帧画面，它会参考上一帧的画面（就像站长看着上一班车的记录）。

比喻：如果上一帧里，那个穿红衣服的人（前景）在左边，VPP 就知道这一帧里，左边大概率还是那个穿红衣服的人。
操作：它利用这种“时间上的记忆”，在列车刚进站（网络的最浅层）时，就立刻把那些肯定是“空车厢”（背景）的部分剪掉，只保留重要乘客。
结果：它能在视频处理的最早期就扔掉高达 40% 的无用数据，而以前的方法只能扔掉 30% 左右。

核心创意二：给“新乘客”留个后门

你可能会问：“如果突然来了个新乘客怎么办？直接剪掉不就漏了吗？”

VPP 的妙招：它非常聪明，虽然它主要剪掉背景，但它会故意保留一点点“随机性”（就像在车站随机留几个空位）。
比喻：它不会把背景剪得干干净净，而是留一点点“缝隙”。这样，如果突然有个新的人跑进画面，这些预留的缝隙就能立刻捕捉到他，不会漏掉。

4. 为什么这很重要？（实际效果）

更省力：VPP 让模型只处理原来 40%~60% 的数据量，就像让站长只检查一半的车厢，速度飞快。
更精准：实验证明，即使只检查这么少，它识别物体（如人、车）的准确度几乎没有下降（只掉了 0.6% 的分数，几乎可以忽略不计）。
适应性强：即使场景突然切换（比如从白天突然变黑夜，或者镜头突然转到新地方），VPP 只需要一帧的时间就能重新调整，迅速锁定新的目标。

5. 总结

简单来说，这篇论文发明了一种**“会看前情提要”**的视频处理技术。

以前：不管三七二十一，先把所有东西都拉进来，再慢慢挑。
现在 (VPP)：看一眼上一秒发生了什么，直接告诉系统：“这一秒里，只有这些是重要的，其他的直接忽略！”

这让视频分析技术（比如自动驾驶看路、医疗影像分析）变得更快、更省电，让原本只能在超级计算机上运行的技术，现在也能在普通的设备上流畅运行了。

这是一份关于论文《Video Patch Pruning: Efficient Video Instance Segmentation via Early Token Reduction》（视频补丁剪枝：通过早期 Token 减少实现高效视频实例分割）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：视频实例分割（VIS）任务需要同时完成检测、分割和跟踪，计算成本极高，难以在边缘设备上实现低延迟部署。Vision Transformer (ViT) 虽然性能优异，但其自注意力机制的计算复杂度随补丁（Patch）数量呈二次方增长，导致内存和计算需求巨大。
现有方法的局限性：
- 剪枝时机滞后：现有的补丁剪枝方法（如 DynamicViT, SViT 等）通常仅在网络的深层（Deep Layers）进行剪枝，而保留早期层（Early Layers）为全稠密（Dense）状态。
- 前景选择性不足：作者通过实验发现，ViT 的早期层缺乏“前景选择性”（Foreground Selectivity），即早期特征难以准确区分前景物体和背景。如果在早期层直接基于当前帧特征进行剪枝，会导致随机剪除重要物体信息，从而破坏实例分割性能。
- 图像式剪枝的缺陷：传统方法将每一帧视为独立实体处理，忽略了视频的时间上下文信息，无法在早期阶段有效利用时间先验知识来指导剪枝。

2. 方法论 (Methodology)

作者提出了视频补丁剪枝（Video Patch Pruning, VPP）框架，旨在利用视频的时间上下文信息，在网络的早期阶段实现高效的稀疏化。

核心组件：映射选择模块 (Mapping-Selective Module, Map-SM)

为了解决早期层前景选择性差的问题，VPP 引入了一个完全可微的模块，利用上一帧的高层特征来指导当前帧的早期剪枝。

时间先验映射：
- 利用上一帧（ $t-1$ ）经过深层处理（如第 6 层）后的高层特征 $x_6^{t-1}$ ，这些特征具有极强的前景选择性。
- 通过计算当前帧浅层特征 $x_1^t$ 与上一帧深层特征 $x_6^{t-1}$ 之间的相似度，构建关联矩阵 $A$ 。
- 使用 Gumbel-Softmax 函数将离散的掩码选择过程转化为可微分操作，允许端到端训练。
稀疏背景激活：
- 为了防止完全移除背景导致新物体实例无法被检测，Map-SM 引入受温度参数 $\tau$ 控制的 Gumbel 噪声，稀疏地激活背景补丁。这确保了即使背景被大幅剪枝，新出现的物体也能被覆盖。
多阶段剪枝策略：
- 第 1 层后：应用 Map-SM，利用时间先验移除约 40% 的背景补丁。
- 第 3、6、9 层后：应用标准的 Selective Module (SM)，基于当前帧特征进一步减少计算量。
- 动态掩码缩放：VPP 能够根据物体大小动态调整掩码尺寸，大物体保留更多补丁，小物体使用更稀疏的特征，从而优化资源分配。

3. 关键贡献 (Key Contributions)

提出了 VPP 框架：这是首个针对视频实例分割的在线早期剪枝方法。它打破了传统图像式剪枝必须在深层进行的限制，实现了高达 60% 的补丁减少率（平均保留率低至 40%），同时保持性能损失极小。
揭示了“前景选择性”规律：通过消融实验证明，ViT 早期层（0-3 层）无法准确识别前景，直接剪枝会导致随机掩码。VPP 通过引入时间上下文（上一帧的高层特征）解决了这一根本问题。
去除了对分类 Token 的依赖：不同于依赖分类 Token 指导剪枝的方法，VPP 直接优化空间特征掩码，使其更适用于密集预测任务（如分割）。
显著的性能提升：在 Youtube-VIS 数据集上，VPP 在大幅降低计算量的同时，其分割和跟踪精度优于所有现有的 SOTA 剪枝方法（如 SViT, DynamicViT）。

4. 实验结果 (Results)

实验在 Youtube-VIS 2019/2021 数据集上进行，基座模型为 ViT-Adapter。

精度与稀疏度平衡：
- 在 55% 补丁保留率 (PKR) 下，VPP 在 Youtube-VIS 2021 上的 AP 仅为 0.6% 的下降（相比稠密模型），而现有的 SViT 方法在同等稀疏度下 AP 下降约 3.5%。
- 在 40% PKR 的极高稀疏度下，VPP 仍能保持 1.9% 的 AP 损失，而 SViT 损失高达 5.5%。
- 有趣的是，在 Tiny 模型上，VPP 甚至以 52.7% 的补丁使用率实现了比稠密基线 +0.1% 的 AP 提升。
前景保留能力 (IoI)：
- 使用 Intersection over Instance (IoI) 指标衡量前景保留情况。在 55% PKR 下，VPP 的 IoI 达到 82.3%，比 SViT (73.7%) 高出 8.6%。
- 对于小目标（<10% 图像面积），VPP 的 IoI 高达 87.3%，证明其对小目标的敏感性更强。
计算效率：
- FLOPs 降低：从 88.0 G 降至 59.9 G。
- 推理速度提升：骨干网络吞吐量从 17.14 FPS 提升至 25.94 FPS；完整模型从 6.58 FPS 提升至 8.13 FPS。
动态场景适应性：
- 在场景切换（Scene Switch）实验中，VPP 仅需 1 个中间帧 即可重新对齐并准确捕捉前景物体，展现了强大的动态适应能力。

5. 意义与总结 (Significance)

突破效率瓶颈：VPP 证明了通过利用视频的时间上下文，可以在网络早期阶段安全地移除大量冗余背景信息。这将 ViT 在视频任务中的计算效率提升到了前所未有的水平（平均补丁减少 60%）。
重新定义剪枝范式：该工作挑战了“早期层必须稠密”的传统认知，提出了一种基于时间先验的早期剪枝新范式，为资源受限设备上的实时视频分析提供了可行的解决方案。
通用性潜力：虽然主要针对视频实例分割，但其利用时间先验进行早期特征选择的思想，对于其他视频理解任务（如动作识别、视频检测）也具有广泛的借鉴意义。

总结：VPP 通过引入时间映射模块，成功解决了 ViT 早期层前景选择性不足的问题，实现了在保持高精度的同时大幅降低计算成本，是视频实例分割领域的一项突破性进展。