💬 NLP

Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning

Nüwa 是一个两阶段令牌剪枝框架，它通过结合受群智启发（swarm intelligence-inspired）的全局空间锚点保留与文本引导的任务相关性过滤，解决了现有视觉语言模型中的空间退化问题，从而在视觉问答和视觉定位任务上均实现了最先进的性能。

原作者： Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Nüwa：修复被 VLM Token 剪枝破坏的空间完整性》的解释，使用了简单的语言和富有创意的类比。

大问题：“模糊的地图”

想象一下，视觉语言模型（VLM）就像是一个非常聪明的侦探，正试图根据一张照片和一个问题来破解谜案。为了做到这一点，侦探将照片分解成数百个微小的拼图碎片（称为 token）。

然而，观察每一个碎片既慢又累。为了提高速度，之前的方法尝试丢弃那些“无聊”的碎片，只保留最有意思的部分。这被称为 Token 剪枝（Token Pruning）。

症结所在：
虽然这种加速方法对于处理通用问题（如“这张图片里发生了什么？”这类视觉问答任务）效果很好，但在侦探必须指出特定位置时（如“红色的杯子在哪里？”这类视觉定位任务），它却表现得一塌糊涂。

为什么？
论文指出，之前的方法就像是一张被人撕掉了边缘和中心的地图，只剩下了几个随机的点。侦探仍然知道物体是什么，但他们失去了全局地图。他们忘记了相对于彼此而言，哪里是上、下、左、右。由于失去了这种“空间完整性”，他们无法进行精确的指向。

解决方案：女娲（创造女神）

作者提出了一种名为 Nüwa（女娲） 的新方法。在中国神话中，女娲修补了天空。在这里，女娲修补了照片中“破碎”的地图。

该方法通过两个阶段运行，就像一个两步过滤的过程：

第一阶段：“集群”策略（在视觉编码器中）

Nüwa 不仅仅是随机挑选“最好”的碎片，而是使用了一种受鸟群（或蜂群）启发策略。

分离（Separation）： 想象照片是一个巨大的网格。Nüwa 将这个网格划分为一个个整齐的小型“邻里”（就像城市街区）。这确保了图像的每个部分都被代表。
对齐（Alignment，选择领导者）： 在每个邻里中，Nüwa 会选出一个“领导者”token。它不只是选出声音最大的那个，而是选出一个既重要又包含大量信息的 token。
聚合（Aggregation，聚拢）： 该邻里的其他碎片会围绕着他们的“领导者”聚集。它们将信息合并到领导者中，但同时保留了各自原始的“地址”（位置）信息。

类比： 想想一个教室。老师并没有为了节省时间而扔掉一半的学生，而是按课桌簇将他们分组。每个小组选出一名“班长”来总结整个小组的发言。至关重要的是，老师保留了一份每个小组坐席位置的清单，因此教室的地图依然是完整的。

第二阶段：“文本引导”（在 LLM 中）

一旦照片碎片被压缩，它们就会被传递给模型的“大脑”（大语言模型）。

在这里，Nüwa 使用文本问题作为引导。如果问题是“猫在哪里？”，模型会观察压缩后的照片碎片，并询问：“这些碎片中，哪些看起来像猫？”它会剪掉那些与文本不匹配的碎片，只保留与最终答案相关的部分。

为什么有效（“顿悟”时刻）

论文发现，之前的方法破坏了全局空间参考系。

旧方法： 如果你切掉了地图的中间，你就失去了“北”和“南”的概念。
Nüwa 方法： 它保留了地图的“骨架”。即使它减少了近 90% 的碎片数量，它仍能确保剩余的碎片准确知道自己在整个图像中的相对位置。

结果：快速且准确

论文在两类任务上测试了 Nüwa：

通用问题 (VQA)： “那个人正在做什么？”
- 结果： Nüwa 在使用更少 token 的情况下保持了 95% 的准确率。它和慢速版本一样聪明。
指向任务 (Visual Grounding)： “在人周围画一个框。”
- 结果： 这是 Nüwa 脱颖而出的地方。之前的方法在这些任务上的准确率几乎降至零。Nüwa 则维持了 47% 到 75% 的原始准确率（相比之下，其他方法的准确率仅为 7% 到 18%，这是一个巨大的提升）。

总结

把 Nüwa 想象成一个智能照片编辑师。

旧编辑师只会通过删除随机像素来减小文件体积，从而破坏了寻找特定对象的能力。
Nüwa 将像素组织成邻里，为每个邻里挑选一个代表，并完整记录每个邻里的位置。这使得 AI 既能超快（因为要处理的碎片变少了），又能超精准（因为它从未丢失地图）。

论文得出结论，通过修复“空间完整性”（即地图），我们可以让这些 AI 模型变得既快又擅长指向物体，而无需从头开始重新训练它们。

技术摘要：Nüwa：修复被 VLM Token 剪枝撕裂的空间完整性

1. 问题陈述

视觉语言模型（VLM）在推理过程中会生成大量的视觉 Token，导致高计算开销和低吞吐量。虽然Token 剪枝已成为一种有效的加速技术，但现有方法存在一个关键局限性：它们在视觉问答（VQA）任务上表现良好，但在**视觉定位（Visual Grounding, VG）**任务中会出现显著的性能退化。

作者指出，目前的剪枝策略依赖于全局语义相似度或注意力分数，这破坏了全局空间参考框架（Global Spatial Reference Frame）。该参考框架源自 Token 的位置信息，对于空间推理和物体定位至关重要。当剪枝方法在压缩或丢弃 Token 时未能保留这种空间拓扑结构时，模型即使能保留对图像内容的通用问答能力，也会失去在图像内精确定位物体的能力。

2. 方法论：Nüwa 框架

为了解决空间完整性的丧失问题，作者提出了 Nüwa，一个两阶段、具备空间感知能力的 Token 剪枝框架。该方法旨在保留全局空间锚点，同时聚合冗余信息，随后进行文本引导的精细化处理。

第一阶段：空间凝聚剪枝（视觉编码器）

该阶段紧随视觉编码器之后运行，通过三个受群集智能（特别是 Boids 算法）启发的步骤，将初始的 $N^2$ 个视觉 Token 减少为密集的、保持空间的序列：

分离（Separation）： 将输入的 Token 网格划分为不重叠的局部区域（ $M \times M$ ）。这确保了后续的选择和聚合是在区域层面进行的，从而维持了一个完整的全局坐标系。
对齐（Alignment/显著性识别）： 在每个区域内，选择具有代表性的“基准（benchmark）”Token 作为聚合中心。选择标准结合了：
- 全局注意力（Global Attention）： 来自 [CLS] Token 的分数。
- 信息容量（Information Capacity）： Token 键向量的 L2 范数（ $\|k_i\|^2$ ）。
- 原理： 高范数 Token 在视觉 Transformer 中通常充当“寄存器”（与任务无关的锚点）。该方法通过识别具有最高显著性分数的 Token 来构建基准 Token 集（ $T_B$ ）。
聚合（Aggregation/空间邻近性）： 将相邻 Token 的特征合并到基准集中。
- 角色分配： $T_B$ 中的 Token 被分类为支柱 Token（Pillar Tokens）（高 L2 范数，前四分位数）或收集器 Token（Collector Tokens）。支柱 Token 保留其原始特征以防止特征分布偏移，而收集器 Token 则聚合邻居的特征。
- 加权聚合： 使用语义相似度（仅限正相关）和空间邻近性（阈值内的欧几里得距离）构建权重矩阵。这确保了聚合在局部发生，从而保留以物体为中心的表示，并防止合并空间上相距较远的 Token。

第二阶段：文本调制剪枝（LLM）

在多模态特征对齐后，聚合后的视觉 Token 被输入到大语言模型（LLM）中。在 LLM 的中间层进行第二阶段剪枝：

通过对文本 Token 嵌入取平均值，得到一个整体的文本查询向量。
视觉 Token 根据它们在共享嵌入空间中与该查询向量的余弦相似度进行评分。
仅保留前 $K$ 个最相关的视觉 Token 用于后续的推理和响应生成。这确保了最终的 Token 集既具有空间连贯性（来自第一阶段），又具有任务相关性（来自第二阶段）。

3. 核心贡献

本文提出了三个主要贡献：

针对 VLM 流水线的任务特定分析： 作者系统地分析了 VLM 处理流程，揭示了 VLM 通过从全局语义集成到细粒度、以物体为中心的聚焦这一多阶段流水线进行运作。他们证明了在处理过程的中间阶段，视觉定位任务高度依赖于保留全局空间参考框架，而这一需求常被现有的剪枝方法所忽视。
Nüwa 框架： 他们引入了一个两阶段剪枝框架，该框架能够：
- 通过基于区域的分离和自适应聚合来保留空间拓扑。
- 通过区分“支柱”和“收集器”Token 来维持全局空间锚点。
- 利用 LLM 中的文本语义进行细粒度的、面向任务的剪枝。
性能验证： 通过对 13 个数据集和多种 VLM（LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL）进行的广泛实验证明，Nüwa 建立了新的 SOTA 结果。在实现高达 88.9% 的 Token 削减下，它在 VQA 基准测试中实现了 95% 的性能保留，并在视觉定位（VG）基准测试中实现了 47.2% 的性能保留，显著优于以往在 VG 任务中往往跌至个位数的现有方法。

4. 实验结果

VQA 性能： Nüwa 在 10 个 VQA 基准测试（如 GQA, MMB, MME）上达到了 SOTA 性能，在减少高达 88.9% 的 Token 后，仍能保留原模型 94%–95% 的性能。
视觉定位性能： 在 RefCOCO 系列基准测试中，Nüwa 相比现有方法有显著提升。例如，在仅保留 64 个 Token（88.9% 的削减）的配置下，Nüwa 实现了 47.2% 的原始性能，而 VisionZip 和 SparseVLM 等方法分别降至 7.28% 和 1.88%。
效率： 该方法减少了 89% 的 TFLOPs 并缩短了 62% 的预填充（prefill）时间。引入剪枝指标带来的计算开销微乎其微（与 SOTA 基准相比，预填充时间仅增加了约 1ms）。
消融实验： 实验证实，区域划分对于定位任务至关重要（从而实现了相对位置映射扩展策略），而 L2 范数标准提高了所有任务中的 Token 选择质量。

5. 重要性与主张

论文声称，VLM 在定位任务上的性能下降主要是由剪枝过程中全局空间参考框架的丢失驱动的。通过结合受群集启发式的空间聚合与文本引导的精细化处理，Nüwa 有效地“修复”了被撕裂的空间完整性。

作者强调，该方法不需要重新训练（它是无需训练的/training-free），并且与现有的 VLM 架构及硬件优化（如 FlashAttention）兼容。这项工作强调，高效的 VLM 推理必须考虑任务特定的需求，特别是定位任务中对空间连贯性的需求，而不仅仅是依赖于语义冗余的减少。