技术摘要：重路由，而非移除

1. 问题陈述

视觉语言模型（VLMs）将图像投影为数百或数千个视觉标记（tokens），导致解码器推理成本随注意力机制呈二次方增长，并随 KV 缓存（KV-cache）内存呈线性增长。为了缓解这一问题，现有的视觉标记缩减方法（如 FastV、PDrop、Nüwa）很大程度上遵循**“排序并移除”（rank-and-remove）范式**。在这种方法中，视觉标记被评分（通常通过文本-视觉注意力），保留一个紧凑的子集，并将剩余部分从序列中永久丢弃。

作者指出该范式存在一个关键缺陷：标记的重要性在解码器深度方向上是不稳定的。

• 动态重要性： 浅层解码器层往往进行弥散性注意力计算，而目标相关区域可能仅在中层或深层才显现出来。
• 不可逆性： 在早期剪枝阶段（例如第 3 层）排名较低的标记，对于深层（例如第 25 层）的特定查询可能是至关重要的。一旦被移除，它就无法参与后续计算。
• 后果： 在激进的标记缩减（例如 88.9% 的缩减）下，这种不可逆性会导致定位（grounding）性能崩溃（例如 IoU 降至 0.4 以下），即使通用的 VQA 性能仍能部分维持。

2. 方法论：Reroute（重路由）

本文提出了 Reroute，一种无需训练的插件式方法，它将不可逆的移除替换为可恢复的路由（recoverable routing）。

核心机制

Reroute 将解码器侧的视觉标记缩减重新定义为一系列阶段性路由决策，而非单一的剪枝事件。

1. 阶段性选择： 将解码器划分为 $S$ 个阶段。在每个路由层 $\ell_i$，评分器（复用现有的文本-视觉注意力分数）对当前的候选视觉标记集进行排序。
2. 路由与延迟（Routing vs. Deferral）：
   • 被选中的标记 ($V_{sel}$)： 前 $r_i$ 比例的标记通过当前阶段的完整解码器块（注意力 + FFN）进行路由。
   • 延迟的标记 ($V_{def}$)： 剩余的标记通过残差路径绕过当前阶段的 Attn+FFN 计算。至关重要的是，它们并未被删除。
3. 重入（Re-entry）： 在下一个路由层，候选集会被恢复，以包含所有延迟的标记（$C_{i+1} = V$）。延迟的标记会针对完整的视觉集合进行重新评估。如果它们的注意力分数在更深层有所提升，它们就可以被重新选中并路由通过后续的模块。

理论效率

• 匹配预算： Reroute 保留了其增强的剪枝基准方法的理论 FLOPs 和 KV 缓存预算。只有被选中的标记 ($V_{sel}$) 在每个阶段消耗沉重的计算量（Attn+FFN）。
• 无需训练： 该方法复用了原有的解码器中已计算出的注意力分数。不需要训练新的路由参数。
• 与 MoD 的关系： 它被构想为针对 VLM 视觉标记的**无需训练的深度混合（Mixture-of-Depth, MoD）**实例化，其中“路由器”即为预存在的注意力机制。

3. 核心贡献

1. 可恢复路由公式化： 作者将视觉标记剪枝重新定义为带有延迟标记旁路机制的阶段性路由。这使得传统的不可逆剪枝成为了不允许重入的退化情况。
2. 插件机制： Reroute 是一个即插即用的增强方案，无需重新训练，复用了现有的评分规则和调度方案，并保持了底层剪枝方法的理论效率等级（TFLOPs 和 KV-cache）。
3. 实证验证： 该方法在三个骨干网络（LLaVA-1.5-7B、Qwen2.5-VL-7B、Qwen3.5-9B-Hybrid）和三个剪枝基准（FastV、PDrop、Nüwa）上得到了验证。

4. 实验结果

论文在视觉定位（RefCOCO 系列）和通用 VQA 基准测试上对 Reroute 进行了评估。

• 视觉定位 (RefCOCO)：

  • 激进缩减： 在 88.9% 的标记缩减（576 $\to$ 64 个标记）下，标准剪枝（如 FastV）会导致定位准确率崩溃（例如 IoU < 0.4）。Reroute 显著恢复了这一性能。
  • 定量收益： 在 LLaVA-1.5（HuggingFace 格式）上，PDrop+Reroute 在 64 个标记时将平均定位比例从 22.2% 提高到 34.0%。在 Qwen3.5-9B-Hybrid 上，PDrop+Reroute 在 88.9% 缩减时将比例从 19.3% 提高到 37.4%。
  • 跨骨干网络： 改进效果能有效地迁移到 Qwen 系列模型，包括混合架构（Mamba-Transformer）。

• 通用 VQA：

  • 与剪枝基准相比，Reroute 维持或略微提升了通用 VQA 性能（GQA、MME、TextVQA），表明可恢复的路由并不会牺牲通用的多模态能力。

• 效率：

  • Reroute 实现了与剪枝基准相当的 TFLOPs 和 KV-cache 缩减（例如在 64 个标记时，TFLOPs 减少约 80%，KV-cache 减少约 86%）。
  • 由于相比于单次剪枝增加了额外的路由阶段，存在轻微的 TFLOPs 开销，但其理论量级保持一致。

• 消融研究：

  • 频率： 增加重路由阶段的数量通常会在一定程度上提高性能，这表明重复评估是有益的。
  • 位置： 路由层的放置非常重要；早期到中期的解码器层对于重入决策是最优的。

5. 意义与主张

论文认为，视觉标记缩减不应仅被视为不可逆的剪枝，也应被视为可恢复的路由。

• 范式转变： 现有方法的局限性不在于评分机制，而在于“移除”这一动作。通过将移除替换为延迟，模型可以适应视觉标记在解码器深度变化而产生的动态重要性。
• 定位敏感性： 这种优势在定位密集型任务以及激进的标记缩减情况下最为显著，因为在这些情况下，丢弃关键视觉证据的风险最高。
• 局限性说明： 作者承认 Reroute 继承了注意力分数路由器的局限性（糟糕的排序仍可能导致标记处于非活跃状态），且实际延迟取决于优化的 gather/scatter 内核。他们还指出，在混合架构（如 Qwen3.5）中，目前的路由仅应用于 softmax-attention 块，与线性注意力状态动力学的交互属于未来的工作。

总之，Reroute 证明了保留恢复延迟证据的选择权，可以让 VLM 在计算预算受到严格限制时，依然保持高水平的定位准确度，且无需额外的训练或增加理论计算成本。