技术摘要：SaMer —— 用于视觉-语言检索的物体-证据保持型标记合并技术

问题陈述

多向量视觉-语言检索系统（如 ColPali 和 ColQwen2）通过保留基于最大相似度（MaxSim）的延迟交互（late interaction）来保留细粒度的视觉标记级证据，从而实现高精度检索。然而，这种方法会带来显著的存储和计算成本，因为对于每张图像，都需要存储并比较数百到数千个图像侧的补丁（patch）嵌入。

现有的标记压缩策略（如剪枝或基于特征的合并）试图降低这些成本。然而，作者指出这些方法存在一个关键的失效模式：物体实例坍缩（object-instance collapse）。当压缩仅依赖于特征相似性时，来自不同物体实例（例如两个不同的人或两辆车）的视觉相似补丁可能会被合并成单个表示。这会导致不同的证据发生坍缩，而这些证据本应被未来的查询标记（query tokens）所选中。此外，剪枝在已知查询之前就丢弃了视觉证据，可能导致移除了实现匹配所需的特定标记。核心挑战在于：如何在压缩图像侧标记的同时，不丢失用于查询可选择性匹配的物体级和区域级证据。

方法论：SaMer

作者提出了 SaMer（语义感知合并），这是一个物体感知的标记合并框架，旨在将后投影器（post-projector）视觉标记压缩为 $K$ 个具有代表性的质心，同时保持原始的延迟交互接口。

1. 特征-空间软分配（Feature-Spatial Soft Assignment）

SaMer 将 $N$ 个后投影器视觉标记压缩为 $K$ 个合并后的标记（$K \ll N$）。它采用了一种特征-空间软分配机制，其中每个视觉标记 $v_i$ 根据结合了以下内容的距离度量被分配给一个代表 $k$：

• 特征相似度： $1 - v_i^\top \mu_k$，将语义相似的标记分组。
• 空间连贯性： $\gamma \|p_i - s_k\|_2^2$，防止视觉相似但在空间上相距较远的区域进行过度合并。

代表是通过归一化加权质心（$r_k$）而非丢弃的标记形成的，这确保了压缩后的表示仍能与 MaxSim 评分保持兼容。

2. 物体感知合并先验（仅限训练阶段）

为了防止跨实例混合，SaMer 仅在训练期间利用物体标注作为合并先验，而非作为辅助的接地（grounding）损失。

• 机制： 系统使用带停止梯度（stop-gradient）的硬分配来估计每个代表的边界框（bbox）标签分布。
• 惩罚项： 在距离度量中加入了一个实例不一致惩罚（$P_{inst}$）。如果将某个标记分配给某个代表会导致不同物体实例的证据发生混合（即该标记的 bbox 标签与该代表的主导标签不同），则会降低该分配的权重。
• 推理： 在推理阶段，SaMer 不需要地面真值边界框或物体检测器。它执行无标注的特征-空间软分配，依靠训练期间适配的投影层来隐式地保持物体结构。

3. 压缩感知型仅投影适配（Compression-Aware Projection-Only Adaptation）

为了使压缩后的表示与检索空间对齐，SaMer 仅适配共享的投影层，同时保持视觉编码器和语言骨干网络冻结。

• 投影层使用基于压缩后 MaxSim 分数（$S_K$）的多正样本 InfoNCE 检索损失进行训练。
• 这确保了合并后的标记在不改变骨干网络表示或不需要新检索架构的情况下，仍能有效地进行延迟交互评分。

核心贡献

1. 问题重构： 作者将面向延迟交互检索的视觉标记压缩重新定义为一个证据保持问题，并指出了物体实例坍缩是特征合并的主要失效模式。
2. SaMer 框架： 他们提出了一种物体感知的标记合并方法，该方法在训练时使用物体标注作为合并先验以抑制跨实例合并，而在推理时无需标注或检测器。
3. 效率与性能： 他们证明了在 $K=64$ 的情况下，SaMer 移除了超过 93% 的图像侧标记，并将 ColPali 的存储降低了 16.09 倍，同时在与剪枝和池化基准对比时，提升了检索性能（R@1）和短语级接地质量。

实验结果

作者在 Flickr30K、MSCOCO、ImageCoDe 和 DocVQA 上对 SaMer 进行了评估。

• 检索性能：
  • 在 Flickr30K 上，SaMer 将 ColPali 的 R@1 从 77.0 提升至 82.4，将 ColQwen2 的 R@1 从 73.6 提升至 79.3。
  • 在 MSCOCO 上，ColPali 的 R@1 从 47.4 提升至 51.6。
  • 在相同的标记预算（$K=64$）和适配设置下，SaMer 的表现始终优于压缩基准（H-Pool, HPC, SAP）。
• 接地质量（Grounding Quality）：
  • SaMer 展示了卓越的短语级接地能力。诸如 BoxMass（标注区域内的相关性集中度）从 47.8 增加到 54.2，以及 CoverageIoU 从 13.1 提高到 16.4 等指标均有所提升。
  • 这表明 SaMer 比剪枝或简单池化能更好地保留可由查询选中的物体证据，后者往往会将相关性扩散到背景或附近的物体。
• 效率：
  • 对于 ColPali，SaMer 将存储减少了 16.09 倍，并将 MaxSim 操作减少了 16.1 倍。
  • 查询吞吐量（QPS）在 Flickr30K 上提升了 4.3 倍，在 MSCOCO 上提升了 9.1 倍。
  • 对于 ColQwen2，存储分别在 Flickr30K 上减少了 3.73 倍，在 MSCOCO 上减少了 1.99 倍，并获得了相应的吞吐量增益。

重要性与主张

论文认为，检索压缩的有效性不仅取决于减少标记数量，更取决于保留未来查询标记需要选中的证据。

作者主张：

1. 物体感知合并优于仅基于特征的池化： 仅仅合并相似的补丁可能会导致不同的物体实例坍缩，而 SaMer 的物体感知先验维持了精细化检索所需的区分度。
2. 训练时先验实现推理时的高效： 通过仅在训练时使用物体标注作为合并先验，SaMer 实现了物体一致性的压缩，而无需在推理过程中承担运行检测器的计算开销。
3. 仅投影适配已足够： 通过仅在投影层进行检索空间对齐，系统可以在保持高水平性能的同时保持骨干网络冻结，使该方法对于现有的多向量检索器具有即插即用的特性。

结果表明，高效的多向量检索需要平衡压缩能力与保留可由查询选中的物体级证据之间的关系。