技术摘要：MINER——挖掘多模态内部表示以实现高效检索

问题陈述

视觉文档检索（VDR）旨在直接从渲染图像中检索视觉丰富文档（如幻灯片、报告、海报）中的相关页面，从而绕过脆弱的 OCR 和分块流程。现有方法在检索质量与效率之间面临根本性的权衡：

1. 后期交互检索器（例如 ColPali）： 这些方法将查询和文档表示为 token 级嵌入的集合，实现细粒度匹配。虽然它们能达到高检索质量，但会产生巨大的索引占用（每页数百至数千个向量）和高服务成本。
2. 密集单向量检索器： 这些方法将整个文档压缩为单个最终层嵌入，提供紧凑的索引和低延迟。然而，由于压缩成单个向量造成了信息瓶颈，丢弃了中间网络层中存在的检索相关信号，其质量始终落后。

NLP 和视觉领域的近期研究表明，深度网络的内部表示往往比最终输出 alone 包含更丰富的任务相关信息。这引发了一个问题：能否利用单向量检索器的内部表示来恢复丢失的检索信号，同时不牺牲单向量范式的效率？

方法论：MINER

作者提出了 MINER（Mining Multimodal Internal RepreseNtation for Efficient Retrieval，用于高效检索的多模态内部表示挖掘），这是一个轻量级插件模块，旨在从内部 Transformer 层中提取并融合检索相关信号。MINER 在不修改骨干模型的情况下运行，保留了密集检索的存储和服务效率。它包含两个主要阶段：

1. 逐层诊断与分析

在设计模块之前，作者使用两个指标对单向量检索器（Jina、Eager、MoCa）进行了系统分析：

• 归一化中心化核对齐（CKA）： 衡量某层表示空间与最终跨模态检索空间之间的结构相似性。这识别出一组候选层（$S_{cand}$），它们在结构上足够接近最终空间，适合进行轻量级提取。
• 对齐比率（AR）： 定义为样本级余弦相似度与 CKA 分数的比率。这区分了仅仅是结构相似且与最终空间直接坐标对齐的层。
  • 结果： 分析揭示了候选层内存在两种不同的机制。早期层表现出低 AR（结构相似但未对齐），而最后几层表现出高 AR（直接对齐）。这一发现促使针对不同层采用差异化的提取策略。

2. MINER 架构

MINER 在两个阶段运行：

阶段 1：检索对齐层探测
一个轻量级探针被附加到候选集 $S_{cand}$ 中的每一层。探针的参数化由层的对齐机制决定：

• 基础探针（针对高 AR 层）： 应用逐元素重加权（$p_l \odot x$）以保留原始坐标系。
• 归一化投影探针（针对低 AR 层）： 应用逐元素重加权，随后进行行归一化线性投影（$\tilde{W}_l(p_l \odot x)$），将未对齐的子空间重新对齐到锚点空间，而无需重新缩放。
• 训练： 所有探针均使用跨模态孪生目标（InfoNCE 损失）进行训练，以使探测到的文本/视觉读数与其跨模态最终层锚点对齐。

阶段 2：自适应稀疏多层融合
探测到的信号被聚合成单个密集嵌入：

• 性能自适应神经元级掩码： 基于每层的独立验证性能（nDCG@5）计算每层的保留比率（$P_l$）。一个硬二进制掩码仅保留每层的前 $P_l$ 个神经元（基于学习到的重要性向量 $p_l$），抑制无关维度。
• 跨层融合： 来自所有选定层的掩码信号通过带有全局偏置的学习加权求和进行组合：
  $$e = \sum_{l \in S_{cand}} u_l \odot h^{(l)} + b$$
  其中 $h^{(l)}$ 是处理后的读数（要么直接掩码，要么投影后掩码）。

主要贡献

1. 诊断洞察： 作者揭示了单向量检索器中的检索相关信号在 Transformer 层中分布不均，并且基于对齐比率诊断，需要定性不同的提取策略（简单重加权与投影）。
2. MINER 模块： 一个包含检索对齐层探测和自适应稀疏多层融合的插件架构。它在修改骨干模型或增加存储/服务成本的情况下提高了检索质量。
3. 实证性能： MINER 在多个骨干网络和 ViDoRe 基准测试套件中 consistently 优于现有的密集单向量检索器。

实验结果

实验在 ViDoRe V1、V2 和 V3 基准测试上进行，使用 Jina-Embeddings-v4、Eager-Embed-v1 和 MoCa-3B 作为骨干网络。

• 检索质量： MINER 相比其对应的密集骨干网络实现了高达 4.5% 的 nDCG@5 提升（例如，MINER-Eager 在 ViDoRe V2 上从 56.0 提升至 58.5）。在多种设置下，它显著缩小了与强后期交互基线的性能差距（在某些情况下将差距缩小至 0.2 nDCG@5）。
• 效率：
  • 存储： MINER 保持与密集基线完全相同的存储占用（单向量索引），这比后期交互方法小 42.4 倍。
  • 延迟： 与密集基线相比，MINER 仅产生 1.07 倍的查询延迟开销，同时仍比后期交互方法快 5.3 倍。
• 消融研究： 移除对齐比率划分（仅使用基础探针或仅使用归一化探针）或移除稀疏掩码会导致性能下降，证实了差异化探测和自适应掩码都是必要的组成部分。
• 鲁棒性： 该方法对关键超参数具有鲁棒性，特别是用于层选择的 CKA 截止值和用于掩码的稀疏度下限。

意义与主张

该论文声称，MINER 成功弥合了后期交互检索的高质量与密集单向量检索的高效率之间的差距。通过挖掘内部表示，MINER 恢复了因最终层瓶颈而丢失的信息，同时避免了多向量方法相关的存储和延迟惩罚。

作者将 MINER 定位为需要高准确性和低运营成本的视觉文档检索系统的实用解决方案。他们指出，该方法目前仅在内部隐藏状态和训练数据可访问的模型上进行了评估，作为现有密集检索流程的轻量级增强，而非骨干架构本身的替代品。