Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

技术摘要：基于异常模式检测的多查询向量检索

问题定义
经典的向量检索系统通常在单查询范式下运行，即使用单个嵌入向量，基于邻近度指标（如余弦相似度、欧几里得距离）从数据库中检索最相似的向量。然而，复杂的推理和检索任务往往涉及多个查询向量，这些向量捕捉了用户意图的不同方面（例如，一个段落中每个句子代表一个独特的约束或特征）。现有的多查询检索方法通常通过启发式方法将这些向量聚合为单个嵌入，或将它们独立处理，从而丢弃了宝贵的查询间关系。此外，标准的基于距离的指标可能无法捕捉高维嵌入（特别是来自大语言模型（LLM）的嵌入）中固有的复杂、非线性和上下文依赖的关系。

这项工作解决了在给定一组多查询向量 $Q = \{q_1, q_2, \dots, q_M\}$ 的情况下检索相关数据库向量的挑战，且无需预先指定要检索的向量数量。

方法论
作者提出了一种基于异常模式检测的检索框架。核心假设是：查询向量集合共享一种特定的“异常模式”——即向量维度子集，其数值联合偏离了在数据库 $D$ 中观察到的分布。最相关的数据库向量是那些在这些特定维度上表现出相同联合异常模式的向量。

该方法将深度扫描算法（McFowland, Speakman, and Neill 2013; Cintas et al. 2021, 2022）扩展至检索场景，通过以下两步过程实现：

1. 识别异常维度：给定查询集 $Q$，算法识别出最能捕捉查询区分特征的向量维度子集 $O^*_S$。

   • 该方法假设异常模式对应于相对于数据库分布特别低的值（位于下 $\alpha$ 尾部）。
   • 它使用z 分数对维度进行标准化（$z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$），其中 $\mu_l$ 和 $\sigma_l$ 分别是数据库 $D$ 中维度 $l$ 的均值和标准差。
   • 使用非参数扫描统计量（具体为Berk–Jones统计量）作为评分函数 $F(S)$，以在维度子集上最大化异常得分。

2. 检索数据库向量：利用识别出的维度 $O^*_S$，算法扫描数据库 $D$，检索出在这些特定维度上表现出相同联合异常模式的向量子集 $R^*_S$。

与传统方法不同，该方法不依赖固定的距离阈值或预先指定的检索数量 $K$。相反，检索集合的大小由异常评分过程动态确定。

实验设置与结果
作者在四个多样化的数据集上评估了该方法：

• 图像：MNIST 和 Fashion-MNIST（经展平并通过 UMAP 投影至 30 维）。
• 文本：Persona（与特定人设一致的句子的大语言模型嵌入）和 Ailuminate（关于危害类别的提示的大语言模型嵌入）。
• 表格：关于乳腺癌的医疗数据集（31 个数值特征）。

该方法与两种适配的KDTree基线进行了比较：

• KDTree pre：在检索前将所有查询向量平均为单个向量。
• KDTree post：独立检索每个查询的向量并合并结果。

主要发现：

• 查询集大小的影响：在大多数数据集上，将查询向量数量 ($M$) 从 1 增加到 8，显著提高了精确率和召回率。当 $M$ 超过 8 时，增益减弱。
• 按数据集的性能：
  • Persona（LLM 文本）：对于 $M=64$，所提方法实现了近乎完美的精确率和召回率（接近 1.00），显著优于两种 KDTree 变体（后者约为 0.70–0.80）。
  • 表格数据：该方法实现了比基线更高的精确率（约 1.00 对比约 0.90），但召回率较低（约 0.77 对比约 0.90）。
  • Fashion-MNIST：与基线相比，该方法显示出更高的召回率但更低的精确率。
  • MNIST：所提方法与基线之间未观察到显著差异，尽管所有方法的绝对性能都很高。
• 检索规模：所提方法动态确定检索集合的大小。在消融研究中，当强制 KDTree 检索与所提方法相似数量的向量时，所提方法在表格和 Persona 数据集上仍保持了精确率和召回率的微弱优势。

意义与主张
该论文将这项工作定位为迈向稳健多查询检索的新一步。作者声称，通过异常评分函数而非传统的基于距离的度量来定义相关性，能够捕捉固定指标所遗漏的复杂、非线性关系。

该研究谦逊地将其贡献描述为这一方向的“第一步”。作者承认了局限性，包括每个数据集使用固定的兴趣类别，以及依赖 KDTree 作为基线而非更复杂的向量搜索方法（例如优化的向量相似度搜索）。他们指出，该方法在 LLM 文本嵌入上的表现优于降维图像嵌入和表格数据，这表明需要未来研究其在不同数据类型和嵌入架构上的泛化能力。该工作并未声称解决所有多查询检索挑战，但证明了利用查询集中的异常模式可以在特定情境下（特别是使用 LLM 嵌入时）产生更优越的检索性能。