🤖 AI

ANN Search: Recall What Matters

本文认为，近似最近邻（ANN）搜索的标准 Recall@k 指标是衡量实际效用的一个有缺陷的代理指标，因为它优先考虑集合重叠而非结果质量，并据此提出将逆近似比（1/Ratio@k）作为一种更准确、更高效且更具可部署性的指标，该指标能更好地与下游任务性能相关联，同时减少不必要的计算开销。

原作者： Dimitris Dimitropoulos, Nikos Mamoulis

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dimitris Dimitropoulos, Nikos Mamoulis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在一个巨大的果园里寻找最棒的三颗苹果来做派。你有一个超快速的机器人助手（ANN 算法），它可以在瞬间扫描整个果园。

多年来，业界一直根据一条严格的规则来评判这个机器人：它挑选出的苹果是否与人类专家挑选出的那三颗完全一致？ 这条规则被称为召回率（Recall）。如果人类选的是苹果 A、B 和 C，而机器人选的是 A、B 和 D，即使 D 苹果同样甜美且非常适合做派，由于它不是 C，机器人也会得到一个低分。

这篇论文的作者认为，这条规则出错了。他们说：“别再纠结于苹果的精确 ID 了，去品尝苹果的味道吧。”

以下是他们论点的详细拆解，使用了简单的类比：

1. 问题所在：“名牌”执念

在 AI 世界中，数据通常被表示为高维空间中的点（就像一团巨大的、隐形的点云）。当你要求 AI 寻找“最近”的邻居（最好的苹果）时，它会返回一个列表。

旧方法（召回率）： 系统检查机器人返回的 ID 是否与完美的列表完全一致。
现实情况： 在高维空间（如复杂的 AI 模型）中，往往存在成千上万颗味道和距离都几乎完全相同的苹果。机器人可能会选出苹果 D 而不是苹果 C。它们实际上是双胞胎。但因为 ID 不同，召回率得分就会暴跌，让机器人看起来表现很差。

作者说，这就像是一个老师因为学生写的答案是“4”而不是标准答案里的“4.00001”而判不及格。学生是对的，但评分系统太死板了。

2. 新的解决方案：“品尝测试”（1/Ratio）

作者提出了一种新的指标，称为 1/Ratio。它不再检查机器人是否挑中了“完全相同”的苹果，而是衡量这些苹果与完美苹果之间的接近程度。

类比： 想象完美的苹果就摆在桌子上。
- 召回率问的是：“你选的是桌上那几颗完全一样的苹果吗？”
- 1/Ratio问的是：“为了找到你的苹果，你离桌子有多远？”

如果机器人选的苹果距离完美位置仅 1 毫米，1/Ratio 会给它近乎完美的评分。如果它选的苹果离桌子有 10 英里远，分数就会下降。这个指标忽略了“名牌”，而专注于实际的质量（距离）。

3. 重大发现：你可以快得多

论文对五种不同类型的机器人助手（算法）在六种不同类型的果园（数据集）上进行了测试。他们发现了一个巨大的惊喜：

完美的代价： 为了获得高召回率（挑选出完全相同的 ID），机器人必须极其努力，检查数百万颗额外的苹果。这显著降低了它们的运行速度。
“足够好”的效率： 当机器人被允许优化 1/Ratio（挑选那些虽然 ID 不同、但与完美苹果非常接近的苹果）时，它们的运行速度可以提升 3 到 10 倍。

隐喻： 这就像是在人群中寻找一个特定的人。

召alog率要求你找到那个戴着描述中特定帽子的确切的人。你必须停下来检查每一张脸。
1/Ratio 允许你直接抓取站在那个人旁边、看起来 99.9% 一模一样的人。你瞬间就能完成任务。结果是一样的，但你节省了数小时的时间。

4. “足够好”真的行得通吗？

怀疑论者可能会问：“如果我们不再挑选完全相同的苹果，我们的派味道会变差吗？”

作者在两个现实场景中测试了这一点：

图像分类（整理照片）： 他们尝试对猫和狗的照片进行分类。即使机器人的“召回率”很低（它错过了那些最“完美”的照片），最终的分类结果仍然几乎完全准确。那些“错误”并不影响大局。
RAG（使用搜索的聊天机器人）： 他们测试了一个通过搜索数据库来回答问题的聊天机器人。即使搜索引擎错过了那些“最完美”的文档（低召回率），聊天机器人给出的答案仍然非常出色。答案的质量并没有下降。

结论： 旧指标下的“低分”其实是个谎言。机器人实际上做得很好，只是它们没有挑选出完全相同的 ID。

5. 为什么这很重要

论文总结道，AI 界一直在浪费大量的计算资源，试图去追求一个（召elik 无法让最终结果变得更好）追求“完美”得分（召回率）的目标。

旧方法： “我们需要 100% 的召回率！” $\rightarrow$ 结果： 缓慢、昂贵且过度设计。
新方法： “我们需要高 1/Ratio！” $\rightarrow$ 结果： 更快、更便宜，且最终结果（派、照片分类、聊天机器人回答）同样出色。

简而言之： 不要担心你找到的邻居到底叫什么名字。如果他们就住在完美邻居的隔壁，那就足够好了。通过接受这一点，我们可以让 AI 系统运行得更快、成本更低。

技术摘要：ANN 搜索：召回什么才重要

问题陈述

近似最近邻（Approximate Nearest Neighbor, ANN）搜索是现代信息检索和机器学习的基础原语，特别是在分类和检索增强生成（RAG）等任务中。社区已将 Recall@k（即检索到的前 $k$ 个真精确最近邻的比例）标准化为评估和调优 ANN 算法的主要指标。研究人员通常在固定的 Recall 阈值下优化吞吐量（每秒查询数，QPS）。

作者认为，这一惯例与 ANN 系统的实际效用并不一致。在高维空间（现代嵌入向量中常见）中，连续邻居之间的距离会趋于集中，导致许多“近乎等距”的候选点出现。一个 ANN 算法可能会检索到在几何上与查询点同样接近的候选点，但这些点的标识符（ID）不同。在 Recall@k 指标下，这些几何上准确的结果会被判定为失误，从而迫使系统为了实现高标识符重合度而承担不必要的计算开销。本文指出，Recall@k 高估了任务的难度和近似的代价，可能导致系统配置并非最优。

方法论

本文建议使用 1/Ratio@k（近似比的倒数）来取代 Recall@k。与关注标识符匹配的 Recall 不同，1/Ratio@k 根据返回的邻居相对于真实 $k$ -最近邻的距离质量来衡量检索结果。

核心定义：

Recall@k： $\frac{| \tilde{N}_k(q) \cap N_k(q) |}{k}$ ，其中 $\tilde{N}_k$ 是检索集合， $N_k$ 是真实集合。
Ratio@k： 每位置距离比值的平均值： $\frac{1}{k} \sum_{i=1}^k \frac{\tilde{d}_i(q)}{d_i(q)}$ ，其中 $\tilde{d}_i$ 和 $d_i$ 分别是第 $i$ 个返回邻居和真实邻居的距离。
1/Ratio@k： 上述比值的倒数，范围从 0 到 1（1 表示完美检索）。

实验设置：
作者在多种具有不同内在维度（LID）的各类数据集上，对五种最先进的 ANN 算法进行了基准测试：

Annoy（基于树）
SuCo（基于碰撞）
HNSW（基于图，行业标准）
RaBitQ（基于量化）
SymphonyQG（混合图量化）

评估涵盖了六个数据集（Gist, SimpleWiki, ImageNet, AGNews, MNIST, Fashion-MNIST），并扩展到了下游任务，包括图像分类（MNIST, Fashion-MNIST, CIFAR-10, SVHN）和 RAG（SciFact, NFCorpus, HotpotQA, MS-MARCO, PubMedQA）。

评估策略：

效率分析： 测量达到特定质量阈值（ $T \in \{0.90, 0.95, 0.99\}$ ）时所需的计算成本（QPS、距离计算、构建时间、内存），分别在两种指标下进行。
下游验证： 使用合成的召回控制技术，在保持几何质量的同时，人工降低召回水平（ $r \in [0.4, 1.0]$ ）。他们测量了下游性能（分类任务中的标签精确度；RAG 中的 BERTScore、语义相似度和 LLM 评分），以确定低 Recall 是否真的会降低效用。
指标比较： 计算两个指标（Recall 与 1/Ratio）之间的平均绝对偏差（MAD），以评估哪个指标是更好的代理指标。

核心贡献

提出 1/Ratio@k： 引入了一种质量指标，该指标是无须裁判（judge-free）、无须超参数（hyperparameter-free）且仅能通过标准 ANN 基准输入（嵌入向量和地面真值标识符）计算得出。与 Semantic Recall 或 Tolerant Recall 等替代方案不同，它不需要外部 LLM 裁判或可调的容差参数。
证明了计算开销： 表明优化 Recall@k 会比优化 1/Ratio@k 带来显著的计算惩罚。
下游稳定性证据： 提供了经验证据，表明即使在 Recall 显著下降（例如降至 0.4）的情况下，只要几何距离质量保持在高水平，下游任务性能（分类准确度和 RAG 回答质量）仍能保持稳定。
几何学解释： 将 Recall 与 1/Ratio 之间的差异与**局部内在维度（LID）**和邻居规模 $k$ 联系起来。随着 LID 和 $k$ 的增加，检索到几何上接近但标识符不匹配的邻居的概率随之增加，导致 Recall 下降，而 1/Ratio 保持在高位。

实验结果

1. 效率与成本 (RQ1 & RQ2)

吞吐量 (QPS)： 优化 1/Ratio@k 比优化 Recall@k 能获得显著更高的吞吐量。在质量阈值 $T=0.95$ $T = 0.95$ 且 $k=100$ $k = 100$ 时，根据算法和数据集的不同，距离计算的加速比在 1.86× 至 9.36× 之间，QPS 的加速比在 2× 至 10× 之间。
- 示例： 在 ImageNet 数据集上使用 HNSW，实现 1/Ratio@100 $\ge$ 0.95 的速度比实现 Recall@100 $\ge$ 0.95 快 9.98×。
构建时间： 构建高 Recall 索引的成本通常更高。对于 Gist 数据集上的 HNSW，实现 Recall $\ge$ 0.90 所需的构建时间是实现 1/Ratio $\ge$ 0.90 的 18.39×。
内存： 内存占用差异极小。差距通常接近 1.0×，因为内存主要由向量存储决定，而非用于调优高 Recall 的参数。
算法排名： 算法的相对排名（谁更快/更便宜）在两种指标之间基本保持稳定。指标的变化影响的是达到阈值的绝对成本，而非算法的相对性能。

2. 几何差异 (RQ3)

当 $k$ 增加 以及 LID 增加 时，Recall 与 1/Ratio 之间的差距会扩大。
在高 LID 空间中，邻居几乎是等距的。一个返回了不同 ID 但距离几乎相同的向量的 ANN 算法，会被 Recall 严厉惩罚，但在 1/Ratio 中会获得高分。
随着 $k$ 的增长（例如从 $k=1$ 到 $k=100$ ），Recall 会大幅下降，而 1/Ratio 则保持相对平稳。

3. 下游任务质量 (RQ4)

图像分类： 随着 Recall 从 1.0 下降到 0.4，标签精确度 (LP@100) 保持得非常稳定（例如，在 SVHN 上仅从 1.0 下降到 ~0.94）。
- MAD 分析： Recall 与真实质量之间的平均绝对偏差（预测误差）约为 26%。相比之下，1/Ratio 的误差 < 3%（通常 < 1%）。
RAG 任务： 尽管 Recall 下降到 0.4，回答质量（通过 BERTScore、语义相似度和 LLM 评分衡量）几乎没有下降。
- 在人工标注的基准测试中，尽管 Recall 下降了 60%，文本质量指标的变化仍小于 1.2%。
- 1/Ratio 紧密追踪了这种稳定性，而 Recall 则错误地发出了质量大幅下降的信号。
- MAD 分析： 对于 RAG，Recall 的预测误差约为 30%，而 1/Ratio 的误差 < 3%（通常 < 1%）。

意义与主张

本文声称，社区对 Recall@k 的依赖导致了 ANN 系统的过度工程化。通过针对高 Recall 进行调优，从业者会承担巨大的计算成本（时间、能量、延迟），去检索那些在几何上与地面真值无法区分、但未能通过标识符匹配测试的结果。

作者得出结论：

1/Ratio@k 是一个更优的代理指标，它能准确反映即使在 Recall 较低时检索质量的稳定性。
采用 1/Ratio@k 可以实现更快、更便宜、更高效的 ANN 部署，且不会牺牲最终应用（分类或生成）的质量。
目前因 Recall 过低而被视为“不合格”的配置，实际上在运行层面是足够的，可以部署以实现显著的效率提升。

该研究倡导 ANN 研究界进行评估范式的转变：从优化标识符重合度（Recall）转向优化几何接近度（1/Ratio），从而使系统调优与下游机器学习任务的真实需求保持一致。