A Comparative Study of Vector Indexing Strategies Using Facebook AI Similarity Search as a Case Study

想象一下，你正站在一座图书馆里，其中包含了人类历史上写过的每一本书。但这些书并不是按书名或作者来组织的，而是根据它们彼此之间的“相似感”进行分类。如果你想要一个关于“勇敢的小猫”的故事，图书管理员并不仅仅是寻找带有“勇敢”和“猫”这两个词的书；他们会寻找那些在“感觉”上符合这个概念的故事，即使书中的用词完全不同。这就是现代人工智能的魔力：将想法转化为数字列表（称为向量），然后在浩如烟海的数据中寻找最接近的匹配项。

但问题在于：如果你的图书馆里有一十亿本书，逐一检查每一本以找到最佳匹配将会耗费无穷的时间。这就像是在沙滩上寻找一颗特定的沙粒，却试图通过一颗一颗捡起所有沙粒的方法来完成。为了解决这个问题，科学家们发明了“索引”（indexes）——这些特殊的捷径可以帮助计算机跳过枯燥的部分，直接跳转到有趣的内容。有些捷径就像一张组织严密的地图（精确搜索），而另一些则像是聪明的猜谜游戏，能在瞬间让你达到目标的 99%（近似搜索）。大问题在于：哪种捷径才是最好的？这取决于你的图书馆规模有多大吗？如果你拥有的是一本小笔记本还是一个巨大的仓库，结果会有所不同吗？

这正是亚美尼亚欧洲大学的一个研究小组致力于解决的问题。他们采用了名为 FAISS（Facebook AI Similarity Search）的流行工具包——它就像是处理这些向量捷径的瑞士军刀——并将其中不同的工具进行了实测。他们想要观察当数据变得庞大、数字变得复杂以及内存紧缺时，每种工具的表现如何。你可以把它想象成一场大规模的竞赛，不同的搜索引擎在竞争，看谁能在不精疲力竭或耗尽内存的情况下，最快地找到正确答案。

研究人员测试了几种不同的策略，从“暴力破解”法（检查所有内容）到涉及“聚类”（将相似项分组在一起）、“压缩”（通过挤压数据来节省空间）以及“基于图的导航”（利用连接网络向答案跳转）的聪明技巧。他们主要测量了两个指标：召回率（Recall，是否找到了正确的答案？）和延迟（Latency，花了多长时间？）。

以下是他们在实验中的发现：

“暴力破解”冠军 (IndexFlat)
想象一个拒绝猜测的侦探，他会检查阵容中的每一个嫌疑人。这就是 IndexFlat 方法。研究人员发现，这种方法非常完美：它从不错过正确答案（100% 召回率）。然而，它的速度极其缓慢。随着“嫌疑人”（向量）的数量从 1,000 增加到 10,000，寻找答案所需的时间稳步增长。如果你有一个小型数据集，这很棒。但如果你拥有数百万个向量，这种方法在现实世界中会因为太慢而变得毫无用处。这就像是用显微镜去大海捞针；虽然有效，但太慢了。

“分组”策略 (IVFFlat)
接下来，他们尝试了一种将相似向量分组到类似“冒险”、“浪漫”或“悬疑”标签箱中的方法。这就是 IndexIVFFlat。当查询到来时，系统只检查最有可能包含答案的“箱子”。研究表明，这是一个极佳的中庸之道。它比检查所有内容要快得多，而且你可以通过检查更多的箱子（一个被称为 nprobe 的设置）来提高准确性。研究人员发现，如果你检查更多的簇，你会得到更好的结果，但也会因此耗费更多时间。它是一个灵活的工具，能很好地平衡中大型数据集的速度与准确性。

“压缩”专家 (IVFPQ 和 IVFSQ)
如果你有十亿个向量，但没有足够的硬盘空间来存储它们，该怎么办？研究人员研究了 IndexIVFPQ 和 IndexIVFSQ，它们就像是将高清电影压缩成较小的文件格式。它们通过挤压数据来减少占用的内存。

• IVFPQ（乘积量化）将向量拆分为微小的部分并进行压缩。研究发现，对于内存是最大瓶颈的海量数据集，它是冠军。它速度极快且占用空间极小，尽管偶尔可能会错过那个“完美”的答案（召回率略低）。
• IVFSQ（标量量化）是一种更简单的压缩版本。它是一个很好的“中间派”——它节省了空间且比未压缩的版本更快，但其压缩程度不如 IVFPQ 那样激进。研究人员指出，虽然与未压缩版本相比它损失了一点精度，但对于大规模系统而言，节省下来的内存通常是非常值得的。

“连接的网络” (HNSW)
最后，是 IndexHNSW，它将数据组织成一个多层级的网络，就像一张拥有快速线路和本地站点的地铁图。你从顶层（快速线）开始获取大致方向，然后逐层深入，直到找到精确的站点。研究发现，它是速度与准确性的综合超级明星。它具有“极快”的速度和“极高”的召回率。然而，构建这个网络需要更多的内存，研究人员也指出你需要对其进行仔细调优。如果你把网络做得太密集（连接过多），搜索就会变慢；如果太稀疏，你可能会错过最佳答案。但如果调优得当，它能提供速度与精准度的最佳平衡。

结论
论文得出结论：并没有一种单一的工具适用于所有工作。这就像是在问一把锤子、一把螺丝刀或一个扳手是否是最好的工具一样；这取决于你正在建造什么。

• 如果你的数据集很小且需要完美的准确性，请使用 Flat 索引。
• 如果你的数据集规模中等且需要平衡，IVFFlat 是一个可靠的选择。
• 如果你处理的是数十亿个向量且计算机内存不足，IVFPQ 是你的好帮手。
• 如果你需要最快的搜索速度并保持高准确度，且有足够的内存，HNSW 是赢家。

研究人员还测试了不同的“相似性”衡量方式（例如两个点在空间中的距离）。他们证实，对于某些类型的 AI 模型（如语言模型），你需要先对数据进行归一化处理以确保数学计算正确，但在完成这一步后，不同的索引策略都能表现良好。

简而言之，这项研究为任何构建 AI 系统的人提供了实用的指南。它告诉我们，虽然我们无法同时拥有所有东西（完美的搜索速度、完美的准确度和零内存占用），但我们可以根据特定需求选择合适的权衡方案。无论你是在为银行构建欺诈检测系统，还是为医疗记录构建搜索引擎，这个工具包中都有一种特定的索引策略，能帮你找到那根大海捞针中的针，而不至于迷失方向。