SQLite is Enough. Lexical, Semantic, and Hybrid Search with scrydb
本文介绍了 scrydb，这是一个轻量级的 Python 库，它通过利用 FTS5 和 sqlite-vec，实现了 SQLite 内的词法、语义及混合搜索，并通过在各种信息检索基准测试上的评估，证明了其有效性和高效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代信息检索的广阔领域中，挑战不仅在于大海捞针，而是在于如何在数以十亿计的相似物中快速找到正确的那根针，且不消耗过多的世界能源。几十年来，解决方案一直依赖于两种截然不同的方法。第一种是词法搜索（lexical search），这种方法将文本视为图书馆的卡片目录，将用户输入的精确词汇与文档中的词汇进行匹配。第二种是语义搜索（semantic search），它试图理解词汇背后的含义，即使具体的词汇不同也能实现概念匹配。为了实现这种更深层的理解，计算机将文本转换为被称为“嵌入”（embeddings）的长数字列表，这些数字充当了意义的数学指纹。然而，存储和比较数百万文档的这些指纹通常需要庞大、昂贵的服务器和在后台持续运行的复杂软件，这为小型项目制造了障碍，也使得将研究结果作为一个单一、自包含的包进行共享变得困难。
一位研究人员推出了一种名为 scrydb 的新工具，它挑战了“强大的搜索需要沉重基础设施”这一假设。scrydb 基于 SQLite 构建——这是一种可以放入单个文件中且无需服务器运行的数据库系统——该库将整个搜索过程（包括文档、词索引和意义指纹）封装在一个紧凑的单一包中。研究人员通过简化这些意义指纹的存储和比较方式，证明了他们可以在一台标准的笔记本电脑上执行高质量的搜索，而无需通常此类任务所需的庞大且专门的系统。他们的工作表明，对于中小规模的集合，现代搜索的重型机械往往是不必要的，一个单一、可移植的文件同样可以胜任这项工作。
其核心创新在于系统处理意义的数学指纹的方式。通常，这些指纹被存储为占用大量空间并需要显著计算能力的各种高精度数字。研究人员发现了一种大幅缩小这些指纹的方法，即通过将它们转换为简单的由 0 和 1 组成的模式，这一过程将它们的大小缩减了 32 倍。系统不再比较复杂的数字，而是使用一种计算两个模式之间不同位数的方法来比较这些二进制模式。这使得计算机能够以极短的时间扫描数百万份文档，其速度远快于使用完整高精度版本时的速度。系统同时也保留了在用户需要绝对最高精度时使用完整高精度版本的能力，但它可以通过先使用快速、微小的版本来缩小候选名单范围，从而节省时间和精力。
为了测试这种方法是否奏效，研究人员针对八个不同的现实世界数据集对 scrydb 进行了评估，涵盖了从金融问题到科学事实核查以及医学研究等领域。他们将结果与行业标准基准进行了对比，这些基准通常依赖于最强大、全精度的现有系统。研究结果令人瞩目：在八个数据集中的四个中，这个轻量级系统的表现与重型工业标准持平，甚至更好。在其余的数据集中，性能差异微乎其微，几乎察觉不到。在许多情况下，系统可以通过首先用微小、快速的指纹扫描整个集合，然后再仅对前几百个结果进行更详细的高精度检查，从而找到最佳答案。这种两步走的过程意味着，系统能以极短的时间内达到接近全量扫描的质量水平。
系统的速度在很大程度上取决于集合的大小和所使用的方法。当搜索超过 50 万份文档的集合时，使用快速二进制指纹的系统可以在不到一秒钟内返回答案。即使研究人员增加了第二步以使用更高精度来优化结果，总时长对于单机用户而言仍然是切实可行的。然而，研究人员也谨慎地指出了这种方法的局限性。虽然该系统对于处理高达数百万份文档的集合非常高效，但它并不能无限扩展。如果集合增长到千万级甚至十亿级，扫描每一份文档所需的时间将会变得过长，届时仍需使用大型科技公司所使用的那些专门的分布式系统。该系统并非那些大规模网络的替代品，而是针对较小型、自包含项目的有力替代方案。
除了技术性能之外，研究人员还强调了该工具对科学界的一个重要益处：可复现性。因为整个搜索引擎（包括文档和数学指纹）都存在于一个单一的文件中，任何人都可以通过简单的点击来共享、存档和重新运行它。这消除了需要分享复杂的配置文件包、独立的数据库转储和向量存储快照的需求，而这些内容在不同计算机间移动时经常会失效。现在，研究人员可以交付一个包含完成实验所需一切内容的单一文件，从而能够完全按照原始方式重复实验。这使得分享科学发现的过程更加可靠和便捷，确保了研究工作可以被他人验证和进一步开发，而不会受到不兼容软件环境带来的阻碍。
研究结论指出，速度与精度之间的权衡并不像此前认为的那样僵化。通过使用简单的单文件数据库和巧妙的压缩技术，构建一个既快速又足够精确以满足大多数实际需求的搜索系统是完全可能的。研究人员强调，这并不意味着大型复杂系统已经过时；它们对于服务于数百万用户的海量实时应用仍然至关重要。然而，对于大量的较小型项目、研究实验和个人档案，沉重的基础设施往往是大材小用。这个新工具提供了一种以极少资源实现高质量搜索结果的方法，证明了有时，最强大的解决方案往往是那个能够装进单个文件里的方案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。