Evaluating Retrieval Accuracy and Latency for Enterprise RAG Systems on FiQA
本研究评估了 TF-IDF、BM25、量化后的 MiniLM 稠密检索器及其倒数排名融合（RRF）在 FiQA 基准测试上的检索准确率与延迟，结果发现，尽管稠密模型显著优于稀疏方法，但融合方法相比于仅使用 MiniLM 仅带来了微小且在统计学上不显著的提升。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的世界中，一个常见的挑战是帮助计算机利用其从未见过的海量文档来回答问题。想象一下，有一个系统可以阅读一百万页文本，然后与你进行讨论。为了让这套系统高效运行，它需要一位能够瞬间找到正确页面的图书管理员。如果图书管理员找错了页面，计算机就会给出错误的答案；如果图书管理员寻找正确页面的时间过长，对话就会陷入停滞并变得毫无意义。这种在快速找到正确信息与准确找到正确信息之间的平衡，是研究人员在构建这些智能系统时面临的核心问题。他们必须决定如何检索这个“图书馆”：是应该像传统的索引那样寻找精确的词汇匹配，还是应该像人类理解语境那样寻找词汇的通用含义？
最近的一项研究旨在针对一组特定的金融论坛问答集，测试这些不同的搜索方法。研究人员希望看看哪种方法最适合企业级系统，因为在这样的系统中，速度和准确性都至关重要。他们比较了四种不同的搜索方式。前两种方法依赖于直接的词汇匹配：一种是基于单词出现频率的基础计数，另一种则是更精细的版本，它能理解一个单词在整个集合中是常见还是罕见。第三种方法使用了一种现代技术，将每个问题和每份文档转化为其含义的数学表示，从而使系统即使在词汇不同时也能找到答案。第四种方法则是一种混合方案，试图结合词汇匹配搜索和基于含义的搜索，以求达到两全其美。
团队使用一个包含近六万份文档和六百四十八个问题的标准测试集对这四种方法进行了测试。他们测量了两个指标：正确答案出现在列表顶部的频率，以及计算机生成该列表所需的时间。结果显示出明显的权衡关系。纯粹依赖词汇匹配的方法速度最快，能在前五个结果中找到相关文档的概率约为百分之四十，但完成搜索仅需不到六毫秒。而理解含义的方法在准确性上显著更高，在前五个结果中找到相关文档的概率约为百分之五十四，但运行时间却接近十八毫秒。这种较慢的速度是因为计算机在搜索之前必须先将问题转化为其复杂的数学形式。
当研究人员将这两种方法结合起来，希望能获得基于含义搜索的高准确性以及基于词汇匹配搜索的高速度时，结果令人惊讶。结合后的方法并没有比单纯使用基于含义的搜索显著提高准确性。事实上，准确性的提升如此微小，以至于完全可能是由随机偶然造成的。然而，结合后的方法确实耗时更长，完成一次搜索需要近二十四毫秒。这是因为系统必须分别运行两种搜索，然后合并它们的列表，这实际上使工作量翻倍，而换来的收益却几乎无法衡量。研究还发现，这两种方法经常找到不同的正确答案。词汇匹配搜索找到了基于含义搜索所遗漏的相关文档，反之亦然。虽然这表明两种方法具有互补性，但简单的结合方式并未能成功地将两个列表中的最佳答案都保留在最终的前五名中。
研究人员强调，这些发现特指搜索过程本身的速度，而非计算机生成的最终答案。一个能找到正确文档的快速搜索仅仅是成功了一半；计算机随后仍需阅读该文档并写出良好的答案。研究还指出，测试数据来自公开的金融论坛，这可能无法完美代表真实公司内部那些复杂且受限的文档。此外，用于测试的计算机是标准处理器而非专门的高速机器，因此测得的时间反映的是特定配置下的表现，而非普遍限制。
最终，这项工作表明，对于一个既需要快速又需要准确的系统而言，仅仅增加第二种搜索方法并不一定会自动提升结果。最有效的方法取决于用户的具体需求。如果速度是绝对的优先级，那么简单的词汇匹配搜索可能就足够了；如果准确性更为重要，那么更复杂的基于含义的搜索也值得投入额外的时间。但如果进行结合，则需要仔细的调优，因为合并列表所花费的额外时间可能并不值得那极其微小的文档查找增益。这项研究为这些选择提供了一个清晰且客观的观察，表明在人工智能领域，增加复杂度并不总是能带来更好的结果。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。