When Sources Disagree: Accuracy-Preserving Batch Verification and the Limits of Source-Age Screening in Retrieval-Augmented Generation
本文表明，虽然长度排序的批处理推理可以在不牺牲检索增强生成验证准确性的情况下提高处理吞吐量，但简单的来源年龄筛选规则不足以检测事实性过时，应当被内容感知的时效性检查所取代。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个图书馆，一位图书管理员被要求通过从书架上取下一本书、阅读一段文字，然后告诉你答案来回答问题。这位管理员非常擅长找到正确的书，但有时他们读到的段落可能会与他们给出的答案相矛盾，或者书中的事实自图书馆目录最后一次更新以来已经发生了变化。这就是现代人工智能系统在尝试利用外部信息回答问题时所面临的核心挑战。这些被称为检索增强生成（RAG）的系统，通过搜索庞大的数字图书馆来寻找支持其答案的事实。人们希望通过将他们的响应建立在真实证据的基础上，让他们停止捏造事实。然而，一项新研究显示，仅仅为答案附加一个来源并不能保证答案是正确或最新的。来源可能是错误的，或者事实可能已经成为了过去式，导致系统自信地引用过时的信息。
图桑内理工大学（Tshwane University of Technology）的研究人员着手测试这些系统自我检查工作的能力。他们专注于两种特定的失败方式。第一种是语义矛盾，即系统找到的证据实际上在反对它正在给出的答案。第二种是时间问题，即证据在编写时是正确的，但在今天已不再适用。为了进行调查，该团队使用了一组科学主张及其支持文档，以观察他们是否能构建一个与主 AI 并行运行的可靠“事实检查器”。他们测试了多种不同的方法，从简单的基于规则的检查到更复杂的、能够仔细阅读文本以理解主张与来源之间关系的模型。
研究人员发现，捕捉矛盾最可靠的方法是一个复杂的模型，该模型将主张和证据放在一起阅读，分析词汇是如何相互作用的。在包含 200 个测试案例的平衡数据集中，该模型的准确率达到了 72.0%。相比之下，他们测试了一种更简单、更快速的方法，即寻找特定的词汇，例如检查一个句子是否含有否定词如“不”，而另一个句子则没有。虽然这种捷径更快，但它使系统的准确性显著下降，降至 66.5%。研究人员得出结论，这种快速捷径并不是一个好的权衡；准确性的损失过高，无法通过微小的速度提升来抵消。他们明确排除了这种捷径作为现实世界系统中过滤答案的安全方式。
研究团队并没有试图跳过繁重的工作，而是发现了一种让准确模型运行得更高效的方法，且不会损失任何精度。他们发现，通过将问题和答案分成小组，并根据它们的长度按特定顺序一起处理，可以减少计算机工作的总时长。在他们的测试集上，这种方法将总处理时间缩短了 10.55%，同时产生的正确答案与逐一处理问题时完全一致。这表明，对于需要同时检查许多引用的系统，组织工作负载是一种比使用较弱、较快的过滤器更好的策略。
该研究还探讨了使用来源的年龄作为识别过时事实的方法。研究人员测试了一个简单的规则：如果一个来源超过 90 天，则标记以供审查。他们将此规则应用于五个关于事实随时间发生变化的真实世界问题示例，以及一个事实未发生变化的示例。由于他们测试组中的所有来源都已 148 天，该规则标记了其中的每一个。它正确识别了四个事实发生变化的案例，但也标记了那个事实保持不变的案例。这一结果表明，虽然一个旧日期是一个很好的信号，提示可能需要进行审查，但它本身并不能证明一个事实是错误的。一个来源可以很旧但仍然正确，正如一个新的来源也可能出错一样。
最终，这项研究为如何构建更可靠的人工智能描绘了一幅清晰的蓝图。最有效的路径不是依赖于可能忽略语言细微差别或时间复杂性的快速、简单规则。相反，最好的方法是使用一个仔细、准确的模型来检查文本含义，并通过高效地组织工作来让该模型运行得更快。研究人员还强调，检查来源的年龄应该仅触发人类或更高级的系统进行深入查看，而不是作为判断一个事实是否真实的最终裁定。通过将检查含义的任务与检查日期的任务分离，并避免牺牲准确性的捷径，我们可以构建出既快速又可靠的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。