Hallucination Detection Using Evidence Retrieval and Natural Language Inference
本文介绍了 TruthLens，这是一个基于证据的流水线，通过提取单个陈述、利用 BM25 和 MiniLM 的混合方法检索证据，并使用 DeBERTa-v3 NLI 模型对这些陈述进行验证，从而检测大语言模型响应中的幻觉，该方法在 FEVER 数据集上实现了中等准确度，同时也凸显了在泛化能力和证据覆盖范围方面的局限性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的广阔版图中，大型语言模型在写作方面已变得异常出色。它们能够撰写流畅的文章、回答复杂的问题并讲述连贯的故事，其表现出的自信程度往往让人觉得与人类专家无异。然而，在这光鲜亮丽的外表之下，隐藏着一个持久的缺陷：这些系统有时会生成听起来看似合理、实则事实错误、缺乏依据或完全虚构的内容。这种被称为“幻觉”的现象提出了一个重大挑战，因为一个答案可能混合了真假参半的事实。如果系统仅仅将整个回答标记为“错误”或“正确”，就会忽略掉哪些具体部分是值得信赖的这一细微差别。为了解决这个问题，研究人员正转向一种验证方法，即将每一句话视为一个独立的陈述，并将其与已知事实库进行比对，以查看证据是支持、反驳还是仅仅无法回应该陈述。
来自印度理工学院鲁尔克分校的一个研究小组开发了一个名为 TruthLens 的原型系统来应对这一问题。TruthLens 并不只是猜测一个答案是否真实，而是像一名严谨的事实核查员一样，将一段长篇回答拆解为单个句子。对于每个句子，系统都会搜索一个庞大的数字文本库以寻找相关的段落。它使用两种不同的策略来寻找这些段节：一种寻找精确的词汇匹配，另一种则理解词汇背后的含义，即使措辞有所不同。系统随后结合这两种搜索的结果，以挑选出最可能的候选证据。最后，它使用一个专门的语言模型将原始陈述与选定的证据进行对比，判定证据是证明了该陈述、反驳了该陈述，还是使问题悬而未决。
研究人员使用一个源自标准事实核查基准的近两万个示例数据集对这种方法进行了测试。他们首先测量了系统寻找正确证据的能力。当仅使用词汇匹配搜索时，系统在约一半的情况下找到了正确的证据。当使用基于含义的搜索时，其表现略有提升。然而，当他们结合这两种方法时，系统在第一次尝试时成功定位了 56.51% 的相关证据，如果查看前五个或前十个建议，则在超过 65% 的案例中成功定位。这种混合方法被证明是收集潜在证据最有效的方式，表明仅依赖单一的搜索方法不足以捕捉到所有必要的信息。
一旦系统找到了最佳证据，它就必须判定该证据的含义。研究人员测试了几种配置，以观察哪种设置能产生最准确的判定。他们发现，将单一的最佳证据输入给验证模型，效果优于尝试聚合多个证据片段。在另一组包含两千个系统从未见过的示例中，这种最终配置正确分类陈述的比例为 62.25%。虽然对于一个原型系统而言，这是一个稳健的表现，但结果也凸显了该系统的难点所在。该模型在识别陈述是被支持还是被反驳方面表现出色，但在区分“由于现有文本无法提供支持而导致的缺失”与“实际错误”方面却感到困难。在这些不确定的案例中，系统往往会犹豫，将其标记为“未知”而非做出明确判断。
研究还表明，系统的成功与其能够获取的证据质量和范围紧密相关。研究人员指出，他们的原型系统依赖于一个特定的、有限的文本集合，它无法验证那些不存在于该库中的事件或事实。此外，当一个陈述需要连接多个信息点或解析诸如代词之类的引用关系时，系统有时会失效，这会干扰其逐句分析的过程。为了测试该方法是否能在另一种用于通用问答的数据集上运行，研究人员发现该系统无法很好地迁移，这表明为特定类型事实核查任务构建的工具，若不经过重大调整，可能无法普遍适用。
最终，TruthLens 证明了构建一个能够拆解 AI 回答并将其与事实数据库进行比对的流水线是可行的，但也暴露了当前技术的局限性。该系统并非能够瞬间揭示任何陈述之绝对真理的神奇魔棒；相反，它是一个展示在现有证据下哪些内容是可以被验证的工具。它能成功识别出陈述是否被文本支持或反驳，但它也能诚实地承认证据缺失或不足的情况。研究人员得出结论，尽管他们的混合检索与验证方法行之有效，但最大的障碍仍然在于处理复杂的推理、解析模糊的引用以及扩展系统跨不同类型数据的能力。目前，该系统作为一个功能性的原型，为人类如何应对信息洪流提供了一个窥见未来的窗口，前提是我们必须记住，最终的判断仍需要人类的监督。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。