NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering
NoSy-RAG 是一个模块化神经符号检索增强生成框架，它通过从检索到的文本中合成可归因的 Prolog 模块，以提供透明且确定性的答案，并能自动检测缺失的用户上下文，在 ShARC 基准测试上实现了优于标准 RAG 基准模型的准确度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图解开一个谜团，但你的助手不是侦探，而是一个超级聪明、喋喋不休的机器人。这个机器人读遍了图书馆里几乎所有的书，可以回答你几乎任何问题。这就是我们所说的“大语言模型”（LLM）。然而，这里有一个陷阱：有时这个机器人会编造事实，或者说产生“幻觉”，而且当它解释自己的思考过程时，听起来更像是一场模糊的梦境，而不是一张清晰的地图。你无法总是确定它为什么给出某个答案，或者它是否真的读到了图书馆里的正确页面。在法律或医学等严肃领域，这是一个大问题，因为你需要确切知道信息的来源以及信息是否真实。为了解决这个问题，科学家们一直尝试将这些爱聊天的机器人与“符号推理”（symbolic reasoning）相结合——这是一种类似于严格、循序渐进数学证明的计算机逻辑。把这想象成给机器人一个严格的清单来遵循，这样它就不能仅仅靠猜测。大问题在于：我们能否制造出一个既能理解人类，又足够严谨以至于值得信赖的机器人？
由此，NeSy-RAG 诞生了。这是由 Jonas Gann 和 Michael Gertz 提出的一种新框架，试图解决这个谜题。想象一下，机器人的图书馆是一个装满散乱纸张（文本块）的巨大仓库。通常，当你提出一个问题时，机器人会抓取几张纸，阅读它们，然后猜测答案。NeSy-RAG 的做法不同。当它抓取一张纸时，它不仅仅是阅读，而是立即将那张纸翻译成一个微小的、自包含的“逻辑谜题”，并使用一种叫做 Prolog 的语言编写。这就像是将一段文字变成了一组严格的“如果-那么”（If-Then）规则。例如，如果文本说：“如果你超过 18 岁，就可以领取福利”，系统就会将其转化为一条规则：如果 年龄 > 18，那么 符合资格。
这里是它聪明的地方。该系统从发现的纸张中构建起一整套逻辑谜题的集合。但它并没有试图一次性解决整个混乱的图书馆，而是使用了一个特殊的技巧，叫做“0 元谓词”（0-arity predicates）。把这想象成将每个复杂的规则变成一个简单的“是/否”问题，比如“这个人是否超过 18 岁？”或者“这个人是否是公民？”机器人随后使用智能搜索来寻找仅与你的查询相匹配的特定“是/否”问题。它将这些问题缝合在一起，构成最终的逻辑查询并运行它。因为它运行的是逻辑程序，所以答案是确定性的——要么是真的，要么是假的，不存在猜测。更棒的是，系统为每一步都保留了一份完美的“收据”，展示了哪 piece 的文本导致了哪条规则，因此你可以追踪答案回溯到源头。
但如果机器人没有足够的信息怎么办？也许你问：“我有资格吗？”但机器人不知道你的年龄。普通的机器人可能会直接猜“是”或“否”，然后碰运气。然而，NeSy-RAG 拥有一个“知识缺口检测器”。它观察自己的逻辑谜题并意识到：“嘿，我缺少‘年龄’这个变量的值！”它不会进行猜测，而是停下来并询问你：“你多大了？”它会不断提出这些有针对性的后续问题，直到它集齐了解决谜题所需的所有碎片。这防止了机器人捏造事实。
研究人员在名为 ShARC 的数据集上测试了该系统，该数据集包含关于英国政府福利的法律问题。他们并没有针对这些特定数据对系统进行训练，而是让它即时进行处理。结果令人期待。NeSy-RAG 在 61.1% 的情况下给出了正确答案。这显著优于标准的“仅靠聊天机器人”系统——后者在没有逻辑规则的情况下尝试执行同样任务，正确率仅为 42.8%。新系统也更快，每个问题的平均处理时间为 7.4 秒，而标准聊天机器人方法为 11.4 秒。
然而，论文谨慎地指出，这还称不上是一个完美的解决方案。该系统目前仍是一个原型。有时，它会变得过于谨慎。如果它不能 100% 确定某个缺失的事实，即使可能并不严格必要，它也会要求更多信息，从而导致它说“我需要更多信息”（研究人员称之为“more”）而不是给出明确的“是”或“否”。事实上，它将大约 31% 的“是”类回答误分类为了“more”，这表明它产生了过多的“信息缺失”标记。虽然这对于速度来说有点令人恼火，但作者指出，在法律等高风险情况下，保持谨慎比自信地犯错要安全得多。该系统在处理“无关”问题时也遇到了一些困难，有时会对一段文本是否甚至与问题相关感到困惑。
简而言之，NeSy-RAG 展示了通过将文本转化为严格的逻辑谜题并询问缺失的信息，我们可以构建出更透明、更准确且不太可能撒谎的 AI。它现在还不是解决一切问题的万灵药，但它是朝着构建能够让你真正信任其真实性的 AI 助手迈出的坚实一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。