Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation
本文介绍了“推导提示”，一种面向检索增强生成的新型基于逻辑的提示技术，该技术通过构建可解释的推导树，系统性地减少知识密集型任务中的幻觉与错误推理。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位非常聪明、博览群书的图书管理员（即人工智能），他擅长回答问题，但有时会在答案不明显时凭空捏造或产生混淆。这是当前人工智能模型的一个常见问题，尤其是在要求它们基于一堆文档回答具体问题时。
本文介绍了一种与这位图书管理员对话的新方法，称为推导提示（Derivation Prompting）。作者教导图书管理员不要仅仅问“答案是什么？”然后听天由命，而是逐步构建答案，就像解一道谜题或证明一道数学题一样。
以下是其工作原理的分解说明，分为几个简单概念：
1. 问题：会“幻觉”的图书管理员
通常，当你向人工智能提问时，它会从书中抓取几页相关内容，并试图立即写出答案。有时它能答对。但很多时候，它可能会“幻觉”——即自信地陈述书中实际上不存在的内容，或者混淆事实。这就像一个学生在考试中猜测答案，因为他认为自己知道，而不是去查阅教科书。
2. 解决方案：构建“逻辑树”
作者提出了一种受逻辑证明启发的新方法。想象你在构建一棵树。
- 树根：这些是你在文档中发现的事实（即“假设”）。
- 树枝：这些是你连接这些事实所采取的步骤。
- 果实：这就是最终答案。
人工智能不再直接跳到果实，而是被迫先长出树枝。它必须遵循一套特定的规则（就像食谱一样）来组合这些事实。
3. 规则：人工智能的“工具箱”
论文定义了一组人工智能可以执行的“动作”，类似于棋盘游戏中的走法。例如：
- 提取（Extract）：“从文档中取出这个特定的句子。”
- 组合（Combine）：“将事实 A 和事实 B 放在一起。”
- 润色（Refine）：“重新措辞这个事实以更好地契合问题，但不要改变其含义。”
- 无信息（NoInfo）：“如果没有任何事实有帮助，就承认你不知道。”
人工智能必须选择一个规则，将其应用于事实，并写下结果。然后，它查看该结果并决定：“这是最终答案吗？如果不是，我需要对这一新结果使用另一个规则。”
4. 为何有效：“建筑工地”类比
将普通的人工智能回答想象成一个只是砌起一面墙并希望它能站住的承包商。如果墙是歪的，在倒塌之前你并不知道原因。
推导提示则像是一个必须向你展示蓝图和逐步施工日志的承包商。
- 可解释性：因为人工智能构建了一个步骤“树”，你可以查看中间的树枝并说：“等等，你把这两个事实组合错了，”或者“你在这里编造了一个事实。”由于路径是可见的，更容易发现错误。
- 可控性：通过迫使人工智能遵循规则，它不太可能偏离轨道并凭空捏造。这就像给人工智能一份严格的检查清单；它不能跳过步骤，也不能发明新的步骤。
5. 他们的发现
作者在现实世界的问题上测试了这种方法：回答学生关于大学行政规则的问题。他们比较了三种方法：
- 长上下文（Long Context）：一次性将整本书提供给人工智能。
- 标准检索增强生成（Standard RAG）：通常的抓取几页并回答的方法。
- 推导提示（Derivation Prompting）：这种新的逐步规则方法。
结果：
- 新方法显著减少了“糟糕”的答案（即错误或凭空捏造的答案）。
- 它并不一定让人工智能更快地找到正确答案，但它使其给出的答案更加可靠。
- 它在非常聪明的人工智能模型（Claude Opus）上效果最好。较小、能力较弱的模型（Claude Haiku）虽然能遵循规则，但有时会卡住或产生较少的高质量答案，这表明人工智能需要“足够聪明”才能遵循逻辑指令。
总结
这篇论文提出了一种方法，通过迫使人工智能使用基于逻辑的规则树结构来“展示其解题过程”，从而阻止人工智能进行猜测。它将人工智能从一个自信的猜测者转变为一个谨慎的、逐步的问题解决者，使其在用于重要的基于事实的问题时更加安全。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。