A Multi-Agent Framework for Diagnosis and Plan Repair in Knowledge Graph Question Answering
本文提出了 TRACE，这是一个多智能体框架，它通过针对性的证据检索与验证，动态地诊断并修复大语言模型的推理计划，从而增强知识图谱问答能力，以此缓解幻觉问题并提升其相对于现有静态方法的准确性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能飞速发展的世界里，计算机已经学会了阅读、写作和推理，其流利程度曾被认为是不可能实现的。这些被称为大语言模型的系统，可以通过利用它们所学习的海量文本来回答复杂的问题。然而，这种优势也是一种弱点。因为这些模型依赖于它们所记忆的内容，它们有时会编造事实，或者自信地陈述一些纯属虚假的内容，研究人员将这一问题称为“幻觉”。为了解决这个问题，科学家们开始将这些模型与知识图谱相连接，知识图谱是结构化的事实数据库，充当着可靠的世界地图。虽然这种结合有所帮助，但目前的方法通常遵循一条僵化的路径：生成一个计划，查找事实，然后向前推进。如果计划在早期阶段包含了一个错误，系统往往无法察觉，而是会沿着错误的路径一直走下去，直到最终答案出错。挑战在于，如何创建一个不仅能查找事实，还能停下来、检查自己的工作，并在证据与预期不符时进行自我纠正的系统。
一个研究小组通过一个名为 TRACE 的新框架解决了这一挑战，该框架旨在提高人工智能在回答复杂问题时的可靠性。TRACE 并没有让计算机在一系列步骤中疾驰而过，而是将过程分解为一个由规划、检查和修复组成的细致循环。系统首先要求大语言模型创建一个结构化计划，本质上是关于它打算如何寻找答案的一个逐步草图。随后，这个计划会被交给一个专门的代理（agent），由它前往知识图谱为每个具体步骤寻找证据。第三个代理则充当严格的审计员，将模型的预测观察结果与从数据库中检索到的实际事实进行对比。如果事实一致，系统便继续向前推进。如果不一致，系统就会触发修复机制，诊断究竟哪里出了问题，并据此调整计划。
研究人员在三组需要连接多条信息的难题上测试了这种方法。他们发现，TRACE 在与知识图谱交互的代理方法中表现始终优于其他方法。在使用被称为 GPT-4 的强大模型时，这一新框架实现了 80.0% 的精确匹配得分，这意味着它有 80% 的时间能得到正确答案，而排名第二的方法为 78.0%。更重要的是，该系统在部分答案的质量上表现出显著提升，得分从竞争对手的 48.8 提高到了 66.8。这表明，即使系统没有得到完美的答案，它也比以往的方法更接近真相。研究还表明，这种方法对于规模较小、能力较弱的模型也同样有效，有助于它们避免编造事实的常见陷阱。
TRACE 的独特之处在于它处理错误的方式。在传统系统中，如果模型在推理链的第一步犯了错，这个错误往往会扩散，导致完全错误的结论。TRACE 通过将知识图谱视为每一步的检查点来防止这种情况。如果系统试图说一位著名的画家死在某个特定城市，但数据库显示他死在另一个城市，系统会立即停止。它不仅仅是忽略冲突，而是会激活一种修复策略。根据错误的类型，系统可能会简单地用正确的事实替换错误的事实，或者回溯到之前的步骤尝试另一条路径，亦或是将问题拆解成更小、更易处理的部分，以确保没有遗漏任何约束条件。这一过程由一个评分系统引导，该系统评估哪种修复策略能提供最可靠的前进路径，从而确保最终答案是基于经过验证的证据而非猜测。
研究人员还考察了运行这种更为谨慎的系统的成本。由于该过程涉及检查并可能修复计划，人们可能会预期它会消耗更多的计算能力。然而，研究发现，与其他先进方法相比，TRACE 在得出答案时使用的词汇（或称 token）实际上更少。虽然它调用模型的次数比一个竞争对手略多，但处理的文本总量较低，这使得系统整体上更加高效。这种效率的提升源于系统在检测到死路时能够及早停止，而不是浪费资源沿着错误的路径走到终点。结果表明，通过建立自我纠正和验证机制，人工智能不仅可以变得更聪明，而且在推理方面也会变得更高效、更值得信赖。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。