Toward Effective and Reliable LLM Agents via Dynamic Ontology
本文介绍了 OaK，这是一个通过动态构建和完善面向任务的本体来显式地对知识和关系进行落地，从而增强大语言模型智能体在多步推理中的证据利用率和可靠性的框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，一种被称为“大语言模型”的特定类型软件已经成为理解和生成人类语言的强大工具。这些模型常被用于构建“智能体”（agents），即旨在不仅进行聊天，而且通过将复杂任务分解为更小的步骤（如搜索信息、使用数字工具以及根据所获信息做出决策）来执行任务的程序。然而，当这些智能体尝试执行更长且更复杂的任务时，它们往往会遇到困难。它们可能会丢失所需的关键事实，做出站不住脚的逻辑跳跃，或者因为过度依赖其自身记忆中存储的海量非结构化知识而陷入错误循环。为了解决这个问题，研究人员正在探索如何为这些智能体提供一个更清晰、更有组织的导航地图，确保它们的每一步行动都基于可靠的证据而非猜测。
南京大学及其他机构的研究团队开发了一种名为 OaK 的新框架，以解决这些可靠性问题。他们的工作聚焦于一个被称为“本体”（ontology）的概念，这本质上是一个关于概念及其关系的结构化词典，并以计算机可以严格解释的方式编写。虽然创建这些结构性的传统方法需要专家手动定义每一条规则——这是一个缓慢且困难的过程——但新系统实现了针对特定任务自动创建这些地图。研究人员发现，通过为每个任务构建一个定制的动态结构，他们可以显著提高智能体规划和执行多步任务的能力，使过程更加透明且不易出错。
OaK 系统的核心是一个发生在智能体尝试执行实际任务之前的两阶段过程。首先，系统会查看一组训练示例和特定工作的要求，例如规划旅行或管理客户数据。随后，它会自动起草一个模式（schema），即一个定义相关重要信息类型（如“酒店”、“航班”或“预算”）及其连接方式的蓝图。这个蓝图不仅仅是一个列表；它由一个逻辑推理器进行严格检查，以确保不存在矛盾或缺失规则。如果蓝图有缺陷，系统会在继续下一步之前对其进行修复。一旦蓝图稳固，系统就会构建一个知识图谱，即一个根据蓝图规则组织起来的、从训练材料中提取的实际数据点网络。
有了这个结构化的基础，系统会创建一套专门的工具（即函数）供智能体使用。系统不再是让智能体自行摸索如何搜索航班、按价格筛选以及检查可用性，而是提供能够正确执行这些特定动作的预建工具。随后，智能体在蓝图严格规则的引导下使用这些工具来解决问题。如果智能体犯错或任务失败，一个“评判者”模型会审查整个过程，准确识别出蓝图或工具在何处出了问题，并提出改进建议。这种构建、测试和精炼的循环会重复多次，直到系统足够健壮以应对未见的疑问。其结果是一个“内核”（kernel），一个冻结的、可靠的接口，智能体通过它与数据进行交互，确保每一项决策都有据可查，并防止智能体意外捏造事实或忽略约束条件。
研究人员在三种截然不同的挑战上测试了这种方法，以观察其在现实世界中的表现。第一个是旅游规划任务，智能体必须在遵守严格的预算和时间表约束的情况下安排航班、酒店、餐饮和活动。第二个涉及商业环境下的客户关系管理，要求智能体遵循复杂的公司政策并检索特定记录。第三个测试了结合各种外部来源（如航班数据库和餐厅评论）来回答详细问题的能力。在每种情况下，OaK 系统都优于标准方法。例如，在旅游规划任务中，当使用其中一个基础模型时，完成完整且有效的行程的成功率从大约 15% 提升到了近 56%，在使用另一个模型时，则从约 4% 提升到了近 20%。在商业和数据任务中，该系统也表现出了显著的增益，特别是在智能体需要遵循严格规则或整合多个表格数据的情况下。
研究还揭示了这些改进发生的原因。当研究人员移除定制工具或停止系统进行多轮蓝图精炼时，性能大幅下降。这表明，仅仅让智能体接触数据是不够的；智能体需要结构化的规则和预封装的工具来有效地协调其行动。该系统的运作原理是通过使智能体的推理过程变得可见且受限，从而防止其陷入无根据的假设。虽然这种新方法比一些简单的方法需要稍长的运行时间并产生更多的输出文本，但它使用的输入 token 更少，这表明其结构化接口使智能体处理所需信息时的效率更高。研究人员得出结论，通过将领域知识转化为可执行的、自我修正的接口，我们可以使人工智能智能体在处理现实应用中所需的复杂多步推理时，变得更加可靠、值得信赖且功能强大。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。