Position: How can Graphs Help Large Language Models?
本文探讨了图结构如何通过提供最新知识以减少幻觉、借助基于图的提示技术实现高级推理,以及提升跨领域结构化数据的理解能力,从而增强大语言模型。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,将大型语言模型(LLM)比作才华横溢、博览群书的图书管理员,他们几乎记住了截至某个特定日期之前世界上的每一本书。他们擅长写故事、回答一般性问题以及聊天。然而,他们有两个重大弱点:
- 他们被困在过去:他们不知道昨天发生了什么。
- 他们有时会“产生幻觉”:因为他们过于自信,可能会编造听起来真实但并非事实的信息。
这篇论文提出了一个简单的问题:如果我们给这些图书管理员一张地图,会怎样?
在此语境下,“图”(Graph)就像一张巨大的、相互连接的事实、思想和关系地图。图书管理员不再仅仅阅读单词列表,而是可以查看一张展示万物如何相互连接的地图。论文阐述了这张地图帮助图书管理员的三种主要方式。
1. 地图作为“事实核查员”(阻止幻觉)
想象图书管理员的记忆是一座多年未更新的图书馆。如果你问:“上周谁赢得了选举?”图书管理员可能会基于旧的模式进行猜测,从而导致错误的答案(即幻觉)。
图充当了连接在图书管理员书桌上的实时、最新的百科全书。
- 工作原理:在图书管理员回答之前,系统会检查地图。如果地图显示“事实 A 是真实的”,图书管理员就必须坚持这一事实。
- 类比:这就像给图书管理员一张“作弊小抄”,他们在发言前必须查阅。如果小抄上写着“天空是蓝色的”,图书管理员就不能自信地说“天空是绿色的”。
- 过程:论文描述了使用这张“作弊小抄”的不同方式:
- 训练前:教导图书管理员在他们还在学校(学习)时阅读地图。
- 训练中:给图书管理员一个特殊工具,让他们在学习过程中查阅事实。
- 训练后:给图书管理员一个“搜索引擎”(如 GraphRAG),让他们在回答问题前即时查阅事实。
- 发言后:如果图书管理员犯了错误,则利用地图来捕捉错误并重写答案。
2. 地图作为“思维策略”(更好的推理)
有时,图书管理员需要解决复杂的谜题,比如规划一次旅行或解决数学问题。如果他们只是直线思考(步骤 1 → 步骤 2 → 步骤 3),可能会陷入困境或错过更好的路径。
图允许图书管理员像网络一样思考,而不是像直线一样。
- 思维链(CoT):这就像一条单一的思维线。“我需要去商店,所以我需要一辆车,所以我需要汽油。”
- 思维树(ToT):这就像一棵分叉的树。图书管理员会想:“我可以开车,也可以坐公交车,或者步行。”他们会探索所有三个分支,看看哪个最有效,然后选出优胜者。
- 思维图(GoT):这是最先进的地图。图书管理员可以在想法之间来回跳跃。“等等,如果我坐公交车,我就没法带我的杂货,所以我也许应该开车,但那样我又得找停车位……"他们可以组合不同的想法,摒弃糟糕的想法,并循环回来修正错误。
- 权衡:论文指出,虽然这种“网络式思考”更聪明,但它比直线思考消耗更多的能量和时间(就像消耗更多电力)。
3. 地图作为“专业翻译器”(理解复杂数据)
图书管理员擅长阅读文本,但有时他们难以处理不仅仅是句子的东西,比如计算机代码、数据库表或网站结构。这些东西具有隐藏的“形状”或连接,仅靠文字无法很好地捕捉。
图帮助图书管理员看清这些复杂事物的结构。
- 代码:图书管理员不再只是阅读代码行,而是查看一张显示软件不同部分如何相互连接的地图(就像代码的地铁图)。这有助于他们发现漏洞或修复错误。
- 数据库:当查看包含许多表格的电子表格时,图书管理员利用图来理解行和列之间的关系,从而更容易回答诸如"2023 年有多少客户购买了产品 X?”这样的问题。
- 工具:如果图书管理员需要使用许多不同的工具(如计算器、天气应用和地图),图可以帮助他们组织下一步使用哪个工具,就像旅程的流程图一样。
未来:构建“大脑”
论文最后展望未来。它指出,人工智能的未来可能更像人脑。
- 稀疏架构:图书管理员不再为了寻找答案而阅读书中的每一个字,他们可能只查看最重要的页面(就像一张“稀疏”的地图)。这节省了能量。
- 记忆系统:就像人类拥有短期记忆(我们刚刚听到的内容)和长期记忆(我们多年前学到的内容)一样,未来的人工智能可能会利用图将长期事实与其即时思维分开存储,使其更高效且不易遗忘。
总结:
这篇论文认为,虽然大型语言模型功能强大,但它们就像是一个拥有糟糕记忆和线性思维方式的天才。通过赋予它们图(事实和连接的地图),我们可以帮助它们核查事实、进行更具创造性的思考,并理解代码和数据库等复杂结构,从而使它们变得更聪明、更可靠、更有用。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。