Locally Coherent, Globally Incoherent: Bounding Compositional Incoherence in Multi-Component LLM Agents
本文利用可运行时计算的组合残差,对多组件大语言模型智能体中“局部连贯但全局不连贯”的失效模式进行了形式化与量化,证明局部连贯往往无法确保全局概率一致性,且当前大语言模型侧的缓解措施效果有限,而确定性投影与序列监控则提供了可行的解决方案。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
以下是用通俗语言和日常类比对论文《局部连贯,全局不连贯》的解释。
核心难题:“太多厨师”的困境
想象你经营一家餐厅,雇了四位不同的专家厨师来共同策划一场盛大的宴会。
- 厨师 A 只负责策划开胃菜。
- 厨师 B 只负责策划主菜。
- 厨师 C 只负责策划甜点。
- 厨师 D 只负责策划饮品。
每位厨师都是天才。他们对自己负责的环节都充满信心。厨师 A 说:“我有 80% 的把握我们需要 50 份开胃菜。”厨师 B 说:“我有 80% 的把握我们需要 50 份主菜。”以此类推。
问题在于:餐厅老板(即“智能体”)只是把所有数字加起来。但由于厨师们彼此没有沟通,他们可能会不小心为 200 人做计划,而餐厅实际上只能容纳 100 人。或者,他们可能会规划出 100% 的概率提供开胃菜,同时又规划出 100% 的概率提供主菜,尽管菜单规定每张桌子每顿饭只能选择其中一种。
在人工智能领域,这被称为**“局部连贯,全局不连贯”**。
- 局部连贯:每个 AI 模型(厨师)在自己微小的任务上做得很好。
- 全局不连贯:当你把他们的答案拼凑在一起时,总体的数学逻辑行不通。概率加起来超过了 100%(或不足),造成逻辑混乱。
论文的主要发现
作者发现,即使每个单独的 AI 模型在自身范围内都完美校准且合乎逻辑,将它们组合起来往往会破坏数学逻辑。
他们将这种被破坏的数学称为**“组合残差”()**。你可以把它想象成一个“垃圾计量表”。
- 如果读数为0,组合后的答案是完美的。
- 如果读数很高,组合后的答案在逻辑上是破碎的(例如,声称下雨的概率是 150%)。
他们使用四种不同的 AI 模型,在近 2000 种不同场景(如预测选举获胜者、体育比赛结果或科技 IPO)中进行了测试。他们发现,33% 到 94% 的情况下,组合后的答案是破碎的,尽管各个单独的 AI 部分运作正常。
为什么会发生这种情况?
论文解释说,AI 模型对大局是“视而不见”的。
- 盲目的专家:当你问 AI“美国赢得世界杯的概率是多少?”时,它会根据其训练数据给出答案。
- 缺失的上下文:它不知道你也问了另一个 AI“巴西赢得的概率是多少?”以及“德国赢得的概率是多少?”。
- 结果:美国 AI 说 60%,巴西 AI 说 60%,德国 AI 说 60%。总和是 180%。这是不可能的。AI 并不知道它是一个团队的一部分,而团队的总和必须等于 100%。
他们尝试过(但失败)的解决方案
研究人员试图通过“软性”方法来修复这个问题,这就像给厨师们提供更好的指令:
- 检索:让厨师们在谷歌上查找事实。(失败:他们仍然无法就总数达成一致。)
- 更好的提示:告诉厨师们,“记住,你们是团队的一部分,你们的答案加起来必须等于 1。”(失败:他们仍然会犯错。)
- “老板”AI:让一个聪明的 AI 经理听取所有厨师的意见并重写答案。(失败:经理往往让情况变得更糟,或者未能修复数学问题。)
结论:你无法仅仅通过更好地与 AI 对话来修复这个问题。AI 模型在设计上就过于孤立。
真正的修复方案:“数学修正器”
既然无法修复厨师,你就需要一个数学修正器,在厨师们完成工作后介入。
作者提出了一种名为分层 Boyle–Dykstra 投影的方法。
- 类比:想象厨师们递给你一份重达 200 公斤的食材清单,但你的卡车只能运载 100 公斤。与其让厨师们重写他们的清单(他们做得很差),不如直接用一台机器修剪堆顶多余的重量,直到它正好能装进卡车,同时尽可能保持食材的相对比例与原始清单一致。
- 工作原理:该系统接收那个破碎的、超过 100% 的答案,并使用严格的数学公式将其“投影”到一个有效、合乎逻辑的形状(一个“多面体”)上。它强制数字遵守概率定律,而无需 AI 去“思考”这一点。
这种方法是确定性的(它总是以相同的方式工作)且快速。它能瞬间将一个破碎的、150% 概率的答案转化为完美的 100% 答案。
你为什么要关心?(“遗憾”因素)
论文表明,这不仅仅是一个理论数学问题;它会在决策中造成真实的金钱损失。
- 如果你是一名赌徒或决策者,使用这些 AI 智能体,破碎的答案会导致遗憾。你可能会押注一匹 AI 声称有 60% 胜率的马,但因为 AI 的数学逻辑是破碎的,那 60% 实际上是个谎言。
- 通过使用他们的“数学修正器”,他们表明你可以省钱(以“纳特”为单位,即信息增益的单位),因为你不再基于不可能的数学进行下注。
一句话总结
当你要求多个 AI 模型解决一个大谜题的各个部分时,它们给出的答案往往无法加总;修复这一问题的最佳方式不是让它们更努力地尝试,而是在使用它们之前,利用一种数学“修剪工具”强制让它们的答案变得合乎逻辑。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。