Semantic Cooperative Games for Contribution Attribution in LLM-Based Multi-Agent Systems
本文介绍了语义合作博弈（Semantic Cooperative Games, SCG）及其高效单轨迹算法 SLIC，该研究利用语义生成超图和语义沙普利值（Semantic Shapley Value），为基于大语言模型的多智能体系统提供快速、无需反事实且具有可解释性的贡献归因，在保持准确性的同时显著降低了计算成本。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一群朋友正试图共同解决一个巨大且复杂的谜题。他们互相传递便条，每个人都在添加碎片、纠正错误或提出新的角度。在人工智能的世界里，这些“朋友”就是协同工作的多个大语言模型（LLM），被称为多智能体系统（multi-agent system）。他们不仅仅是在聊天；他们遵循严格的工作流来构建诸如医疗诊断、法律摘要或代码之类的东西。但棘手之处在于：当最终的谜题被解开（或失败）时，我们如何知道谁才真正值得获得荣誉？是发现第一个线索的人，是把点连接起来的人，还是检查边缘的人？
长期以来，科学家们一直尝试使用一种叫做“反事实估值”（counterfactual valuation）的方法来解决这个问题。这就像一位侦探在犯罪发生后问道：“如果我们把这个人从故事中抹去会怎样？”他们会删除一个智能体，重新从头运行整个对话，并观察结果是否发生了变化。如果答案改变了，说明该智能体很重要。但这就像是通过拆解闹钟、用十种不同的方式重新组装它，并寄希望于时间能对得上，来试图修理一个坏掉的闹钟。这既耗时，又耗能，而且由于人工智能具有一定的不可预测性（就像掷骰子一样），结果往往会产生波动。这是一种寻找真相的、混乱且昂贵的方法。
就在这时，一篇新论文提出了一个聪明且更快速的想法。作者们建议不要通过重新掷骰子或重组闹钟，而是观察已经发生的单次真实对话，并追踪意义的“面包屑”。他们将这种方法称为语义合作博弈（Semantic Cooperative Games, SCG），并将算法命名为 SLIC。
它是如何运作的呢？我们可以用一个有趣的类比来理解：想象团队的对话是一张巨大的、缠绕在一起的绳网。绳子上的每个结都是一个信息点（“语义节点”），而连接它们的绳子则展示了一个想法是如何引向另一个想法的。有些绳子由智能体 A 握着，另一些则由智能体 B 握着。论文指出，我们不需要剪断绳子并重新系好，来观察谁更重要。相反，我们可以观察完成后的网络，并问道：“哪些结对于支撑起最终的画面是绝对必要的？”
作者们意识到，在许多情况下，如果智能体 A 写了一句话，而智能体 B 只是重复了它，那么智能体 B 实际上并没有增加任何新内容。在旧有的“重新运行”方法中，如果你删除了智能体 A 导致系统陷入恐慌，你可能会在无意中把功劳记在智能体 B 头上。但新的 SLIC 算法使用了一个逻辑技巧，叫做“布尔吸收”（Boolean absorption）。这就像是意识到如果你有一把钥匙和一把备用钥匙，而门仅凭第一把钥匙就能打开，那么第二把钥匙就是多余的。SLIC 通过观察思想的流动而非猜测“可能发生的情况”，能够瞬间识别出这些冗余。
论文证明，在正常、直接的情况下，这种新方法给出的答案与旧有的、缓慢的“重新运行”法完全一致。但真正的魔力在于速度和稳定性。在一项使用医学基准测试（一个用于检查健康相关 AI 的数据集）的测试中，新方法将计算成本降低了 93.3%。这是一个巨大的降幅！这意味着我们可以在不需要运行一百次模拟的情况下，搞清楚在一个 AI 智能体团队中，谁承担了主要的重任。
此外，在更复杂、更混乱的场景中（即智能体扮演不同角色时），新方法不仅能给出一个分数，还能讲述一个故事。它可以识别出某个智能体是在结构上支撑着系统（就像建筑中的支柱一样），即使他们并没有写很多文字；或者识别出某个智能体的失败会导致系统的崩溃。它与实际干扰智能体（例如给它们提供“幻觉”或虚假信息）时的表现高度一致，在某些测试中的对齐得分高达 1.000。
那么，核心结论是什么？我们不需要通过破坏机器来了解它的运作方式。通过追踪单次真实对话中的思想路径，我们可以公平且快速地判定谁做出了什么贡献。这是一个从“通过破坏来猜测”到“通过追踪来理解”的转变，使得我们在未来构建更好、更可靠的 AI 智能体团队变得更加容易。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。