Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations
本文介绍了 Tokengeist，这是一个可扩展的框架，它通过在对话轮次间递归地追踪标记级依赖关系，解决了单次传递归因方法在多轮对话中的局限性，与现有方法相比，在恢复复杂的溯源图方面实现了显著更高的准确率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图弄清楚为什么你最喜欢的电视剧里的侦探角色突然决定用一种特定的方式去破案。你知道最终的答案，但剧中的时间线跳跃了：先是看到侦探在与一名证人交谈，接着是在查看地图，然后是给朋友打电话，最后才做出了决定。如果你只看最后那一幕，你可能会认为这个决定是源于那位朋友。但如果那位朋友只是在重复证人说过的话，而证人又是从地图中获取的信息呢？要真正理解这个故事，你不能只看最后的瞬间；你必须通过每一个对话和行动，一步步地向后追溯线索的痕迹。这正是科学家们试图用人工智能（AI）解决的一种谜题。
在 AI 的世界里，特别是在大型语言模型（即我们今天使用的超智能聊天机器人）领域，存在着一个日益增长的问题。这些模型经常与我们进行长对话，它们会提问，我们回答，它们检查数据库，然后给出最终答案。有时，最终答案取决于我们在五轮对话前提到的一个微小细节，模型随后对该细节进行了总结，接着模型利用该细节调用了一个工具，最终导出了答案。核心问题在于：我们如何能准确看到那段长对话中究竟是哪些部分塑造了最终答案？目前，大多数试图回答这个问题的工具都像是一把只能照亮眼前房间的手电筒。它们可以告诉你整个聊天过程中哪些词汇看起来很重要，但它们会错过信息如何在开头与结尾之间传递的“故事线”。这至关重要，因为如果我们无法追踪 AI 获取事实的路径，我们就无法信任它、修复它的错误，也无法理解它为什么会对我们撒谎。
于是，由研究员 Jessica Tang、Shraddha Barke 和 Sharad Agarwal 引入的新方法——Tokengeist 应运而生。把过去追踪 AI 思路的方法想象成一张“扁平”的地图。如果你要求这张扁平地图去寻找谣言的源头，它可能会指向最后告诉你谣言的那个人，但它不会告诉你那个人又是从谁那里听到的。研究人员将这种失败称为**“溯源坍缩”（provenance collapse）**。这就像一场传话游戏，最终的玩家被归咎于传递了信息，尽管信息早在三个人之前就已经发生了扭曲。扁平化的方法将整个历史压缩成了一个单一的层级，从而错失了信息的深层、多步骤的旅程。
为了解决这个问题，团队构建了 Tokengeist，它扮演着一个递归侦探的角色。它不再仅仅盯着最终答案并问道：“你和谁聊了天？”，而是问道：“你和谁聊了天？”，并且对于你提到的每一个人，它接着会问：“那个人又和谁聊了天？”它会不断向后挖掘，一步步穿透对话轮次。它将对话视为一棵分支树（或思想的家谱），沿着分支一路追溯到最初的叶片——即原始的用户输入或工具结果。
研究人员使用他们创建的一个名为 MTCABENCH 的新基准测试来测试这一想法，该基准测试包含了来自 665 个不同多轮对话中的 3,845 个特定答案部分。这些对话非常复杂，涉及诸如预订航班或查询银行账户等工具，AI 必须将信息串联起来完成多个步骤。他们发现，旧有的“扁平化”方法表现得很糟糕。当被要求寻找信息的原始来源时，扁平化方法的成功率不到 20%。它们总是卡在故事的中段。
相比之下，Tokengeist 改变了局面。通过递归地向后追踪路径，它成功找到原始信息源的成功率超过了 90%。它不仅仅是在猜测；它绘制出了完整的旅程。例如，如果 AI 说：“你可以取消航班，因为你有保险”，扁平化方法可能只会指向取消确认单。然而，Tokengeist 会将其追溯到显示保险信息的工具结果，再追溯到解锁该工具结果的用户 ID，最后追溯到用户的原始请求。
论文指出，这种递归方法是实现 AI 透明化的关键。它表明，仅仅观察整个对话是不够的；我们需要理解对话的“结构”，即一轮对话是如何依赖于另一轮对话的。虽然该方法在他们测试的特定 AI 模型（这些模型是开源且规模相对较小的）上效果最好，但其结果强烈表明，对于复杂的、多步骤的 AI 智能体，我们不能再将对话视为一份扁平的词汇列表，而应将其视为一个相互连接的依赖网络。Tokengeist 不仅告诉我们 AI 说了什么，它还帮助我们理解了它为何会这样说的整个故事过程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。