🤖 AI

TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories

TraceGraph 引入了一种基于图的框架，将多模态智能体轨迹转化为共享决策图谱，以揭示隐藏的导航差异和失败模式，进而实现了一个陷阱感知恢复流水线，显著提升了在 SWE-bench 上的解决率。

原作者： Junjie Nian, Kang Chen, Ge Zhang, Yixin Cao, Yugang Jiang

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Junjie Nian, Kang Chen, Ge Zhang, Yixin Cao, Yugang Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观察五名不同的探险家试图破解一个复杂的迷宫。在过去，如果你想知道谁是最优秀的探险家，你只需看最终得分：“他们到达出口了吗？是或否？”

TraceGraph 这篇论文指出，这种“是或否”的评分隐藏了太多信息。这就像评价一位厨师时，只看蛋糕是否被吃掉了，却忽略了一个厨师为了吃到蛋糕甚至烧毁了厨房，而另一个厨师则是沿着花园走了一条风景优美的路径。

以下是 TraceGraph 的工作原理，通过简单的解释说明：

1. 共享地图（决策图景）

TraceGraph 并不是孤立地观察每个探险家的路径，而是将他们所有的步骤合并到一张巨大的、共享的地图上。

步骤： 每当一个 AI 智能体（探险家）采取一个动作（例如“读取文件”或“运行测试”）并看到结果时，它都会留下一个“足迹”。
聚类： TraceGraph 会观察这些足迹。如果两个步骤看起来非常相似（例如，两者都在尝试修复同一个文件中的特定错误），它就会画一条线将它们连接起来。
结果： 这创造了一个任务的网状结构或“图景”。有些区域是安全的且通向成功；而有些区域则是死胡同。

2. 三个关键事件

一旦构建好地图，TraceGraph 就会观察 AI 如何在上面移动。它现在还不关心最终得分，它关心的是三个特定的时刻：

接入（Access）： AI 是否找到了“生产性核心”？（即那个安全、高价值的、能进行有效工作的区域）。
陷阱暴露（Trap Exposure）： AI 是否误入了“陷阱”？（即一个许多人曾在此失败或陷入困境的混乱区域）。
修复（Repair）： 如果 AI 掉入了陷阱，它是否设法爬了出来并回到了生产性核心？

3. 地图揭示了什么

当研究人员观察这张共享地图时，他们发现了简单评分所遗漏的东西：

不同的风格： 一些模型（如 DeepSeek-V3.2）是勇敢的探险家。它们经常找到生产性核心，有时会掉入陷阱，但非常擅长爬出来（修复）。其他的模型（如 Qwen3-Next）则非常谨慎。它们很少掉入陷阱，但因为过于胆小，也很少能找到生产性核心。
不同的迷宫有不同的规则： 研究人员在五种不同类型的任务（如修复软件漏洞、搜索网络或使用工具）上进行了测试。他们发现，有些迷宫奖励的是规避陷阱（不要犯错！），而另一些迷宫（如修复软件漏洞）则奖励从错误中恢复的能力。一个擅长规避陷阱的模型，在需要具备从错误中恢复能力的任务中，可能会表现不佳。

4. “陷阱检测器”实验

最令人兴奋的部分是他们如何利用这张地图来实时帮助 AI。

想法： 由于他们准确知道在地图上什么样的模式代表“陷阱”（即特定的动作和错误模式），他们构建了一个检测器。
触发： 当一个 AI 在解决新问题并踏入一个与已知“陷阱”相匹配的模式时，检测器就会发出警报。
救援： 当警报响起时，系统并不会任由 AI 继续失败。它会暂停并尝试两种简单的修复方法：
1. “热”修复（Hot Fix）： 它告诉 AI 尝试以更高的随机性（就像摇晃骰子一样）再次尝试，看看是否有不同的路径可行。
2. “提示”修复（Note Fix）： 它根据错误给 AI 一个温和的提醒笔记：“嘿，你似乎卡在这里了。重新阅读错误信息，专注于这个特定文件，并尝试进行一次微小的改动。”

结果： 在一项软件修复任务（SWE-bench）中，使用这个陷阱检测器帮助 AI 多修复了大约 3 到 4% 的问题。这证明了了解陷阱在哪里，可以让你构建一个安全网，在 AI 失败之前捕捉到它并给予它第二次机会去修复。

总结

TraceGraph 是一个让我们不再仅仅关注 AI 最终得分的工具。相反，它构建了一张关于 AI 智能体如何在任务中移动的共享地图。它向我们展示了：

哪些模型是勇敢的探险家，哪些是谨慎的步行者。
哪些任务需要规避错误，哪些需要从错误中恢复。
如何构建一个简单的“安全网”，在 AI 即将掉入已知陷阱时检测到它，并给它第二次机会去修复。

它将“AI 失败了”这个黑盒过程变成了一个清晰的故事：“AI 掉进了陷阱，但只要给予一点点帮助，它本可以爬出来的。”

技术摘要：TraceGraph —— 用于诊断与改进智能体轨迹的共享决策图谱

1. 问题陈述

当前的智能体基准测试越来越多地记录丰富的、交织的交互轨迹（思维、工具调用、环境反馈）。然而，评估实践通常将这些复杂的决策过程压缩为单一的标量指标（例如，通过/失败率或奖励得分）。虽然此类得分可以对系统进行排序，但它们掩盖了底层的过程动力学：它们无法揭示模型是如何在任务空间中导航的，在哪里发生了策略分歧，或者是否避开了失败区域或从其中恢复。

核心挑战在于缺乏一个用于跨模型比较轨迹的共享坐标系。智能体状态是长程的、分支的且具有特定基准测试特征的，混合了工具选择、文件线索和部分证据。由于缺乏对齐，很难判断模型 A 是否达到了与模型 B 类似的某种状态，是否避开了相同的失败区域，或者是否通过不同的路径进行了恢复。现有的方法通常孤立地检查单个轨迹，或依赖于隐藏了过程多样性的聚合得分。

2. 方法论：TraceGraph 框架

TraceGraph 是一个基于图的框架，它将汇集的智能体展开（rollouts）转化为一个共享决策图谱。它通过三个阶段运行，在分析特定模型行为之前，先构建一个与模型无关的任务空间地图。

第一阶段：构建共享图谱

该框架摄取来自多个模型和任务的“动作-观察”步骤。

编码： 每个步骤 $i$ 被编码为一个稀疏的观测键集 $K_i$ ，包括工具/动作类型、命令类、观测模式（如错误追踪）、文件线索和时间阶段。对于搜索任务，增加了针对 URL 域名和查询新颖性的特定键。
相似性与图构建： 使用基于 IDF 加权的 Jaccard 重叠度对键集进行成对相似性计算。稀有且具有信息量的键（例如特定的回溯模式）比通用键具有更高的权重。
拓扑结构： 在所有汇集的步骤之上构建一个互 $k$ $k$ 近邻（mutual- $k$ $k$ NN）图。该图被分解为双连通分量（BCCs）和割点（articulation points，即门槛）。
- BCCs 将具有密集相互相似性的步骤分组，代表粗粒度的共享智能体状态。
- 割点标记了策略或阶段的转换点，在这些点上，展开过程可能会分支进入性质截然不同的后续路径。
模型无关性： 模型身份被排除在签名和图构建之外。图谱仅由可观测的状态空间定义。

第二阶段：结果驱动的叠加

一旦图结构固定，框架便会叠加结果数据，以识别“生产力核心”和“陷阱区域”。

奖励扩散： 对于每个 BCC 块，根据访问该块的展开的最终结果分配一个经过拉普拉斯平滑的奖励。随后，该奖励被扩散到块商图（block quotient graph）中，以平滑局部噪声。
区域定义：
- 生产力核心 ( $C_t$ )： 扩散奖励场中的高正分位数区域。
- 陷阱区域 ( $B_t$ )： 扩散奖励场中的低负分位数区域。
这些叠加层是描述性的，旨在定位高/低结果流量集中的位置，而非预测未见运行的结果。

第三阶段：展开事件总结

每个模型的轨迹通过定义在核心/陷阱叠加层上的三个离散事件进行总结：

访问 ( $A_r$ )： 展开是否与生产力核心相交？
陷阱暴露 ( $E_r$ )： 展开是否与陷阱区域相交？
修复 ( $R_r$ )： 展开是否访问了陷阱并随后到达了核心？

分析：供给与需求剖面

TraceGraph 生成两种描述性剖面：

模型供给（Model Supply）： 模型事件相对于平均模型的以任务为中心的均值。这揭示了模型的“导航风格”（例如，高访问/高修复型 vs. 保守/浅层型）。
基准需求（Benchmark Demand）： 高/低结果流量之间的奖励加权对比。这揭示了一个特定基准测试所奖励的内容（例如，陷阱规避 vs. 恢复）。

3. 核心贡献

TraceGraph 框架： 一种通过汇集展开过程来构建模型无关的任务图，并叠加结果驱动区域以创建共享决策图谱的方法。
紧凑的过程剖面： 通过在五个基准测试拆分（7,329 条记录，427 个任务，5 个模型）上的演示证明，访问、陷阱暴露和修复事件能够区分聚合得分所掩盖的模型导航风格和基准测试需求。
TraceGraph 引导的恢复流水线： 在 SWE-bench 上的实际应用，其中通过图导出的陷阱区域作为运行时触发器。当实时智能体进入历史陷阱区域时，会激活轻量级的恢复策略。

4. 实验结果

诊断洞察

模型多样性： 聚合得分往往会隐藏过程差异。例如，在共享图谱上，DeepSeek-V3.2 表现出“高访问、高修复”的风格，而 Qwen3-Next 则表现出“低访问、低修复”（保守、浅层导航）的风格。
基准测试异质性： 基准测试施加了不同的过程需求：
- $\tau^2$ -bench, MCPBench, TerminalBench： 强烈的陷阱规避型（高结果与避开低结果区域相关联）。
- SWE-bench： 强烈的修复需求型（高结果与在初始失败后从类似陷阱的状态中恢复相关联）。
- 搜索任务： 奖励生产性证据的获取以及偶尔的恢复。

恢复实验 (SWE-bench)

作者在 SWE-bench Verified 实例（共 500 个）上实例化了一个陷阱感知的前缀分支（prefix-fork）流水线。

机制： 当实时展开匹配到一个规范化的陷阱签名时，检测器会被触发。触发后，智能体在以下三种策略下从相同状态继续运行：
1. 基准（Baseline）： 标准的持续运行（ $T=0.6$ ）。
2. 热启动（Hot）： 增加采样多样性（ $T=0.9$ ）。
3. 备注（Note）： 一个保守的、基于证据的诊断说明，附加到上下文中（不包含金标准补丁）。
结果：
- 在按提供商触发的子集（ $n=616$ ）上，最佳的聚合策略（Hot）将解决率从 40.4% 提高到 43.5%（+3.1 个百分点， $p=0.016$ ）。
- 在共同触发的子集（ $n=288$ ）上，Hot 策略将解决率从 41.0% 提高到 44.8%（+3.8 个百分点， $p=0.045$ ）。
- 提供商特异性： 活跃的恢复组件因提供商而异。Qwen3.6-35B-A3B 从诊断说明中获益最多，而 GLM-5.1 和 DeepSeek-V4-Pro 从温度提升中获益最多。

5. 重要性与主张

论文将 TraceGraph 定位为一种过程词汇，而非新的标量得分或盲目的成功预测器。

描述能力： 它揭示了基准测试测试的是什么（例如，规避 vs. 恢复），以及模型在共享图谱上何处发生分歧。
可操作的指导： 它证明了基于图的陷阱可以引导下游干预。通过识别历史失败区域，该框架能够实现针对性的恢复策略，从而在不需要先验知识或全量重训的情况下提高任务解决率。
谦逊态度： 作者强调，恢复流水线是针对 SWE-bench 特定子集的局部干预，并未声称其为通用的智能体修复机制。该框架是一个解释流量集中的分析工具，而非所有智能体行为的控制器。

总之，TraceGraph 将关注点从“智能体解决了多少任务？”转向了“智能体是如何在任务图谱中导航的，以及它在哪里卡住或恢复了？”，为理解和改进智能体轨迹提供了结构化基础。