🤖 AI

AgentTrails: Towards Trust and Reuse for Agentic Tasks

AgentTrails 是一个原型系统，它将由大语言模型驱动的智能体（LLM-powered agents）的原始时间序列日志转化为结构化的溯源图，通过揭示隐藏的数据依赖关系、实现执行对比并支持模式提取与技能抽象，来增强信任度与复用性。

原作者： Eden Wu, Sonia Castelo, Yurong Liu, Cláudio T. Silva, Juliana Freire

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Eden Wu, Sonia Castelo, Yurong Liu, Cláudio T. Silva, Juliana Freire

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一位才华横溢但略显混乱的大厨烹饪一道复杂的菜肴。你可以看到大厨抓取食材、切菜、搅拌和摆盘，但你看到的只是一段大厨手部左右移动的视频。你知道发生了什么，但你不知道为什么大厨在拿了胡椒之后又拿了盐，也不知道他们在第三步制作的酱汁是否真的用在了最后的菜肴中，或者他们是否只是做了一整批没人吃的额外汤品。在人工智能的世界里，这些“大厨”被称为 LLM 驱动的智能体（LLM-powered agents）。它们是能够通过使用工具（比如搜索网络、运行代码或读取文件）来解决难题的计算机程序，就像人类一样。

当这些智能体工作时，它们会留下一个冗长、杂乱的列表，记录下它们所做的每一件事，并按顺序排列。这被称为轨迹（trajectory）。把它想象成一篇日记，上面写着：“首先我做了这个，然后我做了那个，接着我又做了这个其他动作。”问题在于，虽然这篇日记告诉了你事件的顺序，却隐藏了真正的故事：即连接下一步骤与上一步骤之间的那些隐形线索。很难看出哪一步依赖于前一步，或者智能体是否因为产生了困惑而走错了路。如果看不见这些联系，就几乎不可能修复错误、从优秀的案例中学习，或者信任智能体确实正确完成了它的工作。

这就是名为 AgentTrails 的新项目发挥作用的地方。来自纽约大学的研究团队意识到，仅仅阅读按时间顺序排列的日记是不够的。他们想要将那份杂乱的列表变成一张清晰的视觉地图。他们的目标是构建一个系统，该系统能够观察一段原始、枯燥的智能体动作日志，并自动重建隐藏的“家族树”依赖关系。他们想要展示清楚：哪次工具调用生成了特定的文件，哪个文件随后被用作下一步骤的“原料”，以及智能体是在哪里偏离了航道。

论文介绍了 AgentTrails，这是一个原型系统，充当了这些 AI 智能体的侦探。它不仅仅是展示一个事件列表，而是将原始文本日志转化为一个溯源图（provenance graph）。想象一下，将那段混乱的厨房视频转化为一个流程图，其中每个食材都是一个节点，而每个烹饪步骤则是连接它们的箭头。这让隐形的依赖关系变得可见。该系统并不只是靠猜测；它会在文本中寻找线索，例如在一步骤中出现并在后续步骤中被引用的文件名、ID 或特定数值，从而绘制出它们之间的连线。

但神奇之处并不止于单个智能体。研究人员还解决了比较不同智能体，或同一智能体多次执行同一任务的问题。由于 AI 有点像人类，它可能会以略微不同的顺序解决同一个谜题，或者一次走弯路，另一次走捷径。AgentTrails 可以获取多个这样的“地图”，并将它们缝合在一起，形成一个并集商图（joined quotient graph）。可以将这想象成将多条不同的登山路径叠加在同一座山上。系统会高亮显示所有人使用的主要路径（共同的、成功的流程），并展示出某些人在哪里迷失了方向或绕了不必要的远路。这有助于开发者发现隐藏在逐一查看日志背后的“最佳实践”和“坏习惯”。

团队在现实世界的案例中测试了这个系统。在一个场景中，他们观察了一个试图解决关于氢原子物理问题的智能体。原始日志只是一长串数字和工具调用，但 AgentTrails 揭示了一个清晰的模式：智能体计算了几个独立的常数，将它们结合起来找到一个特定值，然后利用该值计算出最终答案。在另一个测试中，他们分析了一个探索基因数据的智能体。通过对比一个“高分”（成功）的运行过程与一个“低分”（失败）的运行过程，并集图显示，成功的智能体遵循了一条直接的路径，而失败的那个则不断进行不必要的侧向尝试，并进行了许多对结果毫无帮助的额外工具调用。

论文指出，这种方法是让 AI 智能体更可靠、更容易调试的一个充满前景的步骤。然而，作者也谨慎地指出，这仍属于初步工作。他们尚未证明其系统能够完美找到每一个连接，并且仍在研究如何扩展规模以处理成千上万个复杂的任务。他们通过人工标注的一组小样本展示了其有效性，但关于如何在更大规模上自动验证这些地图的问题仍然悬而未决。

最终，AgentTrails 提供了一种观察 AI 的新方式。与其将这些智能体视为只会吐出答案的“黑盒”，它试图打开盒子，展示内部运转的齿轮。通过将简单的线性时间轴转变为丰富的、互联的地图，它为开发者提供了理解、比较和改进数字智能体思考与工作方式的工具。这标志着从仅仅观看表演，转向理解幕后的剧本。

技术摘要：AgentTrails：迈向智能体任务的可信度与复用

问题陈述

由大语言模型（LLM）驱动的智能体通过调用工具、查询数据库和操作中间产物来执行复杂的任务，其规模日益增长。然而，这些智能体的执行轨迹通常以非结构化的、按时间顺序排列的文本日志形式存储。这种格式给开发者和分析师带来了三个主要挑战：

异构性与长度： 原始轨迹包含混合内容（消息、模式、参数、响应、产物），使得基于文本的比较既繁琐又缺乏对工具使用情况的紧凑概览。
隐藏的工作流结构： 时间顺序掩盖了实际的数据流。后期的工具调用可能依赖于许多步骤之前的产物，或者相邻的调用之间可能互不相关。日志格式无法揭示依赖关系、产物复用以及底层的流水线拓扑结构。
随机性： 智能体的执行具有非确定性。即使是相同的任务，在不同的运行、模型或智能体之间，也可能产生不同的工具顺序、重复调用或分歧的分支，这使得直接的序列比较失效。

此外，从这些日志中重建溯源（Provenance）引入了特定的困难：原始轨迹很少包含显式的依赖边，需要从异构证据（例如文件路径、ID、语义引用）中推断关系。同时，比较多个溯源图也具有挑战性，因为由于随机性导致的结构差异，相似的工作流阶段可能会出现在不同的结构上下文中。

方法论

作者提出了 AgentTrails，这是一个原型视觉分析系统，旨在将原始智能体轨迹转换为结构化的溯源图，并支持多轨迹比较。该系统通过三个协调的分析层面进行运作：

1. 轨迹概览（解决 P1）

在进行深度分析之前，AgentTrails 通过 UpSet 风格的可视化 提供全局且工具无关的概览。

它构建了一个覆盖矩阵，其中行代表轨迹，列代表工具。
单元格数值表示工具调用的频率。
该视图允许用户根据得分、成本、延迟或 Token 计数等指标进行过滤、分组和选择轨迹，从而在无需推断依赖关系的情况下，实现对详细检查候选对象的筛选。

2. 溯源图构建（解决 P2 和 S1）

AgentTrails 将选定的时序轨迹转换为一个二分溯源图 ( $G_T = (A_T \cup E_T, R_T)$ )，其中：

节点： $A_T$ 代表工具调用活动， $E_T$ 代表数据产物（输入、输出、返回结果）。
边： $R_T$ 包括 generatedBy 边（从活动到输出）以及 usedBy/informedBy 边（从产物到消耗该产物的活动）。

重建策略：
由于原始轨迹缺乏显式的依赖边，系统采用了基于证据的重建方法：

确定性骨架： 系统首先从响应中的显式引用（如存储 ID、文件名、URL）中提取精确的依赖关系。如果后续调用明确引用了先前实体的键，则添加一条依赖边。
语义候选： 较弱的语义证据（共享值、查询术语、领域对象）被提取并存储为候选依赖，而非作为事实依据（Ground Truth）。
LLM 精炼： 一个受限的大语言模型（LLM）智能体会审查草拟的图和候选关系，以提出“补丁操作”。只有那些保持时间有效性、节点引用和模式约束的补丁才会被接受。这确保了最终的图是可审计的，能够区分精确的边、语义候选和经 LLM 精炼后的编辑。

3. 通过并联商图进行多轨迹溯源（解决 P3 和 S2）

为了比较多次执行，AgentTrails 构建了一个并联商图（Joined Quotient Graph）：

活动胶囊（Activity Capsules）： 轨迹中的每个活动都被抽象为一个“胶囊”，包含其工具身份、I/O 结构、局部图上下文以及上游谱系。
聚类： 不同轨迹之间的胶囊使用基于工具 Token、I/O 结构、图上下文和证据关键词的加权相似度函数 ( $S$ ) 进行聚类。
对齐： 每个簇形成一个“并联活动节点”。原始边被重新映射：如果边连接了分配到相同源和目标簇的活动，它们将被聚合为一个单一的“并联边”。
可视化： 生成的图可视化了高支持度结构（循环出现的工作流模态）和低支持度结构（特定于轨迹的分支、冗余操作或异常）。节点大小和边宽度反映支持计数，而颜色则保留了轨迹成员身份。

交互式语义理解

系统包含一个溯源副驾驶（Provenance Copilot）（一个基于 LLM 的智能体）来检查重建和并联后的图。它协助用户总结模式、解释分支并检索特定的输入/输出，但它并不定义溯源本身；核心工作流仍然基于由轨迹衍生的结构。

核心贡献

本文做出了三项初步贡献：

溯源框架化： 为工具调用智能体的语义理解提供了一种新的框架，重点在于从时序轨迹中恢复依赖拓扑。
与轨迹无关的重建： 一种无需对智能体框架进行插桩，即可从结构和语义证据中提取并推断依赖关系的方法。
并联溯源抽象： 一种通过并联商图对齐多个轨迹的方法，用以暴露共享工作流、分歧分支和低支持行为。

结果与应用场景

作者在两个真实世界数据集上演示了 AgentTrails：

SciAgentGym (物理学)： 分析一项涉及超精细跃迁频率计算的任务。原始轨迹掩盖了工作流，但重建的溯源图揭示了一个清晰的扇入/扇出模式：独立的物理常数汇聚以计算一个中间常数，随后该常数又分支进入能量偏移计算。这验证了系统暴露隐藏科学依赖关系的能力。
Discovera (基因集探索)： 分析“从特征到机制”的任务。系统允许用户从轨迹级概览转向单轨迹检查，最后进行多轨迹并联比较。并联图成功地区分了高分值的直接数据流与包含绕路和冗余调用的低分值轨迹，从而识别出具体的提示词优化候选对象。

意义与局限性

本文将 AgentTrails 定位为智能体调试、工作流复用和技能提取的初步基础。其意义在于将智能体的分析从线性日志转向结构化、可审计的溯源图，从而揭示智能体行为背后的“为什么”和“如何做”，而不仅仅是“做了什么”。

作者明确指出了几个开放性问题和局限性：

事实依据（Ground Truth）： 溯源质量目前缺乏金标准依赖基准（尽管使用了 10 个人工标注的轨迹进行初步验证）。
调优： 胶囊相似度函数及其权重需要进行原则性的调优和评估。
可扩展性： 系统尚未针对极长轨迹或大规模轨迹集合进行评估。
抽象： 未来的工作需要探索除了当前的胶囊聚类方法之外的其他图对齐抽象方式。

这项工作被视为迈向“信任与复用”的一步，通过使底层的决策数据流显性化，使开发者能够理解、比较并改进智能体任务。