TRACE: TRajectory Attribution for Automated Context Engineering
TRACE 是一个自动化框架，通过挖掘历史智能体轨迹来识别隐式不满信号，从而在无需模型重训或显式用户反馈的情况下，实现对跨提示词、工具及知识库的上下文层故障的精准归因与修复。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位宇宙飞船的船长，但你不是通过操纵杆来驾驶，而是通过一本庞大且不断变化的说明书来驾驶。这本说明书告诉你的飞船计算机（一个 AI 智能体）如何与乘客交谈、去哪里寻找星图，以及按下哪些按钮来修理引擎。在人工智能的世界里，这本说明书被称为“上下文工程”（context engineering）。它是编写提示词、规则和知识库的艺术，旨在引导 AI 的行为，而无需从头开始重建 AI 的大脑。但问题在于，如果那本说明书中哪怕只有一句话是错误的、过时的或缺失的，AI 可能会自信满满地将飞船驶向一颗小行星。
长期以来，修复这些错误就像是在蒙着眼睛试图于草堆中寻找一根针。当 AI 出错时，工程师们必须手动阅读数以千计的聊天日志，猜测哪里出了问题，并寄希望于能找到说明书中正确的那一页来进行修复。这既缓慢又昂贵，而且随着越来越多的人开始使用这些 AI 飞船，这种方法也无法实现规模化扩展。一个巨大的疑问出现了：我们能否构建一个系统，能够自动阅读 AI 的历史记录，发现出错的微小线索，并准确地告诉我们哪一页说明书需要重写？
这就是名为 Trace 的新系统登场的地方。把 Trace 想象成一位超级聪明的侦探，它不仅看最终的事故报告，还会倒带录像，回溯整个旅程。Trace 背后的研究人员意识到，当 AI 犯错时，用户通常会在对话中留下“面包屑”——比如说，“等等，那不对，”或者因为第一个回答令人困惑而重新组织问题。这些被称为“隐性不满信号”（implicit dissatisfaction signals）。Trace 不必等待用户点击“踩踩/差评”按钮，它会在 AI 的过去对话中搜寻这些微妙的线索。
该论文介绍了一个由三个 AI 侦探组成的团队来破解这个谜团。首先是检测器（Detector），它扫描对话历史以寻找那些不满的面包屑。一旦发现问题，**根因智能体（Root Cause Agent）**就会像法医分析师一样介入。它会查看 AI 经历的整个事件链——它阅读了什么、使用了哪些工具以及它是如何思考的——并利用一种称为“文本梯度”（textual gradients）的技术将错误追溯到源头。它会询问：“错误是始于知识库吗？是技能文件中的指令有误？还是工具描述误导了它？”最后，**推荐智能体（Recommender Agent）**并不仅仅是进行猜测；它会进行一次“实地考察”。它会主动阅读实际的文件和手册，以验证信息是缺失了（需要执行“创建”操作），还是仅仅陈旧且错误了（需要执行“更新”操作）。
调查结果令人鼓舞，尽管它们带有一个特定的限制条件。研究人员在包含 60 个混乱且具有真实世界风格的模拟对话的数据集上对 Trace 进行了测试，在这些对话中，他们明确知道错误出在哪里。在这些模拟中，Trace 成功识别出错误起源的具体步骤，准确率约为 72.7%。更令人印象深刻的是，当涉及到提出实际修复方案时——例如告诉团队“更新这个特定文件”或“创建一个新条目”——该系统的准确率达到了 82%。它在区分“信息缺失”与“信息陈旧”方面表现尤为出色，在进行“实地考察”检查文件时，其准确率达到了 96%。
然而，必须记住，这些数字来自于一个精心构建的模拟环境，而非活生生的、混乱的真实世界环境。研究人员构建了这个测试环境，是因为由于隐私规则，他们无法分享公司的实际数据。因此，虽然该系统展示了它在受控设置下可以实现高精度运行，但论文指出，这代表了一个强大的新方向，而非针对现有所有 AI 的完全解决之道。其核心思想是，通过挖掘 AI 自身的历史记录，并让它“阅读自己的手册”来寻找真相，我们可以从手动调试 AI 智能体转向让它们实现自动自我改进。这是一种转变：从一个在汽车坏掉后才去修理的机械师，变成了一个能倾听引擎声音、捕捉细微咔哒声，并在汽车熄火前就拧紧正确螺栓的机械师。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。