TraceLab: Characterizing Coding Agent Workloads for LLM Serving
本文介绍了 TraceLab，这是一个包含超过 4,300 个真实世界编码智能体（coding-agent）会话的综合数据集及分析，旨在刻画诸如长自主循环和多样化工具调用等独特的负载模式，从而识别优化大语言模型（LLM）推理服务的特定机会。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你拥有一个超级聪明、不知疲倦的数字助手（一个“编程智能体”），它能帮你编写软件。你要求它修复一个漏洞，它不仅仅是给出一个答案，而是进入一个房间，打开文件、运行测试、阅读结果，然后回来问你：“我应该尝试另外这个方法吗？”它就这样循环往复，直到任务完成。
TraceLab 这篇论文就像是一个记录了 4,300 次这类工作会话的巨大、详细的日记。研究人员观察了这些助手在现实世界中（而非在实验室里）究竟是如何工作的，目的是找出如何让运行它们的计算机变得更快、更便宜。
以下是他们发现的研究结果，通过日常类比进行了说明：
1. “长对话，短回答”悖论
研究发现： 助手在开口说话之前会阅读大量的历史记录，但当它终于开口时，说的话却很少。
类比： 想象一位图书管理员，为了寻找一个特定的事实，必须重新阅读整部百科全书（10 万页）。一旦找到了，他们只会向你低声说出一句话。
为什么重要： 大多数计算机系统是为处理长篇大论而设计的。但这些编程智能体就像是那些读了巨著却只给出简短回答的图书管理员。计算机 90% 的能量都花在了“重读”历史（上下文）上，而不是生成新的文本。
2. “内存缓存”问题
研究发现： 系统试图将“历史记录”保存在一种特殊的快速内存（称为前缀缓存）中，这样就不必每次都重新阅读整本书。这在 96% 的情况下都能奏效，但当你长时间休息时就会失败。
类比： 把快速内存想象成你桌上的便利贴。如果你一直在工作，这张纸条就会留在那里。但如果你去吃午饭、小睡或回家过夜，这张纸条就会掉下来（被“驱逐”）。当你回来时，助手必须从图书馆的书架上重新阅读整本书，而不能只看那张便利贴。
成本： 论文发现，使用这些智能体的总成本中，大约有 13% 是因为由于人类规模的停顿导致便利贴意外丢失，从而不得不重新阅读整本书所造成的。
3. “工具调用”的过山车
研究发现： 智能体不断地使用“工具”（比如打开文件或运行命令）。大多数工具是即时的，但少数工具需要很长时间，从而产生了“长尾”延迟。
类比： 想象你在点餐。90% 的时间，你只是要一杯水（瞬间完成）。但有时，你会点一份需要煮 20 分钟的牛排。尽管牛排订单很少，但它们占据了厨房几乎所有的时间。
洞察： 研究人员发现，虽然智能体使用了数十种不同的工具，但其中只有三四个工具（如运行命令或读取文件）就承担了 80% 的工作量。然而，正是那些“慢速”工具（如等待复杂进程完成）让用户等待的时间最长。
4. “人类停顿”的瓶ing
研究发现： 实际的计算机工作很快，但会话的大部分时间都花在等待人类思考、打字或阅读上。
类比： 想象一名赛车手（AI）可以以每小时 200 英里的速度驾驶，但他们却被一名正在系鞋带的行人（人类）造成的交通拥堵困住了。赛车已经准备好了，但它必须原地待命。
洞察： 计算机经常处于闲置状态，等待着人类。论文建议，如果计算机能在这些漫长的人类停顿期间“保持座位温暖”（保持内存活跃），将会节省大量的金钱和时间。
5. “工具切换”的开销
研究发现： 每当 AI 从“思考”切换到“使用工具”并切回时，都会产生微小的、浪费的时间和能量。
类比： 这就像一位厨师必须走到冰箱旁，拿取食材，走回炉灶，烹饪，再走回冰箱，如此反复。如果他们能一次拿取三种食材并一起烹饪，效率会高得多。
建议： 论文建议，与其要求 AI 一次只做一件微小的事情，不如鼓励它将多个工具动作打包在一起执行，以减少这种“来回走动”。
TraceLab 的贡献总结
在此之前，人们尝试通过小型、虚假的测试（例如让 AI 解一道数学题）来理解这些编程智能体。但真实的编程是一个包含许多步骤的长期的、混乱的对话过程。
TraceLab 是首次通过观察大规模、现实世界的对话日志来进行研究。他们发现，要让这些 AI 助手变得更好，我们不应仅仅专注于让 AI 变得更“聪明”，而是需要建立更好的“图书馆”（内存系统）来处理巨著，更好的“便利贴”（缓存）让其在午休期间不会掉落，以及更好的“厨房”（工具系统）来处理那些罕见且缓慢的订单，而不至于堵塞整个系统。
研究人员发布了他们的数据和工具，以便其他工程师可以使用这些洞察力来构建更快、更便宜、更高效的 AI 编程助手。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。