The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World
本文表明，基于静态重放的评估方法从根本上无法有效评估大语言模型（LLM）智能体路由器，因为在日志轨迹中替换模型输出会忽略后续智能体行为的级联发散，从而导致性能指标产生误导，无法反映真实世界的实际结果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位正在危险小行星带中航行的宇宙飞船船长。你的机队拥有不同的 AI 飞行员：有些速度快且成本低，但会犯些小错误；而另一些则动作缓慢、价格昂贵，却极其精准。为了节省燃料，你决定根据当前的实时情况切换飞行员。如果路径清晰，你就使用廉价的飞行员；如果出现巨大的小行星，你就切换到专家。这正是大型语言模型（LLM）领域中“智能体路由”（agentic routing）的梦想。这些模型是 AI 智能体的“大脑”，它们可以通过一系列步骤来编写代码、解决数学问题或玩游戏。一个核心问题是：我们如何知道我们的飞行员切换策略是否真的奏效？
传统上，科学家们测试这些策略的方式就像电影导演审查剧本一样。他们观察一段记录下来的旅程（即“轨迹”），其中一名飞行员全程飞行。然后他们假想：“如果我们是在第 10 步时切换了飞行员会怎样？”他们只需将新飞行员记录下的答案粘贴到旧剧本中，看看结局是否理想。这被称为“重放评估”（replay evaluation）。这种方法成本低、速度快，并假设如果我们从第 10 步开始更换飞行员，飞船后续的旅程将与原始记录完全保持一致。但在现实世界中，宇宙飞船是一个闭环系统：飞行员在第 10 步的行为会改变第 11 步的景象，进而改变第 12 步的决策，以此类推。如果新的飞行员因为自己之前的举动而看到了不同的小行星带，那么整个剧本都会发生变化。这篇论文提出了一个简单而令人恐惧的问题：我们的“电影剧本”测试法是否实际上测量的是错误的现实？
卡内基梅隆大学的研究人员决定不再靠猜，而是开始实测。他们没有去编辑电影剧本，而是制造了一台时间旅行机。他们选取了正在解决软件工程问题的真实 AI 智能体，并在特定时刻“分叉”了时间线。他们创建了两个平行的宇宙：一个是由原有的飞行员继续航行，另一个则是更换了不同的模型。至关重要的是，他们不仅仅是将新的答案粘贴进旧的故事里；他们让新的飞行员真正接管控制权，与计算机环境进行交互，并观察实际发生了什么。他们运行了大约 900 次这样的平行实验，以观察这些故事会产生多大的分歧。
结果令系统感到震惊。那种“旅程余下部分保持不变”的假设完全是错误的。当他们切换模型时，新飞行员并不仅仅是接管了现有的路径，而是重写了整个未来。在任务的早期阶段，切换模型导致智能体对其紧接着的下一步行动产生了 74% 到 77% 的改变。当研究人员观察整个旅程时，新飞行员已经重写了后续 61% 到 94% 的步骤。形象地说，如果你在电子游戏中切换了飞行员，游戏世界会发生如此剧烈的变化，以至于你试图阅读的那个“剧本”所描述的关卡已不复存在。
研究还发现，“重放”方法对成功情况表现出危险的盲目性。在实验中，他们观察到了五个特定的时刻，在这些时刻，切换飞行员实际上改变了任务的结果——要么挽救了一个失败的任务，要么丢掉了一个已完成的任务。而旧有的“电影剧本”法错过了其中的每一个关键时刻。它预测会失败，而新飞行员实际上成功了；它预测会成功，而新飞行员实际上失败了。新飞行员实际编写的代码补丁与重放法预测的补丁完全不同；它们基本上是毫无关联的。
此外，研究人员发现系统中的“噪声”在很大程度上取决于模型的运行方式。即使使用完全相同的模型两次，结果也不总是完全一致。如果模型使用某种类型的硬件压缩（FP8）进行服务，那么“对照组”运行（即未发生切换的情况）会有 90% 的概率出现分歧。但如果使用另一种压缩方法（AWQ），运行结果则几乎保持一致。这意味着连比较的基准本身都是摇摆不定的，这使得“重放”法变得更加不可靠。
论文结论指出，目前的 AI 路由测试方法是在为一个错误的世界评分。用“重放”法来测试，就像是通过阅读厨师昨天写的食谱来评判一位厨师，却忽略了厨房里的食材已经发生了变化。作者建议，要真正理解如何为 AI 智能体进行路由，我们不能再假装未来是固定的，而应该通过在分支的、平行的现实中运行智能体来进行测试。他们已经发布了相关的工具和数据，以便他人不再靠猜测，而是去观察这些 AI 智能体在游戏规则发生变化时，是如何展现出真实、混乱且迷人的行为的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。