🤖 machine learning

Benchmarking the Residual: What Long-Horizon Evaluations Add Beyond Matched Short-Task Performance

本立场文件认为，若要严谨地声称存在“长程失败”，基准测试必须量化“时界残差”——即实际全任务成功率与基于匹配短阶段任务所得出的基准预测之间的性能差距——以区分真正的性能退化与仅仅是普通误差的累积。

原作者： Chao Peng, Zhiheng Lyu, Peijie Dong, Hande Dong, Qiang Lin

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Chao Peng, Zhiheng Lyu, Peijie Dong, Hande Dong, Qiang Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

漫长的归途：为什么 AI 在长途旅行中会迷失

想象一下，你正在教一个非常聪明但有点健忘的机器人去解决一系列谜题。在人工智能的世界里，这个机器人被称为“智能体”（agent），而这些谜题就是它需要完成的任务。有时，机器人被要求只做一件小事，比如修改文档中的一个错别字。而有时，它被要求进行一次“长程”（long-horizon）旅程，这意味着要解决一个庞大的、多步骤的问题，这需要规划、使用工具，并记住很久以前发生的事情。你可以把它想象成让朋友去拿一杯水，与让朋友策划一次跨国公路旅行、应对交通拥堵、修理爆胎，最后还要做晚饭——且全程不感到混乱——之间的区别。

科学家们注意到了一些令人担忧的现象：随着这些旅程变得越来越长，机器人的失败率也随之上升。这不仅仅是因为旅程变长了；看起来像是机器人走得越远，表现就越差。但这里有一个核心问题：机器人失败是因为后期的步骤实际上变得更难了，还是因为它累了、被自己的笔记搞混了，或者是由于早期的一个失误毁掉了整个旅程？本论文深入探讨了这个谜团，试图弄清楚机器人究竟是单纯不擅长长途旅行，还是其实在每一个单独的步骤上都表现良好，只是被漫长的冒险过程给绊住了。

论文的核心思想：“时界残差”（The "Horizon Residual"）

来自腾讯及其他机构的研究团队在文中提出了一个观点，本质上是在说：“别再把撞车的原因全怪在旅程的长短上了！”他们认为，当我们看到 AI 在长任务中失败时，我们往往假设任务本身变得太难了。但也许如果 AI 每次都是从全新的状态开始处理每一个步骤，它完全有能力完成每一个步骤。问题可能仅仅在于错误在不断堆积，或者机器人被自己冗长的行动历史搞混了。

为了证明这一点，他们提出了一种巧妙的新方法来测试机器人，称为**“时界残差”（Horizon Residual）**。

类比：接力赛 vs. 单人冲刺

想象一场接力赛，四名选手必须传递接力棒才能完成比赛。

长程运行（真实测试）： 你观察整个团队跑完 400 米的过程。如果他们中途掉了一次接力棒，整个团队就失败了。
短任务运行（基准测试）： 你让同样的四名选手每次都从一个全新的、干净的状态开始，分别独立地跑完各自的 100 米路段。你测量每位选手在独立完成其路段时的成功率。

如果选手 A 的成功率为 80%，选手 B 为 80%，选手 C 为 80%，选手 D 为 80%，你可以通过数学计算来预测团队的成功率。如果他们是独立运行的，团队的成功率应该是大约 41%（0.8 × 0.8 × 0.8 × 0.8）。

现在，神奇的部分来了。如果你进行实际的接力赛，而团队最终的成功率只有 10%，那么你预期的成功率（41%）与实际发生的成功率（10%）之间就存在一个巨大的差距。作者将这个差距称为**“时界残差”**。

残差告诉我们什么

这个“残差”是一个数值，它告诉你机器人由于长途旅行的表现，比它基于短途技能理应达到的表现差了多少。

如果数值为零： 机器人的失败程度完全符合预期，即仅仅是因为步骤增多导致出错概率增加。这只是“误差累积”。
如果数值很高： 机器人的表现远比预期要差。这表明发生了某些异常情况。也许机器人被自己冗长的文本历史分散了注意力（他们称之为“上下文腐烂”/context rot），也许它忘记了最初的目标，或者是因为早期的一个小错误彻底破坏了后续步骤的环境。

论文指出，我们不能仅仅看最终的失败率并说“长任务很难”。我们必须先计算这个残差。如果残差很高，我们才真正知道有一个关于“为什么机器人难以处理长上下文”的谜团需要去解开。

他们排除了哪些可能性

作者非常明确地说明了这种方法不是什么。

它不是一个能立刻告诉你机器人为何失败的“魔杖”。高残差只是指出了这种不匹配的存在，它并不会直接点名罪魁祸首。你仍然需要进行更多的实验（例如重置机器人的记忆或压缩其历史记录）来寻找具体的诱因。
它并不是在说长任务很容易。他们承认长任务确实更难，因为出错的机会更多了。该论文只是想将“出错机会增加”与“任务本身变得神奇地困难”区分开来。

他们有多确定？

这是一篇“立场论文”（position paper），这意味着它是在提出一种新的思考方式和一套新的测试规则。他们并没有进行一项巨大的新实验来证明他们的理论对世界上所有的机器人都是绝对真理。相反，他们是在说：“看看我们现有的数据。当我们从这个角度观察时，它更有道理。”

他们引用了现有的研究，在这些研究中，机器人虽然在长任务中失败了，但在短任务中却能成功，这表明“长程失败”可能是一种由衡量方式引起的错觉。他们建议，如果我们开始使用他们的“时界残差”法，我们将不再在诊断 AI 问题时犯错。他们深信这种方法对于向前迈进是必要的，但也邀请其他科学家来尝试并验证其有效性。

总结

简而言之，这篇论文是在呼吁科学家停止猜测。与其仅仅说“AI 在长任务中失败了”，他们希望我们能说：“AI 在长任务中失败了，但根据其短程技能，它本应有 40% 的成功率。既然它只成功了 10%，那么中间存在 30% 的缺口，我们需要对此进行调查。”

它将模糊的抱怨——“长任务很难”——转化为了精确、可衡量的科学。这就像意识到你的车坏掉并不是因为路途遥远，而是因为你在第一次停靠时忘了检查机油，导致现在引擎在冒烟。时界残差就是那个帮助我们在责怪距离之前，先检查机油的工具。

技术摘要：基准测试残差 (Benchmarking the Residual)

问题陈述

长程（long-horizon）语言模型智能体基准测试一致表明，随着任务长度的增加，成功率会持续下降。然而，本文认为，仅仅通过端到端的原始性能下降不足以诊断底层的失效机制。较低的长任务成功率可能仅仅是**普通误差累积（ordinary error compounding）**的结果（即由于独立阶段数量增加，导致失败的统计概率上升），而非特定的“长程”局限性（如上下文退化、状态污染或规划崩溃）。

目前的基准测试往往将三种不同的性能退化来源混为一谈：

误差累积 (Error Compounding)： 更多的阶段意味着更多的失败机会，即使单个阶段的难度并未改变。
更难的局部工作 (Harder Local Work)： 长任务本身可能包含更多模糊或专业化的阶段。
历史/状态依赖 (History/State Dependence)： 累积的上下文、工具输出或先前的错误使得后续步骤变得更加困难（被称为轨迹诱导退化或上下文腐烂）。

如果不区分这些因素，性能下降曲线就无法识别智能体失败的原因是因为任务变长了、阶段变难了，还是因为其历史记录主动降低了未来的表现。

方法论

本文提出了一个以时界残差 ( $\Gamma_H$ ) 为核心的诊断框架，该指标通过将实际的端到端性能与基于匹配的短阶段评估得出的基准预测进行比较来计算。

1. 分解与检查点 (Decomposition and Checkpoints)

该方法要求将一个长任务预先分解为可验证的语义阶段（例如“查找漏洞”、“更新 API”），而非任意的轮次计数。

检查点 (Checkpoints)： 部署的智能体（模型、提示词、工具、记忆）从声明的检查点开始运行。一个检查点包括特定的环境状态、可见的历史记录、已揭示的信息以及局部预算。
条件概率 ( $q_i$ )： 对于每个阶段 $i$ ，在假设先前所有必要阶段均已完成且智能体从声明的检查点开始的情况下，测量其成功概率： $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$ 。

2. 乘积基准 (The Product Baseline, $P_{expected}$ )

利用链式法则，本文通过乘积各阶段的条件概率来构建一个可审计的任务全过程成功率基准预测：
$P_{expected} = \prod_i q_i$
该基准假设如果智能体能在匹配的条件下独立完成每个阶段，则全过程的成功率应为这些概率的乘积。本文承认这是一个“零假设模型”，可能无法涵盖恢复机制、分支路径或状态变化，并建议针对异构任务进行扩展（例如使用检查点模拟器）。

3. 时界残差 ( $\Gamma_H$ )

核心指标是自然端到端运行的观测成功率 ( $P_{observed}$ ) 与预期成功率（来自基准）之间的对数比：
$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$

$\Gamma_H > 0$ ： 自然运行的表现差于匹配的短阶段预测，表明存在不匹配（潜在的轨迹诱导退化）。
$\Gamma_H \approx 0$ ： 自然运行与预测一致，表明性能下降是由普通的误差累积引起的。
$\Gamma_H < 0$ ： 自然运行的表现优于预测（例如，由于存在基准中未包含的反馈或恢复机制）。

4. 结构化注释 (Structural Annotations)

为了将任务结构与局部难度分离，本文主张报告两种互补的注释：

工作量暴露 ( $N_{work}$ )： 所需的、可单独验证的阶段数量。
依赖深度 ( $H_{dep}$ )： 最长必需依赖链的深度。
这使得基准测试能够区分哪些任务是由于“容量”导致的长期任务（许多独立步骤），以及哪些任务是由于深层的阶段间依赖导致的长期任务。

核心贡献

诊断性区分： 本文认为应将原始性能下降视为一种描述性的部署结果，而将时界残差视为一个独立的、依赖于协议的诊断指标。它断言，只有当全过程运行与基于匹配短阶段构建的基准存在差异时，才能提出“长程失败”的说法。
可审计基准提案： 提出了一个简单的、可审计的乘积基准 ( $P_{expected}$ )，并概述了针对具有分支或恢复功能的任务的扩展方案（如条件模型、检查点模拟器）。它强调基准必须在评估自然运行之前进行声明。
报告与干预议程： 本文阐述了具体的报告要求（分解、检查点状态、预算）以及干预议程。它认为残差不是因果解释，而是一个信号，用于指导有针对性的实验（例如：历史重置、状态修复、上下文压缩），以识别具体的失效机制。

结果与证据

本文并未呈现新的实验结果，而是通过综合现有文献来证明该框架的必要性：

SWE-Milestone 与连续执行： 独立的里程碑通常显示 >80% 的成功率，而同一代码库上的连续演进成功率降至 ~38%。本文指出，如果不将这些独立的得分组合成链式层面的反事实预测，这种差距是模糊不清的。
ChainSWE： 显示出从 58.9% 的准确率（先验状态为 Oracle 正确）下降到 36.5%（先验状态由智能体生成），说明了状态修复的价值，但也指出缺乏组合式的链式层面预测。
SWE-Marathon： 表明上下文压缩与失败相关，但如果没有匹配的干预措施，尚不清楚是压缩导致了失败，还是压缩仅仅是失败轨迹的标志。
Illusion： 受控的历史操纵显示，先前历史中的错误率会降低后续的准确性，从而隔离了内容而非长度的影响。

本文回顾了代表性的基准测试（SWE-EVO, NL2Repo-Bench, SWE-Chain 等），并在表 4 中总结指出，目前没有任何研究实现了完整的序列：匹配的局部测量、声明的组合、自然运行、状态兼容性处理、针对性干预以及协议敏感性分析。

意义与主张

本文的意义在于将“越长越难”从一个描述性观察提升为一个可审计的研究计划。

部署 vs. 诊断： 它明确了部署基准询问的是系统是否成功，而诊断基准询问的是系统为何失败。时界残差通过量化局部能力与全局表现之间的差距来连接两者。
因果纪律： 作者声称残差并非因果答案。正值的残差仅表示与所选基准的不匹配。它引导研究人员转向特定的假设（例如：“是上下文腐烂吗？”），这些假设必须通过针对性的干预来验证。
可证伪性： 如果出现以下情况，该立场是可证伪的：
1. $\Gamma_H$ 的符号在可接受的协议中不稳定。
2. 无法以可控成本构建匹配的检查点。
3. 残差除了现有的“持久化 vs. 重置”对比之外，无法提供增量的诊断信息。

最终，本文认为，除非下降的曲线伴随着预先指定的组合预测及随之而来的残差，否则关于长程机制的说法仍缺乏依据。该框架将对失败的观察转变为对历史、状态、信息和恢复的结构化调查。