技术摘要：SWE-Together

问题陈述

目前的编程智能体（coding agents）基准测试，如 SWE-Bench 系列和 Terminal-Bench，主要依赖于静态、单轮对话协议。在这些设置中，智能体预先接收完整的任务描述，并仅根据其最终代码提交的正确性进行评估。这种方法未能反映软件工程辅助的本质，即其具有交互性和多轮对话的特性。在现实工作流中，用户会通过多轮对话逐步揭示意图、澄清模糊请求、细化需求并提供纠正性反馈。

现有的基准测试在两个方面与实践存在显著偏差：

1. 任务设计： 它们将任务视为固定的指令，忽略了在现实中，任务相关的关键信息往往分布在多个回合中，且初始请求通常是不完整的。
2. 评估指标： 它们仅关注最终任务的成功率，未能捕捉到交互成本（interaction cost）。两个智能体可能获得相同的最终得分，但一个可能是在粗略请求下即可成功，而另一个则需要大量的详细说明和反复的纠正反馈。

此外，构建一个既能保持真实的交互过程又能确保可验证性的基准测试具有挑战性。原始对话日志往往缺乏可复现的仓库状态、明确的目标或可观察的结果。此外，简单地向新智能体重放原始的用户回合也是有缺陷的，因为后续的用户回合必须基于新智能体的轨迹进行条件化处理，以防止交互漂移，同时又必须锚定在原始用户的意图上。

方法论

为了应对这些挑战，作者引入了 SWE-Together，这是一个由 109 个从真实用户-智能体编程会话中重建的仓库级任务组成的基准测试。该方法由三个核心部分组成：

1. 会话到任务的构建流水线

作者从四个上游数据集（DataClaw、Pi-staging、Hyperswitch 和 SWE-chat）的 11,260 个记录会话中策划了 109 个任务。构建流水线包含三个阶段：

• 确定性资格过滤： 对原始会话进行过滤，保留具有真实多轮交互、具体代码编辑和可恢复仓库上下文的会话。排除人类用户编写最终变更的会话，以确保智能体执行了实质性的工作。
• 可行性筛选： 使用 LLM 评判员对候选方案进行筛选，以确保编程工作可以被重建为一个自包含、可在本地执行的任务。拒绝依赖外部状态（如实时服务部署、私有凭据）的会话。
• 任务构建： 沙盒编排器将可行会话转换为可执行的基准测试包。这包括恢复到特定提交点的仓库、定义确定性的验证器伪影，并生成特定任务的用户模拟提示词。

2. 锚定式、状态条件化用户模拟器

为了向新智能体重放交互过程，作者开发了一个响应式的基于 LLM 的用户模拟器。与静态重放不同，该模拟器：

• 基于轨迹进行条件化： 它观察被评估智能体的最新一轮操作、仓库变更和流逝时间。
• 锚定原始意图： 它利用对原始会话（目标、约束和干预条件）的预计算分析，以确保模拟过程忠实于原始用户的目标。
• 状态条件化决策策略： 模拟器根据智能体当前的轨迹是否根据原始会话逻辑需要反馈，来决定是进行干预（发送消息）还是保持沉默（无操作）。这防止了过早或无关的干预。

3. 联合评估协议

评估衡量两个不同的维度：

• 任务正确性： 将最终的仓库状态与一个冻结的、与实现无关的准则进行对比评分。该准则在第一阶段（离线）从原始会话和参考补丁中得出，然后在第二阶段应用于候选仓库。评分结合了确定性的可执行检查和智能体式准则评判员，以评估行为的完整性而非代码相似度。
• 交互诊断：
  • 用户纠正： 量化智能体引发的纠正性引导。它统计了模拟器提供的显式纠正和加权“轻推”（较软的反馈）。
  • 意图覆盖率： 一个诊断性指标，用于衡量模拟器在不同智能体运行过程中，对原始用户意图和范围的保持程度。

核心贡献

1. SWE-Together 基准测试： 一个从真实的多轮用户-智能体会话中重建的 109 任务基准测试，具备将记录的会话转化为可验证、沙盒化任务的流水线。
2. 状态条件化用户模拟器： 一个锚定式的 LLM 模拟器，在保持原始用户意图和干预顺序的同时，使反馈时机适应每个被评估智能体的特定轨迹。
3. 联合评估协议： 一个框架，既能针对固定准则对最终仓库正确性进行评分，又能通过用户纠正和意图覆盖率来刻画交互轨迹，从而超越了简单的通过/失败指标。

结果

作者使用 opencode 工具，在每个任务有两个重复实验的情况下，在 109 个任务上评估了七种前沿编程模型。

• 性能排名： Claude Opus 4.8 在所有指标上均取得了最高性能（pass@1: 63%, Stable Solve Rate: 59%, Mean Judge Score: 0.801）。GPT-5.5 位居第二（Mean Judge: 0.763），紧随其后的是 Claude Opus 4.6。表现最弱的模型是 DeepSeek-V4-Pro 和 MiniMax-2.7。
• 能力与干预的关系： 模型能力与用户纠正之间观察到强负相关性（与 pass@1 的 Pearson 相关系数为 -0.92）。更强的模型在达到同等性能水平时，所需的纠正干预显著减少（例如，Claude Opus 4.8 平均需要 1.38 次纠正，而 MiniMax-2.7 需要 2.17 次）。
• 效率： GPT-5.5 最为高效，在保持高能力的同时，每个任务所需的 Token 数（29.9k）和墙钟时间（10.7 分钟）最少。
• 模拟器保真度： 意图覆盖率在所有模型组中保持稳定（分值在 0.70–0.72 之间），表明无论智能体行为如何，模拟器都能一致地保持原始意图。
• 人类不可区分性： 在图灵测试风格的测试中，人类标注员无法在统计学上区分模拟轨迹与真实用户轨迹（通过率为 46%，置信区间包含 50%）。

重要性与主张

论文声称，SWE-Together 将编程智能体的评估从单轮任务重新定义为可重放的多轮会话，提供了对用户体验更真实的评估。

• 超越最终正确性： 结果表明，仅评估最终代码是不够的；所需的纠正性引导量是衡量能力和用户体验的关键指标。
• 真实的交互： 通过从真实会话中衍生任务并使用状态条件化模拟器，该基准测试捕捉到了需求不断演进的软件工程动态特性。
• 可靠的比较： 意图覆盖率的稳定性以及模拟轨迹与真实轨迹的不可区分性，验证了该基准测试能够提供公平、可比的评估，跨越不同的模型组。

作者总结道，SWE-Together 证明了评估编程智能体不仅要看它们是否完成了任务，还要看它们完成任务时需要多少人类引导，从而使基准测试指标与实际用户工作流更加一致。