技术摘要：Socratic-SWE

问题陈述

由大语言模型（LLM）驱动的软件工程（SWE）智能体已成为衡量现实世界智能的关键基准，这要求智能体具备在代码仓库中进行长程交互的能力，以实现缺陷定位、修复和验证。然而，这些智能体的训练受限于高质量 SWE 任务的稀缺性。现有的合成数据方法通常依赖于静态变异、缺陷注入或固定的重写程序。这些方法生成的任务分布独立于智能体自身的训练进度和具体弱点，导致课程设计与模型的实际能力差距之间存在失配。此外，虽然强化学习（RL）训练会产生有价值的“求解轨迹”（即记录智能体行为、工具使用和失败情况的过程），但当前的方法在提取标量奖励后便丢弃了这些轨迹，未能利用它们来演进训练课程。

方法论：Socratic-SWE

作者提出了 Socratic-SWE，这是一个闭环、自我演进的框架，它将历史求解轨迹转化为结构化的训练信号。该系统通过一个协同演进循环运行，其中共享策略 $\pi_\theta$ 在两个角色之间交替：生成器（Generator）与求解器（Solver）。

1. 智能体技能注册表（轨迹蒸馏）

Socratic-SWE 不仅仅是丢弃轨迹，而是将它们蒸馏为智能体技能注册表（Agent Skill Registry, $S$）。这一过程包含三个阶段：

• 轨迹收集： 求解器与种子仓库进行交互，生成包含成功和失败轨迹的语料库（$T$）。
• 技能提取： 蒸馏模型（$M_{distill}$）分析这些轨迹，以识别重复出现的行为模式。对于成功的轨迹，它提取可泛化的策略；对于失败的轨迹，它总结失败模式和纠正原则。
• 注册表构建： 对候选技能进行去重和过滤，形成一个结构化注册表。每个技能都是一个包含名称、描述、适用条件以及有序操作列表的结构化文档。

2. 技能引导的任务生成

生成器角色利用智能体技能注册表在真实代码库中构建有针对性的修复任务。

• 自适应提议： 生成器采样一个技能 $s \in S$ 和一个仓库 $r$，以提议一个任务 $\tau$ 和验证信号 $v$。此过程以从求解器先前表现中收集到的证据（$E_t$）为条件，确保任务针对当前的能力差距。
• 分阶段验证： 候选任务在沙盒环境中经过四阶段执行验证流水线：
  1. 格式： 语法有效性。
  2. 落地（Grounding）： 验证任务构件是否存在于仓库中。
  3. 执行： 验证套件的稳定性与可复现性。
  4. 语义： 确认任务能够区分失败状态与修复后的状态。
• 梯度感知奖励： 为了确保任务不仅有效而且“有用”，生成器根据**求解器梯度对齐（solver-gradient alignment）**获得奖励。系统从一组持有的可信验证任务中计算目标梯度方向（$G_v$）。候选任务的奖励是任务诱导的求解器梯度（$g_\tau$）与 $G_v$ 之间的余弦相似度。这优先考虑了那些能驱动求解器向一致的改进方向发展的任务。

3. 仓库修复求解器

求解器角色在接受的课程任务上进行训练。它与仓库沙盒交互以生成补丁。其奖励函数（$r_S$）由多个组件组成，奖励包括：

• 全套测试通过（所有测试均通过）。
• 部分修复率。
• 回归避免（保留原本通过的测试）。
  求解器使用 GDPO（分组直接策略优化）进行优化，以有效地处理异构的奖励组件。

核心贡献

1. 轨迹驱动的自我演进范式： 本文证明了求解轨迹（通常在奖励计算后被丢弃）可以作为自我演进智能体的可重用基质。Socratic-SWE 将历史行为转化为结构化技能，从而引导闭环的“轨迹-技能-任务”循环。
2. 梯度感知的课程优化： 作者引入了一种课程机制，该机制结合了技能条件的生成、基于执行的验证以及求解器梯度对齐奖励。这确保了生成的任务既是可验证的，又与可信的改进方向相一致。
3. 卓越的实证性能： 在相同的计算预算下，该框架在自我演进基准测试中实现了最先进的结果，展示了强大的自我演进和迁移能力。

实验结果

该框架在四个基准测试上进行了评估：SWE-bench Verified、SWE-bench Lite、SWE-bench Pro 和 Terminal-Bench 2.0。实验使用了 36,000 个训练实例的固定计算预算（每轮迭代 12k，共 3 轮迭代），并与五个自我演进基准（SPIRAL, R-Zero, Absolute-Zero, Socratic-Zero, SSR）以及一个基础智能体进行了对比。

• 性能： 经过三轮迭代后，Socratic-SWE 在 SWE-bench Verified 上达到了 50.40%，比基础智能体高出 +7.80 个百分点，比最强的基准（SSR）高出 +3.40 个百分点。它在 Lite 上达到 36.67%，在 Pro 上达到 22.85%，在 Terminal-Bench 2.0 上达到 14.61%。
• 扩展性： 与在 2 轮迭代后出现平台期或退化的基准模型不同，Socratic-SWE 在第三轮迭代中仍表现出持续的增长。扩展到 5 轮迭代显示，其达到的上限（52.00%）高于 SSR（48.00%）。
• 消融实验： 去除技能注册表导致了最大的性能下降（-4.20 个百分点），证实了技能引导的课程设计是主要的驱动力。将轨迹蒸馏替换为人工技能，或使用标准的 GRPO 代替 GDPO，也会导致显著的性能下降。

意义与主张

本文声称，Socratic-SWE 通过利用智能体自身的求解轨迹来持续调整其训练课程，为自我演进的 SWE 智能体提供了一个可扩展的基质。作者认为，这种方法克服了静态、模型无关的数据合成的局限性，创建了一个动态的、模型感知的循环，其中：

• 轨迹被转化为技能。
• 技能引导针对性的任务生成。
• 生成的任务产生新的轨迹以进行进一步的演进。

结果表明，求解轨迹包含了足够的信号，可以在没有外部标注的情况下驱动持续的自我改进，有效地延迟了在其他自我博弈（self-play）方法中观察到的学习曲线饱和现象。该框架之所以特别有效，是因为它利用了 SWE 轨迹中固有的丰富且可诊断的失败模式，并结合了确定性的基于执行的验证。

局限性

作者承认存在以下局限性：

• 封闭世界设置： 评估依赖于固定的种子仓库池。随着技能注册表变得更加完整，由于训练信号的冗余，系统面临收益递减的问题。
• 验证依赖性： 该方法依赖于一组持有的验证集来定义生成器-梯度对齐奖励，如果验证集的分布不能代表目标部署环境，可能会限制鲁棒性。
• 执行要求： 该方法假设存在可执行的验证和沙盒交互，这意味着如果缺乏可靠的测试或确定性执行，其增益可能无法直接迁移。
• 范围： 目前的评估仅限于特定的 SWE 和终端智能体基准；是否能广泛迁移到其他语言或工作流仍有待建立。