SWE-Fuse: Empowering Software Agents via Issue-free Trajectory Learning and Entropy-aware RLVR Training

本文提出了 SWE-Fuse 框架，通过融合无问题轨迹学习与熵感知 RLVR 训练，有效解决了真实软件问题中描述与解决方案不匹配导致的噪声干扰，在 SWE-bench Verified 基准测试中显著提升了大语言模型智能体的代码修复成功率。

要点

这篇论文介绍了一个名为 SWE-Fuse 的新系统，它的目标是教会人工智能（AI）像人类程序员一样去修复软件中的 Bug。

为了让你更容易理解，我们可以把修复软件 Bug想象成修理一辆坏掉的汽车，而AI 模型就是那个正在学习修车的学徒。

1. 核心问题：学徒被“错误的维修手册”带偏了

在传统的训练方法中，我们给 AI 看很多“问题描述”和“修复方案”的配对数据（就像给学徒看维修手册）。

• 现实困境：现实世界里的“维修手册”（GitHub 上的问题描述）经常写得乱七八糟，甚至和真正的故障完全不搭界。
  • 比喻：这就好比车主说“我的车喇叭不响了”，但维修手册上写的却是“请更换发动机皮带”。如果学徒死板地照着手册修，不仅修不好喇叭，还可能把发动机搞坏。
• 后果：AI 被这些不准确的信息误导，学不到真正的修车逻辑，反而学会了“猜谜”或者走捷径（比如直接去翻维修记录找答案，而不是真正思考怎么修）。

2. SWE-Fuse 的解决方案：两个“独门秘籍”

为了解决这个问题，作者给 AI 设计了两个关键的学习模块：

秘籍一：不看说明书，只靠“试错”来学习（Issue-free Trajectory Learning）

• 做法：在训练初期，作者故意不给 AI 看那些乱七八糟的“问题描述”。他们只给 AI 看“车坏了”这个事实，以及“测试用例”（比如：按喇叭没声音，按喇叭应该有声音）。
• 比喻：这就像让学徒在没有说明书的情况下，通过反复按喇叭、听声音、检查线路，自己摸索出“哦，原来是因为线路断了”的推理过程。
• 好处：这样 AI 学到的不是死记硬背的“问题 - 答案”配对，而是一步步排查故障的逻辑。它学会了如何像侦探一样，通过观察现象（测试失败）来推导原因，而不是被错误的文字描述带偏。

秘籍二：聪明的“奖惩机制”（Entropy-aware RLVR）

• 做法：当 AI 开始尝试自己修车时，作者用了一种特殊的强化学习方法（RLVR）。这个方法会根据 AI 的“自信程度”（熵）来调整奖惩的严格程度。
• 比喻：
  • 当 AI 很迷茫（高熵）时：就像学徒第一次修车，很不确定该拧哪颗螺丝。这时候，教练（训练系统）会放宽要求，鼓励它大胆尝试，哪怕试错了也没关系，只要它在探索。
  • 当 AI 很自信（低熵）时：就像学徒已经很有经验了，这时候教练会严格要求，如果它乱拧螺丝，惩罚会很重，防止它因为太自信而犯大错。
• 好处：这种动态调整让 AI 在“大胆探索”和“稳健操作”之间找到了完美的平衡，学得更稳、更快。

3. 成果：小模型也能干大事

• 数据：作者收集了 1.4 万个高质量的“修车过程”数据（包括有说明书的和没说明书的）。
• 成绩：
  • 在著名的软件修复测试（SWE-bench）中，SWE-Fuse 训练的 32B 模型（相当于一个中等体型的 AI）解决了 60.2% 的问题。
  • 如果加上“测试时扩展”（TTS，相当于让 AI 多思考几次再动手），解决率甚至达到了 65.2%。
• 对比：这个成绩不仅超过了其他同体量的开源模型，甚至能和一些更庞大、更昂贵的闭源商业模型（如 GPT-5, Claude 等）掰手腕。

总结

SWE-Fuse 的核心思想就是：别光听那些可能写错了的“问题描述”，要教 AI 学会像真正的工程师一样，通过“动手试错”和“逻辑推理”去解决问题。

它就像是一个聪明的教练，不仅教徒弟怎么修车，还教徒弟如何思考，甚至故意把“错误的说明书”拿掉，逼着徒弟去观察和推理，最终培养出了一个能独立解决复杂软件问题的 AI 专家。

技术摘要

SWE-Fuse 技术总结

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在软件工程（SWE）领域展现出巨大潜力，能够自主修复代码库中的问题。然而，现有的基于 LLM 的智能体（Agents）在解决真实世界软件问题时面临一个核心挑战：缺乏高质量的 Issue 描述。

• 描述与解决方案的不匹配（Misalignment）： 真实世界的数据集（如从 GitHub 构建的数据）中，Issue 描述往往与对应的修复代码（Gold Patch）存在不一致。例如，Issue 描述的是警告处理（Warning Handling）问题，而修复代码却修改了 TIFF 图像编码逻辑。这种噪声和歧义会误导智能体，使其无法找到正确的调试路径。
• 数据稀缺： 高质量、成对的 Issue-PR 数据难以大规模获取，且现有数据集中存在大量空泛或缺失问题描述的情况（如 SWE-smith 数据集中约 30% 的样本问题描述为空）。
• 现有方法的局限： 传统的监督微调（SFT）过度依赖 Issue 描述，容易受到噪声干扰；而直接进行强化学习（RL）则面临探索效率低、训练不稳定的问题。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 SWE-Fuse，这是一个感知 Issue 描述的训练框架。该框架的核心思想是将“有 Issue 描述”的样本与“无 Issue 描述（Issue-free）”的样本融合，通过两个关键模块进行训练：

2.1 无 Issue 驱动的轨迹学习模块 (Issue-Free-driven Trajectory Learning)

该模块旨在让模型在不受错误描述干扰的情况下，学习逐步调试的过程。

• 多步轨迹构建 (Multi-step Trajectory Construction)： 利用教师模型（Gemini 3）在沙箱环境中生成高质量的推理 - 行动轨迹。采用 ReAct 范式，将思考过程（Reasoning）与行动（Action）显式分离，并注入 <THOUGHT> 标记，使模型学习“先思考后行动”。
• 轨迹数据过滤 (Trajectory Data Filter)：
  • 防 Git 利用 (Git Hacking Prevention)： 过滤掉包含 git log、git show 等可能直接暴露真实修复代码的轨迹，确保模型通过逻辑推理而非查找历史提交来解决问题。
  • 规则过滤： 剔除交互轮次过少、缺乏中间推理步骤或格式不规范的样本。
• 无 Issue 驱动的监督微调 (Issue-Free-driven SFT)：
  • 构建混合数据集 $D_{mixed} = D_{issue} \cup D_{issue-free}$。
  • 对于 $D_{issue-free}$ 样本，仅提供初始引导和部分测试用例，不提供 Issue 描述。模型必须通过运行测试、分析失败信息来自主定位 Bug 并修复。
  • 这种方法迫使模型学习通用的调试逻辑，减少对噪声描述的依赖。

2.2 熵感知的 RLVR 训练模块 (Entropy-aware RLVR Training)

在 SFT 之后，使用可验证奖励强化学习（RLVR）进一步提升模型性能。

• RLOO (Reward Leave-One-Out)： 对同一 Prompt 采样一组轨迹，计算每个样本相对于组内其他样本平均奖励的优势（Advantage），避免显式 Critic 网络。
• 熵自适应裁剪 (Entropy-Adaptive Clipping)： 这是该模块的核心创新。传统的 PPO 裁剪策略是固定的，但 SWE-Fuse 根据策略的**熵（不确定性）**动态调整裁剪半径 $\epsilon$：
  • 高熵（高不确定性）时： 放宽裁剪（$\epsilon$ 变大），鼓励模型进行更多探索，避免过早抑制潜在的有益行为。
  • 低熵（高确定性）时： 收紧裁剪（$\epsilon$ 变小），防止策略发生剧烈分布偏移，确保训练稳定性。
  • 这种机制在探索与利用之间取得了更好的平衡，加速了收敛。

3. 关键贡献 (Key Contributions)

1. SWE-Fuse 框架： 提出了一种融合“有描述”和“无描述”样本的混合训练框架，有效解决了真实数据中 Issue 描述噪声导致的误导问题。
2. SWE-Fuse 轨迹数据集： 发布了包含 14,000 条 经过验证的高质量多轮推理 - 行动轨迹的数据集。该数据集包含混合类型的样本，特别强调了无描述样本在培养模型自主调试能力方面的价值。
3. 熵感知 RLVR 算法： 提出了一种基于熵的动态裁剪机制，显著提升了强化学习在复杂 SWE 任务中的训练稳定性和收敛速度。
4. SOTA 性能： 在开源模型中取得了突破性进展，特别是在 8B 和 32B 参数规模上。

4. 实验结果 (Results)

在 SWE-bench Verified 基准测试上的表现：

• 8B 模型 (SWE-Fuse-Qwen3-8B)：
  • 解决率：43.0%（相比最佳 8B 基线提升 43.0% 的相对性能，绝对值从约 30% 提升至 43%）。
  • 结合测试时扩展（TTS@8）后，解决率提升至 49.8%。
• 32B 模型 (SWE-Fuse-Qwen3-32B)：
  • 解决率：60.2%（刷新了 32B 参数规模开源模型的 SOTA）。
  • 结合 TTS@8 后，解决率提升至 65.2%。
• 对比闭源模型： 32B 版本的 SWE-Fuse 性能接近甚至超越了部分参数量更大的闭源模型（如 OpenAI-o3 的 58.4%），展现了极高的性价比。
• 消融实验发现：
  • 数据规模： 训练数据从 0 增加到 14k，解决率单调提升，但在 4k-8k 后边际效益递减。
  • 无描述样本比例： 混合 25%-50% 的无 Issue 描述样本效果最佳。完全依赖 Issue 描述或完全去除描述都会导致性能下降，证明了“无描述”样本在培养通用调试能力上的互补作用。
  • 冷启动重要性： 带有 SFT 冷启动（特别是 Issue-free 轨迹）的模型在 RLVR 阶段收敛更快，最终性能更高。

5. 意义与影响 (Significance)

• 解决数据质量瓶颈： SWE-Fuse 提供了一种不依赖完美 Issue 描述的训练范式，通过“无描述”样本让模型学会从测试失败中自主推理，这对真实世界软件维护具有极高的实用价值。
• 高效训练策略： 证明了通过精心设计的 SFT 冷启动和熵感知的 RL 策略，较小的模型（32B）可以解决极其复杂的软件工程问题，降低了高性能 SWE 智能体的部署门槛。
• 防止作弊与提升鲁棒性： 通过严格的过滤机制防止模型利用 Git 历史作弊，确保了评估结果的真实性和模型能力的可靠性。
• 开源贡献： 释放的高质量数据集和训练框架将推动社区在软件自动化修复领域的进一步发展。

总结： SWE-Fuse 通过引入“无 Issue 描述”的调试训练和熵感知的强化学习策略，成功克服了真实软件数据中的噪声干扰，在开源模型中实现了 SWE 任务解决率的重大突破，为构建更智能、更鲁棒的软件修复智能体提供了新的技术路径。