Scalable Supervision for Software Agents via Patch Reasoning
本文介绍了 R4P，这是一种基于推理的方法，通过提供基于组内补丁验证的、与脚手架无关的奖励，实现了软件智能体的可扩展监督，从而克服了基于测试的监督的局限性，并证明了在训练如 Mini-SE 等无执行智能体方面具有显著的性能提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代软件那广袤而庞大的景观中，代码是几乎所有数字事物的基石。当程序出现故障或需要新功能时，人类开发者必须诊断问题并编写一个精确的修复程序，即所谓的“补丁”。近年来，人工智能已开始协助这一过程，大型语言模型充当数字助手，能够阅读代码、理解错误并提出解决方案。然而，教导这些人工智能助手变得真正可靠却遇到了瓶颈。传统的训练方法依赖于运行一系列自动化测试，就像技师通过诊断机运行汽车以检查维修是否成功一样。虽然这种方法对于小型、受控的示例非常有效，但在现实世界中却会失效。互联网上的大多数软件项目并不具备这些全面的测试套件，而且为每一个问题构建运行它们所需的复杂环境既缓慢、昂贵，又容易崩溃。由于缺乏快速且廉价验证修复方案的方法，让人工智能规模化并解决数百万个开放式软件问题的潜力仍然难以实现。
来自香港中文大学（深圳）和字节跳动的研究人员提出了一种新的前进方向，完全绕过了对这些沉重的自动化测试的需求。他们引入了一种名为 R4P 的方法，该方法不将软件修复的验证视为一种机械式的检查，而是一种推理任务。系统不再通过运行代码来观察其是否有效，而是要求人工智能扮演一名审查同事工作的资深工程师。它会将一个软件问题和一组不同的拟议解决方案并排放在一起进行观察。通过将这些解决方案相互对比，人工智能可以发现那些如果孤立观察单个补丁时可能无法察觉的细微错误或逻辑缺陷。这种方法使系统能够从更广泛的现实世界问题中学习，包括那些从未经过测试的问题，因为它依赖于人工智能理解代码逻辑的能力，而非依赖于预写测试脚本的存在。
这项创新的核心是一种让人工智能同时评估多个补丁的训练技术。想象一下，一组评委正在评审同一场比赛的多个参赛作品。如果评委单独看每一份作品，他们可能会难以决定哪一个最好，或者可能会忽略一个小错误。但当他们同时观察所有作品时，他们就能发现其中一个方案修改变量的方式与其它方案相矛盾，或者另一个方案处理了其它方案都忽略的特定边缘情况。研究人员发现，这种基于分组的比较比仅仅询问单个补丁是否正确提供了更丰富的学习信号。它帮助人工智能学会区分一个仅仅是看似合理的方案与一个真正正确的方案，即使在没有测试套件作为安全网的情况下也是如此。
为了证明这种方法在实践中的有效性，团队构建了一个轻量级的软件智能体——Mini-SE。该智能体旨在解决软件问题，而无需运行任何测试或构建复杂的环境。它完全依赖 R4P 系统来告知其提出的修复方案是否优秀。在实验中，Mini-SE 的表现显著提升，在首次尝试时解决了约 26.2% 的现实世界软件问题。这比原始的 Qwen3-32B 模型提高了 10.0 个百分点。此外，当研究人员使用 R4P 系统从智能体生成的较大候选池中挑选最佳解决方案时，成功率攀升至 32.8%。这些结果表明，一个系统可以通过对其自身工作质量进行推理，而不是等待外部测试来确认，从而学会编写更好的代码。
研究还强调，这种方法速度极快。运行传统测试套件来解决单个软件问题可能需要几分钟甚至几小时，因为需要时间来搭建环境，而 R4P 系统平均不到一秒钟即可验证一个补丁。这种速度结合了处理没有任何测试的问题的能力，暗示了一条路径，可以将软件工程辅助功能扩展到互联网上绝大多数目前仍处于未被人工智能触及状态的代码领域。然而，研究人员指出，该系统并非人类测试的完美替代品。它是一个用于监督和学习的工具，旨在释放那些此前难以利用的数据的潜力。通过将验证的负担从沉重的自动化执行转向智能推理，这项工作提供了一种切实可行的方法，训练人工智能智能体成为更胜一筹的软件工程师，即便是在开源世界中混乱且未经测试的现实环境下。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。