Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
本文介绍了 Risa，一种针对软件智能体的测试时扩展方法，它利用原生 MoE 路由轨迹来引导多样化探索，并通过在关键决策点上的共识来选择最终解，从而在无需外部判别器或答案字符串匹配的情况下，提高了在 SWE-bench Verified 上的解决率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，正涌现出一类旨在扮演软件工程师角色的程序。这些智能体不仅仅是回答问题，它们还能在复杂的数字环境中穿梭，阅读代码、运行测试，并编写修复程序以修复损坏的软件。为了解决一个难题，智能体通常必须做出长链条的决策，尝试不同的工具和命令，直到找到解决方案。由于这些任务非常复杂，研究人员发现，给予智能体更多的计算能力，让其同时尝试许多不同的路径，往往能带来更好的结果。然而，当智能体尝试多条路径时，一个新的问题出现了：如何从众多候选方案中选出唯一的最佳方案？与只有一个明确正确答案的简单数学题不同，软件修复方案在外观上可能呈现出多种不同的形态，这使得在不实际在真实系统中运行（这既慢又昂贵）的情况下，很难判断哪个版本才是真正的最佳方案。
复旦大学与上海人工智能实验室的研究团队开发了一种新的方法来解决这个选择问题，即通过倾听 AI 自身的内部“思维过程”，而不是等待最终输出。他们专注于一种被称为“稀疏混合专家模型”（sparse mixture-of-experts）的特定 AI 架构。在这些模型中，每当 AI 生成一个词时，一个微小的内部路由（router）就会决定哪些专门的子网络，即“专家”，应该承担工作。这个路由会留下一个痕迹，即关于选择了哪些专家以及它们贡献了多少的记录。研究人员意识到，这个痕迹就像是 AI 行为的独特指纹。即使两个不同的解决方案在表面上看起来完全不同，但 AI 用来创造它们的内部路径可能会揭示它们是在探索新领域，还是在向一个稳固的答案收敛。
研究人员构建了一个名为 Risa 的系统，该系统利用这些内部指纹来引导智能体的旅程。当智能体处于解决问题的早期阶段时，Risa 会鼓励它保持探索。它通过检查智能体的近期历史来实现这一点：如果 AI 即将采取的步骤看起来与它刚刚做过的动作过于相似，系统就会将其转向另一种更具新颖性的行动。这防止了智能体陷入重复错误循环的困境。然而，一旦智能体开始编写补丁（即一组用于修复代码的更改），策略就会发生转变。在这个阶段，系统会寻找不同候选方案之间的共识。如果几个从不同起点出发的不同尝试，最终都达到了类似的内部结构，系统就会将此视为该解决方案正确的强烈信号。
为了测试这一想法，团队在名为 SWE-bench Verified 的标准基准测试上进行了实验，该测试包含数百个真实的软件修复任务。他们使用了几种不同的 AI 模型，并让它们多次尝试这些任务。在一组测试中，他们将这种新的路由引导方法与一种通过随机选择最终方案的简单方法进行了对比。结果显示出明显的提升。在使用该路由系统时，智能体成功修复软件的比例从约 45% 上升到了 48% 以上。这看起来可能是一个很小的数字，但在自动化软件修复领域，每一百分点的进步都代表着显著的进展，这是一个有意义的增益。该系统的表现非常出色，它达到了那些依赖于比较方案实际文本内容的方法的性能水平，且无需执行代码或使用单独的评判器来验证答案。
研究还发现，最有用的信息并不在于 AI 输出的整个历史记录，而是在特定的决策时刻。当 AI 必须在几种看似合理的代码行写法之间做出选择时，这些特定的选择会在内部路由痕迹上留下独特的印记。通过仅关注这些关键决策点，系统可以分辨出什么是运气好猜中的，什么是经过充分推理的解决方案。这种方法在不同类型的 AI 模型上都有效，表明内部路由痕迹是一种可以用于协调复杂任务的可靠信号。研究人员得出结论，通过关注 AI 如何分配其内部资源，而非仅仅关注它说了什么，我们可以构建出更擅长探索、在提交解决方案时更具一致性，并最终能更成功解决难题的智能体。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。