🤖 AI

Kozuchi Agent: A Language-Agnostic Open-Weight Agent for Software Repair

Kozuchi Agent 是一个与语言无关、开放权重的软件修复系统，它利用一个持久状态的、由持续集成（CI）驱动的流水线，在 SWE-bench Verified 和 Multi-SWE-bench 基准测试中实现了最先进的性能且无需微调，这表明其剩余的局限性主要源于语义正确性和选择错误，而非格式问题或对专有模型的访问限制。

原作者： Mehdi Bahrami, Kosaku Kimura, Satoshi Munakata, Satoshi Nakashima, Yu Ishikawa, Kosuke Maeda, Nao Soma, Kenichi Kobayashi, Keisuke Miyazaki, Keizo Kato, Shigeki Fukuta, Tatsuo Kumano, Nobutaka Imamura

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mehdi Bahrami, Kosaku Kimura, Satoshi Munakata, Satoshi Nakashima, Yu Ishikawa, Kosuke Maeda, Nao Soma, Kenichi Kobayashi, Keisuke Miyazaki, Keizo Kato, Shigeki Fukuta, Tatsuo Kumano, Nobutaka Imamura, Kevin Musgrave, Shahbaz Abdul Khader, Kwun Ho Ngan, Joe Townsend, Fayas Asharindavida, Matthieu Parizy, Akira Sakai, Yuma Ichikawa, Yang Zhao, Michiaki Takizawa, Taku Fukui, Hiroki Ohtsuji, Wei-Peng Chen, Hiromichi Kobashi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在广阔而复杂的软件工程世界中，代码是构建现代生活的基石，但它也极易发生故障。当程序运行出错时，它会生成一份描述错误的报告，随后人类开发人员必须诊断问题、在数千行文本中定位缺陷，并编写一段既能修复问题又不会破坏其他功能的修正代码。这个过程缓慢、困难且成本高昂。近来，新一代人工智能已经出现，它们能够阅读这些报告并尝试自行编写修复方案。这些系统通常被称为“智能体”（agents），它们就像数字学徒一样，可以操作计算机文件系统、运行测试并编辑代码。然而，教导这些智能体在长时间内可靠地工作一直是一个重大障碍。它们经常迷失在细节中，忘记了在早期步骤中学到的内容，或者在尝试使用修复代码所需的工具时犯错。研究人员面临的挑战在于构建一个能够让这些数字工作者保持专注、有序且可问责的系统，使它们能够在无需人类持续监督的情况下解决复杂问题。

来自富士通研究中心（Fujitsu Research）的一个研究小组通过创建一个名为 Kozuchi Agent 的系统解决了这一挑战。他们的工作专注于一种特定类型的人工智能，这种人工智能不需要针对新数据进行专门训练，而是依赖于一个精心设计的框架来引导其行为。研究人员构建了一个数字环境，让智能体在清晰定义的不同阶段中运行。该系统并没有让智能体在问题中自由游走，而是强制它遵循一系列步骤：首先是重现错误以确认其存在，然后定位问题的确切源头，最后编写并测试修复方案。在每个阶段，智能体都必须产生特定的结果才能进入下一步，并且系统会对智能体所做的一切进行永久记录。这种结构防止了智能体产生混乱或重复同样的错误，将一场混乱的搜索转变为一个纪律严明、可审计的过程。

该团队在一组真实的软件问题上测试了该系统，专门针对 Python 编程语言中的五百个问题。他们使用了一个强大的开源人工智能模型，该模型并未针对此特定任务进行修改或重新训练。为了确保结果的稳健性，他们对每个问题分别运行了八次智能体，生成了八个不同的潜在解决方案。随后，系统使用一种巧妙的选择方法对这些解决方案进行相互比较。系统并非依赖隐藏的答案来挑选最佳修复方案，而是利用每次运行产生的测试来评估其他方案。如果一个修复方案通过了另一次尝试所创建的测试，它就被视为一个强有力的候选方案。这种方法使得系统能够在预先不知道正确答案的情况下，识别出最可靠的解决方案。

结果非常显著。Kozuchi Agent 成功解决了五百个 Python 问题中的三百七十四个，成功率接近百分之七十五。这一表现使该系统处于领域内的顶尖水平，在与所有提交方案的对比中排名第十二，但在使用开放、公开可用模型的系统中排名第一。研究人员还在另一组用 Java 语言编写的问题上测试了相同的系统。尽管两种语言之间存在差异，该系统的表现依然保持了类似的稳定性，解决了一百二十八个 Java 问题中的四十一个。这证明了该框架并不局限于单一语言，而是可以广泛应用于不同类型的软件。

该研究的一个关键发现是，发生的失败并非由于智能体编写了混乱或损坏的代码。事实上，几乎所有由智能体生成的补丁都能干净地应用到软件中。问题在于修复逻辑本身；智能体经常编写看起来正确但实际上并未解决底层问题的修正方案。这种区别至关重要，因为它表明主要的改进障碍不在于代码的格式或工具的使用能力，而在于对问题含义的深度理解。研究人员还发现，该系统在运行方面非常高效。通过自动化工作流并允许不同部分的过程被重复使用，他们将执行这些测试所需的人力从五个独立的手动步骤减少到了一个自动化的动作。

该研究明确排除了系统成功是由于简单猜测或使用仅少数公司拥有的庞大专有模型这一观点。该智能体使用的模型拥有两百七十亿个参数，虽然规模庞大，但远小于当今最强大的模型，并且它在没有任何特殊微调的情况下取得了这些成果。研究人员还表明，该系统并不依赖运气；其表现跨越不同运行和不同类型的软件仓库时保持了一致性。虽然该系统并不完美，在处理最困难的语义问题时仍会遇到困难，但它代表了向使人工智能成为可靠的软件工程伙伴迈出的重要一步。通过将结构化的工作流与智能的选择过程相结合，Kozuchi Agent 已经证明，开放、可获取的技术可以在解决现实世界的编码挑战方面与最先进的系统相媲美。

技术摘要：Kozuchi Agent

问题陈述

工业软件工程团队日益需要能够将缺陷报告（bug reports）转换为正确且通过测试的补丁（patches）的大型语言模型（LLM）智能体。然而，在基准测试规模下运行这些智能体会引入显著挑战：

长程执行（Long-Horizon Execution）： 现实世界的修复需要多步骤过程（重现、定位、编辑、验证），这会消耗大量的上下文和时间，往往导致非结构化规划和决策质量下降。
工具语法漂移（Tool-Grammar Drift）： 不同的 LLM 家族使用不同的工具调用和结构化动作约定，导致语法不匹配，从而使动作失效并浪费推理轮次。
多集群异构性（Multi-Cluster Heterogeneity）： 研究环境通常跨越异构集群（GPU 推理、VM 测试、Docker 评分），需要针对每个后端使用不同的操作脚本。
评估成本： 重新运行完整的基准测试流水线（例如基于 Docker 评分的 SWE-bench Verified）在计算上非常昂贵，使得迭代实验和 CI 驱动的重跑变得不切实际。

方法论

作者提出了 Kozuchi Agent，这是一个与语言无关的、开源权重的修复智能体，以及一个用于解决上述操作障碍的 CI 操作评估流水线。该系统构建于 mini-swe-agent 之上，但引入了严谨的框架架构。

核心架构组件

阶段驱动编排（Phase-Driven Orchestration）： 智能体在由八个具有语义意义的阶段（如重现、定位、修复、验证）组成的有向图中运行。阶段之间的转换是显式的，成功或回退路径在配置中定义。这种结构防止了非结构化对话，并确保了可审计的状态交接。
持久化共享状态（Persistent Shared State）： 系统并非仅依赖对话历史，而是维护一个持久的共享内存（基于文件系统），其中包含脚本、生成的测试、追踪记录和交接备忘录。这使得状态可以在上下文压缩后实现恢复和审计。
确定性工具沙箱（Deterministic Tool Sandbox）： 智能体与一组固定的软件工程工具进行交互：line_trace（动态追踪）、caller_trace（调用者发现）和 line_edit（受保护的编辑）。这些工具通过阶段门控注入，以缩小动作空间。
模型无关的动作接口（Model-Agnostic Action Interface）： 运行时将逻辑动作契约与特定模型的语法分离。一个“格式化器（formatter）”角色将 LLM 的输出归一化为单个可执行命令，允许相同的智能体逻辑在不同的模型家族中运行而无需分支代码。
CI 操作流水线（CI-Operated Pipeline）： 评估过程通过 CI 流水线（.gitlab-c.yml）进行编排，协调异构集群中的推理、评分和报告。它具有“复用模式”，可以短路昂贵的阶段（例如，复用先前验证过的产物），从而将每个周期的操作触点从五个减少到一个。

跨智能体测试时选择（Cross-Agent Test-Time Selection）

一项关键创新是 跨智能体选择器（Cross-Agent Selector）。该选择器不依赖于学习到的验证器或隐藏的基准测试来执行选择：

候选生成： 系统对同一个模型进行 $K=8$ 次独立的推理运行。每次运行都会生成一个候选补丁及其自带的一组缺陷揭示（FAIL_TO_PASS）和回归保持（PASS_TO_PASS）测试。
交叉应用： 选择器构建一个 $K \times K$ 矩阵，其中运行 $j$ 生成的测试被应用于运行 $i$ 生成的补丁。
评分： 根据这些交叉应用的测试通过率计算得分，并通过固定先验值进行加权（对于缺陷揭示型测试 $w_B=0.3$ ，对于回归保持型测试 $w_R=0.7$ ）。得分最高的候选者被选中。
约束： 此过程仅使用候选运行所存档的证据，确保不会发生隐藏基准测试结果的泄露。

核心贡献

C1: 可审计的阶段驱动框架： 一种模型无关的智能体框架，将问题解决分解为八个具有显式转换和确定性工具沙箱的阶段，使长修复循环变得可检查且可重复。
C2: 可复用的 CI 流水线： 一个多集群基准测试流水线，降低了操作难度并实现了昂贵评估阶段的复用，所有经验值均可从公开产物中重新生成。
C3: 跨智能体选择器： 一种利用交叉应用测试合并多次推理运行的测试时选择机制，在不需要隐藏测试访问的情况下，实现了选择器遗憾（selector regret）与实例难度（instance hardness）的分离。
C4: 具有竞争力的开源权重结果： 实证证据表明，一个 270 亿参数的开源权重模型在无需微调的情况下，在 SWE-bench Verified 和 Multi-SWE-bench Java 上达到了开源系统中的领先水平。
C5: 跨语言迁移： 证明了相同的框架、阶段图和选择器逻辑可以有效地从 Python 迁移到 Java，且每个阶段的行为偏差极小。

结果

Python (SWE-bench Verified)

性能： 使用本地托管的 Qwen3.5-27B 模型，Kozuchi Agent 在官方云端评估器上解决了 374/500 个实例（74.80%）。
排名： 在 135 个已编目的提交中排名 第 12 位，并在 开源权重系统（open-weight systems）中排名第 1。
统计显著性： 在经过 Benjamini–Hochberg FDR 校正后，它显著优于 17 个精选的开源权重同行，包括一个 480B 参数的 Qwen3-Coder 配置。
失败分析： 在 126 个未解决的实例中，91.3% 是“错误修复（Wrong Fix）”（补丁应用成功但未通过隐藏测试），这表明主要的失败模式是语义正确性而非格式或应用错误。
选择增益： 跨智能体选择器相比于按规模排序的第一候选基准线，额外贡献了 +14 个已解决实例。

Java (Multi-SWE-bench Java)

性能： 相同的 27B 智能体配置解决了 41/128 个实例（32.03%）。
排名： 在 42 个提交中排名 第 4 位，并在 严格的开源权重提交中排名第 1。
迁移： 每个阶段的行为保持在 Python 运行的 $\pm 5$ 个百分点之内，且相同的 27B 模型表现优于最强的同类开源权重 Java 同行（Qwen2.5-72B）38 个实例。

运营效率

CI 流水线将每个周期的操作触点从 5 个减少到 1 个。
9 个 CI 阶段中的 6 个 在迭代中是可复用的。
494/495 个生成的补丁通过框架成功应用。

重要性与主张

本文将 Kozuchi Agent 定位为 框架工程（harness engineering） 和 操作可重复性 的重大进步，而非模型能力的突破。

工业影响： 主要贡献是用标准化的、可审计的、可复用的 CI 流水线取代了临时性的、手动评估的工作流。这降低了实验成本，并实现了对开源权重模型进行严格比较。
证据边界： 作者明确指出，其关于框架（阶段、工具、CI）的声明由操作特征和产物审计支持，而关于 候选数量 和选择的具体收益则由受控消融实验支持。他们并未声称完全解决了语义正确性差距，而是指出剩余的失败主要是由于模型无法生成语义正确的补丁，而非格式问题。
谦逊态度： 作者强调该系统是一个“预生产评估”工具。他们并未声称进行生产部署、衡量最终用户开发者 KPI 或针对专有内部仓库进行部署。其工作旨在隔离框架的价值，即通过赋能开源权重模型使其能够与专有系统竞争，而不是声称模型本身在所有方面都超越了前沿闭源模型。

总之，Kozuchi Agent 证明了，通过一个稳健、可审计且与语言无关的框架，一个 27B 的开源权重模型可以实现顶尖水平的自动化软件修复，前提是评估流水线的设计能够在不依赖隐藏测试泄露的情况下，最大化候选多样性和选择严谨性。