RefAgent: A Multi-agent LLM-based Framework for Automatic Software Refactoring

本文提出了名为 RefAgent 的多智能体大语言模型框架，通过规划、执行、测试及自我反思的协同机制实现了端到端的自动软件重构，实验表明其在提升代码质量、消除代码异味及重构成功率方面显著优于单智能体方法和传统工具。

要点

这篇论文介绍了一个名为 RefAgent 的新系统，你可以把它想象成是一个由一群 AI 专家组成的“自动装修队”，专门负责给老旧、混乱的电脑代码进行“大扫除”和“精装修”。

为了让你更容易理解，我们把写软件代码比作盖房子，把“重构（Refactoring）”比作房屋翻新。

1. 为什么要搞这个？（背景故事）

想象一下，你住在一栋老房子里。随着时间推移，为了适应新需求，大家往里面加了很多隔断、乱拉电线、把承重墙改得乱七八糟。虽然房子还能住（程序还能跑），但：

• 很难维护：想换个灯泡，可能得拆掉半面墙。
• 容易塌：稍微动一下，整个房子可能就歪了（程序崩溃）。
• 住得不舒服：空间利用率低，采光差（代码难以理解）。

这就是代码异味（Code Smells）。传统的做法是请人工装修队（程序员）来修，但这既贵又慢，还容易出错。以前的自动化工具要么太笨（只能做简单的修补），要么太激进（把房子拆了重盖，结果住不了了）。

2. RefAgent 是什么？（核心概念）

以前的 AI 就像一个独行的装修工，你给它一张图纸（指令），它照着画。如果画错了，它可能不知道，或者不知道去哪找材料。

RefAgent 则不同，它是一个多智能体（Multi-agent）协作团队。它不再是一个人在战斗，而是像一支专业的施工队，每个人分工明确，互相配合：

• 🕵️‍♂️ 规划师（Context-Aware Planner）：

  • 角色：就像总设计师。
  • 任务：他先拿着图纸（代码）和测量工具（代码指标），看看哪里墙歪了，哪里电线乱了。他会分析这面墙和隔壁房间（依赖类）的关系，然后制定一份详细的装修计划书。
  • 特点：他不仅看局部，还看整体，知道动了这里会影响那里。

• 🔨 施工员（Refactoring Generator）：

  • 角色：就像一线工人。
  • 任务：拿着规划师的计划书，动手拆墙、布线、刷漆（修改代码）。
  • 特点：他非常听话，严格按照计划干活，但如果有问题，他会停下来等指令。

• 🛠️ 质检员 A（Compiler Agent）：

  • 角色：就像结构工程师。
  • 任务：工人刚改完，他马上检查房子会不会塌（代码能不能编译通过）。如果发现墙砌歪了（语法错误），他立刻告诉工人：“这里不对，重砌！”
  • 循环：如果工人改错了，质检员会反馈错误，工人再改，直到通过为止（最多循环 20 次）。

• 🧪 质检员 B（Tester Agent）：

  • 角色：就像功能测试员。
  • 任务：房子结构没问题了，但他还要测试功能。比如：水龙头出水了吗？灯亮了吗？（运行单元测试）。他会用自动化工具（EvoSuite）生成很多测试题来考这个新房子。
  • 循环：如果灯不亮（测试失败），他也会反馈给施工员去修。

3. 他们是怎么工作的？（工作流程）

这就好比一个自动化的装修闭环：

1. 进场：规划师进场，扫描整个房子，找出哪里最乱。
2. 出图：规划师画好图纸，告诉施工员怎么改。
3. 施工：施工员动手改代码。
4. 初检：结构工程师（编译）检查，如果报错，打回重改。
5. 复试：功能测试员（测试）检查，如果功能坏了，打回重改。
6. 验收：如果 20 次循环内都通过了，装修完成！如果还是不行，就放弃这个房间，换下一个。

4. 效果怎么样？（实验结果）

作者找了 8 个真实的开源软件项目（就像 8 栋不同的老房子）来测试这支"AI 装修队”。

• 成功率极高：

  • 90% 的装修后，房子功能完全正常（单元测试通过率 90%）。
  • 87% 的装修后，房子结构稳固，没有倒塌（编译通过率高）。
  • 相比之下，如果只派一个“独行侠”AI 去干，成功率只有 40% 多。这说明团队协作太重要了！

• 清理垃圾很彻底：

  • 他们成功清除了 52.5% 的“代码异味”（比如乱拉的电线、多余的隔断）。

• 像专家一样思考：

  • 他们找出的需要装修的地方，和人类专家（资深程序员）找出的地方 80% 是一致的。
  • 甚至比那些靠数学算法优化的传统工具找得更准。

• 房子更好住了：

  • 装修后的房子，可重用性（能不能把房间拆下来用到别的楼里）提高了 8.6%。

5. 总结与启示

这篇论文告诉我们：
以前的 AI 写代码像是一个天才但有点鲁莽的独狼，容易犯错且不知悔改。
现在的 RefAgent 像是一个分工明确、互相监督的专业团队。

• 有人负责看全局（规划）。
• 有人负责动手（执行）。
• 有人负责挑刺（测试和编译）。

这种多智能体协作的模式，让 AI 不仅能“改代码”，还能像人类工程师一样，边改边检查、边错边改，最终把老旧的代码系统变得既整洁又坚固。这标志着我们在“全自动软件维护”的道路上迈出了重要的一步。

一句话总结：RefAgent 就是给软件代码请了一群AI 装修工，他们分工合作、互相纠错，能把乱糟糟的旧代码自动翻新得井井有条，而且比单干一个 AI 靠谱得多！

技术摘要

1. 研究背景与问题 (Problem)

核心痛点：
随着软件系统规模扩大，代码复杂度增加，维护成本上升。软件重构（Refactoring）是改善代码设计而不改变其行为的关键实践，但手动重构耗时且易错。现有的自动化重构技术存在以下局限性：

• 传统 IDE 工具： 仅支持有限的重构类型，仍需大量人工干预。
• 基于搜索的重构（Search-based）： 虽然能优化设计，但往往导致程序结构剧烈变化，缺乏行为保持的保证，且计算成本高，难以应用于大型项目。
• 单一 LLM 方法： 现有的基于大语言模型（LLM）的重构尝试通常依赖静态提示（Static Prompts），缺乏对上下文的动态适应能力，难以处理复杂的依赖关系，且在生成代码后缺乏有效的验证和迭代修正机制，容易导致幻觉（Hallucination）或破坏原有功能。

研究目标：
探索基于 LLM 的**多智能体（Multi-agent）**架构在软件重构中的潜力，旨在构建一个能够动态适应上下文、自主决策、协调复杂工作流（规划、执行、测试、修正）的全自动重构框架。

---

2. 方法论 (Methodology)

论文提出了 RefAgent，这是一个端到端的、基于多智能体协作的软件重构框架。该框架模拟人类开发者的重构流程，将任务分配给四个专门的智能体，并通过迭代反馈循环（最多 20 次）来确保代码质量。

2.1 核心架构：四个专用智能体

1. 上下文感知规划智能体 (Context-Aware Planner Agent)：

   • 功能： 识别重构机会并生成结构化计划。
   • 机制： 调用工具（jdeps）构建类依赖图，调用代码异味检测工具（DesigniteJava）获取质量指标（如圈复杂度、缺乏内聚性等）。
   • 输入： 目标类代码、质量指标、依赖类代码。
   • 输出： 包含具体代码区域（方法、字段等）的重构指令和详细步骤的 JSON 计划。
   • 特点： 仅利用指标作为上下文辅助决策，不直接依赖工具对“代码异味”的标签，避免偏见。

2. 重构生成智能体 (Refactoring Generator Agent)：

   • 功能： 执行重构计划，生成重构后的代码。
   • 机制： 接收规划智能体的指令、目标类及依赖类代码。
   • 动态适应： 当收到编译错误或测试失败反馈时，该智能体会根据错误信息调整提示词（Prompt），在遵循原始重构计划的前提下修正代码。

3. 编译器智能体 (Compiler Agent)：

   • 功能： 验证语法正确性。
   • 机制： 调用 Maven 编译工具。如果编译失败，分析错误日志，生成结构化错误摘要，并反馈给生成智能体进行修正。
   • 循环： 最多迭代 20 次，直到编译成功或达到上限。

4. 测试器智能体 (Tester Agent)：

   • 功能： 确保行为保持（Behavior Preservation）。
   • 机制：
     • 利用 jdeps 查找现有的开发者编写的测试用例。
     • 使用 EvoSuite 自动生成回归测试用例以覆盖缺失的测试。
     • 运行 Maven 测试工具执行测试。
   • 反馈： 如果测试失败，分析日志并反馈给生成智能体进行修复。若 20 次迭代后仍失败，则放弃该类，保留原代码。

2.2 工作流程

1. 输入： 随机选择 Java 项目中的目标类。
2. 规划： 规划智能体分析依赖和指标，生成重构计划。
3. 生成与迭代： 生成智能体应用计划 -> 编译器验证 -> 测试器验证。
4. 修正： 若编译或测试失败，错误信息反馈给生成智能体，进入下一轮迭代（最多 20 次）。
5. 输出： 重构成功则提交修改后的代码；失败则回滚。

---

3. 关键贡献 (Key Contributions)

1. 首个面向软件重构的多智能体 LLM 框架： 提出了 RefAgent，通过角色分工（规划、生成、编译、测试）模拟专业开发团队，解决了单一 LLM 在处理复杂、多步骤重构任务时的局限性。
2. 动态上下文与迭代修正机制： 引入了基于工具调用（Tool-calling）的上下文检索和基于反馈循环（Feedback Loop）的自我修正机制，显著提高了重构代码的编译成功率和功能保持率。
3. 全面的实证评估： 在 8 个开源 Java 项目（如 JClouds, Apache Accumulo 等）上进行了广泛评估，对比了单一智能体、基于搜索的工具（RefGen）以及人类开发者的重构行为。
4. 消融研究（Ablation Study）： 验证了框架中各个组件（如上下文检索、依赖分析、迭代循环）对最终性能的关键贡献。

---

4. 实验结果 (Results)

研究团队使用了 GPT-4o、StarCoder2 和 DeepSeekCoder 三种模型进行实验，主要发现如下：

4.1 软件质量提升 (RQ1)

• 单元测试通过率： RefAgent 实现了 90% 的中位单元测试通过率（GPT-4o 和 DeepSeekCoder），显著优于单一智能体方法（Pass@1 仅为 44.5%）。
• 编译成功率： 中位编译成功率为 87%-88%，比单一智能体高出 40.1%。
• 代码异味减少： 中位代码异味减少率达到 52.5%。
• 质量属性提升： 关键质量属性（如可重用性 Reusability）提升了 8.6%。

4.2 重构机会识别能力 (RQ2)

• 与人类开发者对比： RefAgent 在识别重构机会方面与人类开发者高度一致，F1 分数达到 79.15%（中位数）。
• 与搜索式工具对比： 与基于搜索的工具 RefGen 相比，F1 分数达到 72.7%。
• QMOOD 指标： 在可重用性、功能性和有效性等指标上，RefAgent 的表现与 RefGen 相当或更优，且在可理解性方面表现良好。

4.3 组件贡献与消融研究 (RQ3)

• 多智能体 vs 单智能体： 多智能体架构显著优于单一 LLM 方法。在单元测试通过率和编译成功率上，RefAgent 比 Pass@1 和 Pass@3 的单一智能体方法有统计学意义上的显著提升（p < 0.05）。
• 上下文的重要性： 移除上下文检索（Context Retrieval）会导致测试和编译通过率大幅下降，证明上下文信息对重构决策至关重要。
• 迭代的作用： 随着迭代次数增加（最多 20 次），测试和编译通过率稳步上升，在第 12 次迭代后趋于稳定，证明了迭代修正的有效性。

---

5. 意义与影响 (Significance)

1. 推动自动化重构的范式转变： 证明了多智能体架构（Multi-agent Systems）比单一 LLM 更适合处理复杂的软件工程任务。通过分工协作和相互验证，有效缓解了 LLM 的幻觉问题，提高了代码生成的可靠性。
2. 实用价值： RefAgent 能够显著减少人工重构的时间成本，同时保证代码的行为正确性（通过严格的测试验证），为大型遗留系统的维护提供了可行的自动化方案。
3. 模型无关性： 实验表明，该框架在不同 LLM（闭源的 GPT-4o 和开源的 StarCoder2/DeepSeekCoder）上均表现优异，具有广泛的适用性。
4. 未来方向： 论文指出了在平衡质量提升与设计灵活性方面的挑战，并建议未来引入“人在回路”（Human-in-the-loop）机制，以进一步增强系统的可信度和可控性。

总结： RefAgent 通过模拟人类开发者的协作流程，利用多智能体协同、工具调用和迭代反馈，成功解决了自动重构中“行为保持”和“复杂上下文理解”的难题，在代码质量、重构准确性和自动化程度上均取得了显著突破。