Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows

技术摘要：TESTAGENT —— 用于单元测试生成的基于多智能体 LLM 协作框架

问题陈述
尽管大语言模型（LLMs）在自动化单元测试生成方面取得了显著进展，但现有方法面临两个关键局限性：

1. 僵化的程序化工作流： 当前的方法遵循静态、预定义的流水线，无法根据实时反馈（如执行错误或覆盖率缺口）动态调整测试策略。这限制了 LLM 的自主推理潜力。
2. 粗粒度的上下文提取： 大多数方法依赖于基于规则的上下文检索（例如提取整个目标方法或类），这无法捕捉细粒度的代码依赖、面向对象层级结构以及测试特定的知识。这往往导致缺失必要的外部调用信息，或因引入无关细节而超出 LLM 的输入限制。此外，现有的仓库表示法是为通用任务（如问题修复）设计的，并未对测试特定实体进行建模，也未能累积测试过程中产生的产物（如失败分析）。

方法论：TESTAGENT
本文提出了 TESTAGENT，一种通过协作工作流模拟人类测试实践的新型多智能体框架。该系统构建于三个核心组件之上：

1. 仓库级知识图谱：

   • 通过静态分析（使用 SPOON 进行 AST 提取以及用于依赖关系的 IR/指针分析）构建，该图谱捕捉了程序实体（包、类、方法、变量）之间的细粒度语义关系。
   • 与通用图谱不同，它是为单元测试专门定制的，引入了测试特定节点（测试类、测试方法）和关系（测试–目标链接）。
   • 它作为一个持久化存储库，用于动态生成的产物（如函数摘要、测试报告和根因分析），允许智能体累积并复用测试知识。

2. 基于图的工具 API：

   • 该工具包使智能体能够自主与代码库及外部资源进行交互。
   • 图操作工具： 允许智能体更新图谱（例如添加方法摘要或测试报告）。
   • 信息检索工具： 实现精确的上下文提取，包括实体查找、依赖追踪（调用图）、模糊匹配，以及基于依赖重叠而非词法相似度的相似测试推荐。
   • 运行时交互工具： 支持动态验证，包括语法检查、编译、沙箱执行、覆盖率计算（JaCoCo）和变异分析（PITest）。

3. 多智能体协作框架：
   TESTAGENT 通过三个专门的智能体模拟人类开发者的工作流：

   • 需求规划者 (Requirement Planner)： 对目标函数进行语义分析以生成结构化摘要，并推导出具体的测试需求（正常输入、边界情况、异常情况）。
   • 测试生成器 (Test Generator)： 基于需求和检索到的上下文，利用思维链（Chain-of-Thought）推理合成可执行的测试用例。它通过根因分析迭代优化失败的测试。至关重要的是，它采用了一种基于投票的确认机制，利用三个不同的 LLM 来区分是测试代码本身的错误还是目标方法中实际存在的缺陷。
   • 测试评审员 (Test Reviewer)： 从多个维度（语法、覆盖率、需求一致性、故障检测）评估生成的测试。它提供可操作的反馈（接受、丢弃、更新或增强），以引导规划者和生成器在后续迭代中进行改进。

核心贡献

1. 受人类测试启发的框架： 一个多智能体系统（规划者、生成器、评审员）共同模拟理解、构建和验证单元测试的迭代式人类工作流。
2. 结构化代码表示： 一个专为单元测试设计的仓库级知识图谱，支持细粒度、感知依赖的上下文检索和测试产物的持久化存储。
3. 广泛的评估： 在六个指标、五个基准模型、三种底层 LLM 和两种编程语言（Java 和 Python）上进行了全面的实验评估。
4. 跨语言泛化能力： 证明了该框架对 Python 项目的适应性，其表现优于特定语言的基准方法。
5. 工业适用性： 通过工业项目的实验和证实其实用性的受控用户研究进行了验证。

实验结果
在六个 Java 项目（包括 Defects4J 基准测试和具有挑战性的“Ruler”项目）以及一个工业数据集（UTXXX）上的评估显示，TESTAGENT 表现卓越：

• Java 性能： 实现了 97.46% 的执行率、92.34% 的行覆盖率、90.24% 的分支覆盖率和 83.69% 的变异分数。
• 对比分析： 在所有指标上均优于基于 LLM 的基准方法（ChatUniTest, HITS）。与基于搜索的工具 EvoSuite 相比，TESTAGENT 达到了相当的正确性，但变异分数显著更高（83.69% vs. 43.59%）。
• 消融实验： 移除知识图谱会导致最严重的性能下降（例如，变异分数下降了 26.83%），凸显了其核心作用。测试评审员和相似测试检索模块也带来了显著收益。
• 模型适应性： 该框架在开源模型（DeepSeek-V3, Qwen3-30B-A3B）上依然有效。即使使用 Qwen3-30B-A3B，TESTAGENT 仍超越了使用 GPT-4o 的 ChatUniTest，并且尽管覆盖率略低，其变异分数仍高于 EvoSuite。
• Python 性能： 在适配到 Python 后，TESTAGENT 实现了 88.85% 的行覆盖率和 78.89% 的分支覆盖率，优于专门的 Python 基准方法（CODAMOSA, COVERUP）。
• 缺陷检测： 在非回归测试场景下，TESTAGENT 识别出 154 个真实世界的缺陷，精确度为 92.22%。
• 可读性： 一项针对资深开发者的用户研究表明，与基准方法相比，TESTAGENT 生成的测试在可读性和可用性方面评分最高。

意义与主张
本文主张，TEST-AGENT 展示了受人类测试启发的多智能体工作流在生成更可靠、可扩展且实用的测试用例方面的巨大潜力。通过从僵化的流水线转向自适应、工具增强且由知识图谱驱动的方法，该系统有效地解决了当前基于 LLM 的测试生成方法的局限性。作者强调，该框架不仅在学术基准测试中有效，而且在现实世界的工业场景中也得到了验证，为实现自动化、高质量的单元测试提供了一条可行路径，在降低人工投入的同时保持了高水平的故障检测能力。