Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage

论文技术总结：使用 AI 智能体进行测试的实证研究

1. 研究背景与问题 (Problem)

随着基于大语言模型（LLM）的 AI 智能体（Agentic Coding Tools）在软件开发中的普及，开发者不再仅仅依赖单次提示（Prompt）生成代码，而是利用智能体自主地与代码仓库交互，执行创建、修改和运行代码（包括测试生成）的循环。
然而，目前存在以下研究空白：

• 现实场景缺失：现有研究多在受控实验环境中评估 LLM 生成测试的质量，缺乏对真实开发场景中智能体生成测试行为的了解。
• 对比不足：尚不清楚 AI 生成的测试与人类编写的测试在结构、频率和覆盖率贡献上有何具体差异。
• 实践价值不明：AI 智能体在实际项目中生成测试的频率如何？它们生成的测试是否真正提升了代码覆盖率？

2. 研究方法与数据 (Methodology)

本研究基于 AIDev 数据集，通过以下流程进行了实证分析：

• 数据筛选与预处理：
  • 语言选择：从 AIDev 数据集中筛选出 TypeScript 项目（占比最高，22.4%）。
  • 框架标准化：为了统一测量覆盖率，筛选出使用 Vitest 测试框架的项目（占 TypeScript 项目的 44.8%）。
  • 样本选择：最终选取了 AI 生成测试活动最活跃的 10 个顶级项目（如 cal.com, azure-sdk-for-js, primer-react 等），共提取了 2232 个 包含测试相关变更的提交（Commits）。
• 研究问题 (RQs) 与执行步骤：
  • RQ1 (频率)：分析 AI 在添加测试的提交中的占比。通过 Git 提交记录、AST 解析和 git blame 追踪代码行作者，区分 AI 与人类作者。
  • RQ2 (质量/结构)：对比 AI 与人类生成的测试方法。
    • 指标分析：计算有效代码行数 (eLoC)、断言数量 (# assertions) 和圈复杂度 (Cyclomatic Complexity, CC)。
    • 语义可视化：使用 CodeBERT 生成向量嵌入，结合 t-SNE 降维可视化，观察 AI 与人类测试在语义空间中的分布模式。
  • RQ3 (覆盖率)：测量 AI 生成测试对代码覆盖率的实际贡献。对比“添加测试的提交”与其父提交之间的语句覆盖率和分支覆盖率变化。

3. 关键贡献与发现 (Key Contributions & Results)

RQ1: AI 生成测试的频率

• 总体占比：在真实仓库中，AI 撰写了 16.4% 的所有添加测试的提交。
• 项目规模效应：AI 的角色随项目规模显著变化。
  • 小型/早期项目：AI 占据主导地位。例如在 total-typescript-monorepo 中，AI 贡献了 100% 的测试添加；在 capgo 中为 83.3%。
  • 大型/企业项目：AI 转为辅助角色。在拥有数百名贡献者的 cal.com 中，AI 贡献率为 14.4%；在 azure-sdk-for-js 中仅为 1.9%。
• 结论：AI 在小型团队或实验性项目中能主导测试工作，但在大型社区驱动或企业级项目中主要起辅助作用。

RQ2: AI 与人类测试的结构差异

• 代码长度 (eLoC)：AI 生成的测试中位数长度略长（12.0 vs 11.0），但方差更小。人类测试存在大量超长异常值（最长 699 行），而 AI 测试限制在较窄范围内（最长 87 行），表明 AI 生成的代码一致性更高。
• 断言密度：AI 生成的测试包含更多的断言（中位数 2.00 vs 人类 1.00）。
  • 潜在风险：这可能引入了“断言轮盘赌”（Assertion Roulette）的代码异味，即在一个测试中包含多个断言，导致失败时难以定位具体原因。
• 圈复杂度：尽管代码更长，AI 测试的复杂度并未增加。AI 倾向于线性逻辑，极少出现复杂的分支结构（复杂度 >2 或 3 的情况极少），而人类测试中存在更多高复杂度的异常值。
• 语义分布：通过 t-SNE 可视化发现三种模式：
  1. 分散分布：AI 测试散布在人类测试的整个分布中（结构相似）。
  2. 局部聚集：AI 测试仅与人类测试的特定簇重叠。
  3. 孤立分布：AI 测试集中在与人类测试空间分离的特定区域（如 llmgateway 项目）。

RQ3: 对代码覆盖率的影响

• 覆盖增益：在可执行自动化测试的 3 个项目中，AI 生成的测试在语句覆盖率和分支覆盖率上均表现出与人类相当甚至更优的提升。
  • 在 liam 项目中，AI 测试带来的语句覆盖率平均提升 +0.072，而人类为负增长（-0.090）。
  • 在 appkit 项目中，AI 测试在分支覆盖率上的提升（+0.183）显著高于人类（+0.008）。
• 结论：AI 智能体生成的测试能有效提升代码覆盖率，且在某些项目中表现优于人类开发者。

4. 研究意义 (Significance)

• 实证基准：这是首次基于真实世界大规模数据集（AIDev）对 AI 智能体生成测试行为进行的全面实证研究，填补了从“受控实验”到“真实开发”的空白。
• 质量洞察：揭示了 AI 生成测试的“双刃剑”特性——虽然逻辑简单、一致性强且能有效提升覆盖率，但可能存在断言过多导致的维护性风险（如断言轮盘赌）。
• 实践指导：
  • 对于小型团队，可以高度依赖 AI 进行测试驱动开发。
  • 对于大型项目，AI 是有效的辅助工具，但需关注其生成的测试结构是否符合项目规范。
• 未来方向：研究指出未来需通过变异测试（Mutation Testing）评估 AI 测试的故障检测能力，并系统研究 AI 引入的代码异味（Technical Debt）。

5. 总结

该研究通过量化分析 2232 个真实提交，证实了 AI 智能体已成为现代软件开发中测试生成的重要力量（约占 16.4%）。AI 生成的测试具有代码更长、断言更多、逻辑更线性、复杂度更低的特征，并且在提升代码覆盖率方面表现优异，甚至在某些指标上超越了人类开发者。这为开发者采用 AI 辅助测试提供了数据支持，同时也指出了需要关注代码可维护性和特定测试异味的问题。