💻 computer science

A Study on the Continuous Generation of Test Cases for Large Language Models with Project Memory

本文提出了一种基于大语言模型（LLM）的测试用例生成方法，该方法通过一个集成了历史数据和发布上下文的项目记忆库进行增强，旨在显著提高大规模软件系统的风险覆盖率、减少重复并增加缺陷发现。

原作者： Yuxuan Li, Huichen Ma

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxuan Li, Huichen Ma

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人玩一款复杂且不断变化的视频游戏。在软件的世界里，这个“游戏”就是一个像在线商店这样庞大的系统，其按钮、规则和价格每周都在变化。为了确保游戏不会崩溃，人类会编写“测试用例”——这些是小型的脚本，告诉机器人点击这里、购买那个，并检查价格是否正确。长期以来，我们一直尝试使用人工智能（AI）来为我们编写这些测试。但问题在于，大多数 AI 模型就像金鱼一样：它们拥有强大的大脑，却会忘记昨天发生的一切。如果上个月发生了一个漏洞（bug），AI 会忘记它；如果今天早上规则改变了，AI 可能仍在针对旧规则进行测试。这篇论文解决了这个记忆问题。它提出了一个疑问：如果我们能给 AI 一个“项目日记”，记录下每一次错误、每一次规则变更以及软件走过的每一条曲折路径，情况会怎样？通过赋予 AI 回顾自身历史的能力，我们或许能够捕捉到它原本会错过的漏洞。

这项研究背后的研究人员 Yuxuan Li 和 Huichen Ma 决定构建一个系统，将“项目记忆”不仅仅视为一个简单的旧笔记库，而是将其视为一个鲜活的、用于测试的控制中心。他们使用了一个真实的电子商务订单系统——这是一个繁忙在线商店的数字版本，拥有数百个不同的连接（API）和数千条过往错误记录。他们的目标是观察：一个配备了这种深度记忆的 AI，是否能比常规方法生成更好、更具连续性的测试。

以下是他们的“记忆机器”是如何工作的，我们使用一个简单的类比：想象 AI 是一个试图在一个不断重建的城市中破解谜团的侦探。

记忆库： 系统并没有只是问侦探：“买鞋子的规则是什么？”而是给了他们一本庞大且有条理的剪贴簿。这本剪贴簿包含了原始蓝图（需求）、街道地图（接口规范）、施工日志（代码变更），以及最重要的一点——一份关于侦探此前在人行道裂缝处绊倒过的所有记录（缺陷报告）。
智能搜索： 当城市发生变化（一次更新）时，系统并不会把整本剪贴簿都堆在侦探的桌子上。它使用一种特殊的“风险雷达”来寻找与新变化相关的页面。它会询问：“上次我们在退换鞋子方面遇到过问题吗？这条新路径是否与我们之前见过的危险路径相似？”它会权衡这些记忆的重要性，优先考虑那些危险的高风险区域。
侦探报告： AI（具体是一个名为 Llama3.1-70B-Instruct 的模型）阅读这些选定的记忆并编写新的测试脚本。但它不仅仅是复制粘贴。它会检查自己的工作，以确保没有重复讲述同样的故事（去重），并确保新的测试与当前的城市布局保持一致（一致性检查）。

实验结果非常令人振奋。当他们用这种“增强记忆型”AI 与其他方法（例如没有记忆的 AI 或人类编写的测试）进行对比时，该记忆系统表现出色。

有效性： 该 AI 生成有效且有用的测试用例的成功率达到了 88.7%。相比之下，没有记忆的方法仅能实现约 28.1% 的有效用例。
减少重复： 重复率降低到了 8.9%。
捕捉重大漏洞： 它覆盖了 91.3% 的高风险路径——即那些一旦崩溃会对软件造成最大伤害的最危险部分。
发现新故障： 最令人印象深刻的是，这种方法发现的新缺陷（bug）比没有记忆的方法多了 19.6%。这些都是棘手的议题，比如在使用优惠券或用户尝试重复购买同一件商品时发生的问题。

作者认为，这种方法之所以奏效，是因为它帮助 AI 理解长期的业务规则以及不同部分之间的依赖关系。他们还测试了较小的 AI 模型，发现它们仍然可以做得不错，尽管最大的模型（70B 模型）在理解长链条事件和修复自身的逻辑错误方面表现得最好。

然而，论文也谨慎地指出，这并不是解决一切问题的万灵药。该系统高度依赖于高质量的过往错误记录和清晰的文档说明。如果“剪贴簿”很混乱或缺失，侦探就无法履行职责。此外，虽然这些结果在特定的电子商务场景下表现强劲，但作者并未声称它适用于世界上每一种类型的软件。但是，对于那些不断变化和演进的系统，赋予 AI 良好的记忆力似乎是一个改变游戏规则的举措，它能将一个健忘的机器人变成一名从每一次错误中学习的资深老兵。

技术摘要：基于项目记忆的大语言模型持续测试用例生成

1. 问题陈述

在经历敏捷迭代和持续交付的大规模软件系统中，由于需求演进、接口更新和重复性缺陷，维持有效的测试覆盖率具有挑战性。传统的自动化测试脚本和标准的大语言模型（LLM）方法往往无法有效地复用历史故障数据或覆盖新兴风险。现有文献强调了以下特定局限性：

上下文缺失： 标准 LLM 在处理不稳定的断言时表现挣扎，且缺乏上下文 [1]。
覆盖率停滞： 预训练模型虽然可以改进基于搜索的测试，但仍面临覆盖率平台期的问题 [2]。
历史忽视： 旨在提高覆盖率的方法往往无法充分复用项目级的历史缺陷 [3]。
策略失衡： 单一生成策略难以平衡覆盖率与触发缺陷的能力 [4]。
记忆鸿沟： 测试驱动开发（TDD）在 LLM 中的应用通常缺乏针对长期版本演进的记忆机制 [5]。

核心问题被定义为版本演进中的约束风险覆盖优化任务，其目标是选择一个最优测试用例集，在最小化无效用例和语义重复的同时，最大化变更业务路径和历史缺陷触发的加权覆盖率。

2. 方法论

所提出的方案引入了一个**项目记忆（Project Memory）**框架，将记忆视为一个随版本演进的控制层，而非简单的检索增强生成（RAG）附录。该方法由三个主要阶段组成：

2.1 构建项目记忆知识库

系统以事件粒度聚合多源测试资产，整合了：

数据源： 需求文档、接口描述（OpenAPI）、代码提交、问题/缺陷报告以及现有的测试脚本。
数据清洗： 去除模板文本和无效日志；将敏感数据（如订单号、SKU）转换为不可逆的 Token 或通用占位符。
语义分段： 数据按 release_id、business_path_id、api_chain、state_pair、risk_tag 和 trigger_condition 进行标记。
向量化表示： 使用 HNSW 索引构建异构记忆状态向量。记忆单元的向量 $\mathbf{m}_i$ $m_{i}$ 是以下各项的加权融合：
- 语义嵌入 ( $\mathbf{e}_{sem}$ )
- 类型嵌入（需求、接口、缺陷、脚本）
- 版本嵌入
- 风险标签嵌入
- 权重： $\alpha=0.45$ （语义）、 $\beta=0.15$ （类型）、 $\gamma=0.15$ （版本）、 $\delta=0.25$ （风险）。

2.2 增量记忆更新机制

记忆根据提交、接口变更或缺陷转换进行演进。差异解析器（Diff Parser）提取变更，若变更超过阈值（0.35），则对记忆进行版本化处理；否则仅更新权重。权重更新公式结合了：

历史保留系数 ( $\eta = 0.72$ )
缺陷复现频率
业务风险等级
与当前变更的语义相似度
版本距离衰减

2.3 生成流水线

生成过程使用 Llama3.1-70B-Instruct，并遵循以下步骤：

风险相关记忆检索： 根据请求变更和 API 差异构建查询向量。HNSW 检索前 50 个记忆单元，随后通过基于缺陷复现、路径重要性和版本距离的风险反馈控制器进行重排序。
提示词构建： 将前 12 个风险记忆、当前接口差异和历史失败断言格式化为 JSON 片段。提示词包含字段：场景（Scenario）、API 链（API Chain）、前置条件（Preconditions）、输入边界（Input Boundaries）、风险记忆（Risk Memory）、预期断言（Expected Assertions）和负面用例（Negative Cases）。
生成与验证： 模型在受限参数下生成候选用例（Temperature=0.2, Top-p=0.85）。
去重与一致性检查： 生成的用例经过以下处理：
- 语义去重： 使用 Sentence-BERT 及 0.86 的余弦相似度阈值。
- 断言与状态验证： 检查新的边界值或异常分支。
- Schema 与状态机验证： 确保符合 OpenAPI 标准并遵循有效的状态转换（例如，防止从 Paid $\to$ Created）。

3. 核心贡献

版本化异构记忆建模： 超越了静态 RAG，实现了一个能够追踪版本演进和风险的动态记忆系统。
缺陷触发反馈： 一种根据历史缺陷复现和业务风险对记忆检索进行加权的机制。
风险感知上下文选择： 一种优先考虑缺陷密集路径而非正常流程的重排序策略。
保留边界的语义去重： 一个在移除冗余用例的同时保留关键边界变化和异常分支的过滤过程。
状态一致性验证： 确保生成的测试用例遵循有效状态转换和 Schema 约束的验证模块。

4. 实验结果

该方法在一个真实的电商订单系统上进行了评估，该系统包含 214 个后端 API、超过 9,600 个历史脚本以及 14 个月周期内的 3,180 个历史缺陷。

性能指标（对比无记忆提示词）：

有效测试用例率： 达到 88.7% (±1.1%)，而无记忆提示词的效率仅为 28.1%。
重复率降低： 减少了 8.9% (±0.7%) 的重复。
高风险路径覆盖率： 达到 91.3%。
缺陷发现： 识别出 61 个缺陷，比无记忆基准线（51 个缺陷）提升了 19.6%。

对比分析：

所提方法优于包括纯 RAG、CODAMOSA、CAT-LM、规则模板和人工补充测试在内的基准方法。
消融实验： 移除项目记忆后，效率降至 66.1%，高风险覆盖率降至 73.4%。移除风险重排序后，覆盖率降至 82.1%。移除去重功能后，重复率上升至 21.4%。
模型规模： 虽然 70B 模型在长调用链推理和断言修复方面表现出更优越的性能，但较小的模型（Llama3.1-8B, Qwen2.5-14B）依然具有竞争力（分别为 80.4% 和 83.6%），这表明该框架并不完全依赖于海量的参数量。

5. 意义与主张

论文声称，项目记忆显著增强了 LLM 理解长期业务规则、跨接口依赖关系以及历史失败模式的能力。通过将记忆视为一个随版本演进的控制层而非静态附录，该方法成功解决了持续交付环境中测试覆盖率“停滞”的问题。

作者指出，该方法在检测回归敏感型故障（如跨接口回滚、优惠券恢复问题、幂等性违规以及字段更名不匹配）方面特别有效。

承认的局限性：
该方法依赖于完善的缺陷记录、清晰的接口模式以及特定的后端架构（电商订单系统）。作者警告称，文档质量差或架构过于复杂可能会降低记忆召回率和可移植性。该框架被呈现为一种针对演进中软件系统进行持续测试用例生成的特定解决方案，并提供了匿名化数据和脚本以供后续验证。