Behaviour Driven Development Scenario Generation with Large Language Models

该论文通过构建包含 500 个用户故事和 BDD 场景的数据集，评估了 GPT-4、Claude 3 和 Gemini 在自动生成行为驱动开发场景中的表现，发现尽管 GPT-4 在文本相似度上得分更高，但 Claude 3 在人类专家评估中表现最佳，且研究揭示了提示策略、输入质量及参数设置（如温度设为 0）对生成效果的关键影响。

要点

这篇论文就像是在探索如何用“超级 AI 助手”来帮人类写“测试剧本”。

为了让你轻松理解，我们可以把软件开发想象成开一家新餐厅，而这篇论文研究的就是如何训练 AI 厨师，让它能自动写出完美的“试菜菜单”（也就是 BDD 场景）。

1. 背景：为什么需要这个？

想象一下，你开了一家新餐厅（软件产品）。在正式开业前，你需要确保每一道菜（功能）都符合顾客（用户）的期待，并且味道完美。

• 传统做法：你需要请一位经验丰富的“试菜员”（测试专家），他得仔细阅读老板（产品经理）写的“我想做一道辣子鸡”的便条，然后凭经验想象这道菜可能出现的各种情况：太辣了怎么办？鸡肉没熟怎么办？客人对花生过敏怎么办？
• 痛点：这位试菜员非常忙，写这些“试菜剧本”很花时间，而且容易漏掉一些奇怪的边缘情况（比如：如果客人一边吃辣子鸡一边喝冰可乐会怎样？）。

BDD（行为驱动开发） 就是让老板和试菜员用一种大家都听得懂的“大白话”来写剧本，确保大家理解一致。但写这些剧本太累了。

这篇论文想解决的问题：能不能让 AI（大语言模型） 来帮试菜员写这些剧本？如果 AI 能写，它写得怎么样？怎么让它写得更好？

2. 他们做了什么？（实验过程）

研究者就像一群“美食评审团”，他们做了三件大事：

1. 收集素材（造数据集）：
   他们从一家真实的软件公司（IntelligenceBank）里，收集了 500 份 真实的“老板需求便条”（用户故事）和详细的“菜谱说明”（需求描述），以及人类专家写的“完美试菜剧本”（BDD 场景）。这就像收集了 500 道真实菜品的标准答案。

2. 请了三位“明星 AI 厨师”来比赛：
   他们邀请了当时最厉害的三个 AI 模型：GPT-4、Claude 3 和 Gemini。

   • 任务：给它们看“老板的便条”和“菜谱说明”，让它们自动生成“试菜剧本”。

3. 打分环节（多维度评估）：
   怎么知道 AI 写得好不好？他们用了四种方法：

   • 文字相似度：像查重一样，看 AI 写的剧本和人类写的剧本有多少字是一样的。（但这招不太准，因为意思一样但措辞不同也算好）。
   • 语义相似度：像理解意思一样，看 AI 是否懂了“辣子鸡”就是“辣子鸡”，不管它叫不叫这个名字。
   • AI 互评：让另一个更聪明的 AI（DeepSeek）来当评委，给这三个厨师的剧本打分。
   • 人类专家打分：请了 6 位真正的资深试菜员（QA 专家）来亲自品尝（阅读）剧本，给出最终评价。

3. 发现了什么？（核心结论）

🏆 谁写得最好？

• GPT-4：像个“文字大师”，它写的剧本在字面上和人类写的非常像（文字相似度最高）。
• Claude 3：像个“懂业务的专家”，虽然字面上不像 GPT-4 那么像，但人类专家和AI 评委都觉得它写的剧本质量最高、最靠谱，最符合实际业务逻辑。
• Gemini：表现也不错，但稍微差点意思。

比喻：GPT-4 像是个背课文很厉害的学生，写出来的文章辞藻华丽；而 Claude 3 像是个有实战经验的厨师，写出来的菜谱虽然词没那么花哨，但真正下锅做的时候最顺手、最不容易出错。

🧠 怎么提问（提示词）效果最好？

给 AI 下指令的方式（Prompt）很重要，而且每个 AI 的“脾气”不一样：

• GPT-4：喜欢直接给指令（零样本）。你直接说“写个剧本”，它就能写好，不需要你给例子。
• Claude 3：喜欢边想边写（思维链）。你让它先分析步骤，再写剧本，它写得更好。
• Gemini：喜欢看例子（少样本）。你给它看两个别人写好的剧本当参考，它就能模仿得最好。

比喻：这就好比教人做菜。GPT-4 是天才，你给个题目它就能做；Claude 3 需要你先教它“先切菜再炒菜”的逻辑；Gemini 则是需要你先给它看两个视频，它照着学才做得好。

📝 给什么材料（输入）最重要？

这是最惊人的发现：输入的质量决定了输出的质量。

• 如果只给“我想做辣子鸡”（用户故事）：AI 写出来的剧本很烂，漏掉很多细节。
• 如果给“辣子鸡要辣、要脆、鸡肉要嫩、不能太老”（详细需求描述）：哪怕没有“辣子鸡”这个标题，AI 也能写出完美的剧本！
• 结论：如果你只给 AI 模糊的想法，它只能瞎编；如果你给 AI 详细的说明书，它就能写出大师级的剧本。

⚙️ 怎么设置参数？

AI 有个“随机性”开关（Temperature）。

• 结论：把随机性关掉（Temperature = 0），让 AI 每次都说最确定的话，写出来的剧本质量最高。
• 比喻：写测试剧本需要严谨，不需要“灵感迸发”或“天马行空”。就像盖房子，你需要的是标准的砖块，而不是偶尔变形的艺术砖。

4. 这篇论文有什么用？

1. 省时间：以后写测试剧本，可以先让 AI 写个初稿，人类专家只需要修改一下，效率翻倍。
2. 省钱：发现 DeepSeek 这个 AI 当评委，和人类专家的意见最接近。以后大规模测试时，可以用 AI 先筛一遍，只有拿不准的才让人看。
3. 新规范：告诉公司，如果想用 AI 写测试，必须把需求描述写得非常详细。如果只写一句“我要个功能”，AI 是帮不上忙的。

总结

这篇论文告诉我们：AI 已经能帮我们要写“测试剧本”了，而且写得相当不错（尤其是 Claude 3）。 但要想让它发挥最大威力，我们需要：

1. 选对 AI（Claude 3 或 GPT-4）。
2. 用对方法（根据 AI 的脾气给指令）。
3. 最重要的是，把需求描述写得清清楚楚、明明白白。

这就好比，你给一个超级厨师（AI）最好的食材（详细需求）和正确的菜谱指令，他就能为你端出完美的菜肴（高质量测试场景）。

技术摘要

这是一份关于《基于大语言模型的行为驱动开发（BDD）场景生成》论文的详细技术总结。

1. 研究背景与问题 (Problem)

• 背景：随着软件系统复杂度的增加和敏捷开发/持续交付的普及，传统的手工测试面临扩展性危机。行为驱动开发（BDD）通过自然语言（Gherkin 格式：Given-When-Then）弥合了业务需求与技术实现之间的鸿沟，但其核心痛点在于手动创建全面的 BDD 场景耗时且依赖专家经验，导致开发瓶颈、覆盖率不足（尤其是边缘情况）以及维护困难。
• 核心问题：
  1. 现有的大语言模型（LLMs）在自动生成 BDD 场景方面的有效性如何？
  2. 不同的提示工程（Prompting）技术（零样本、少样本、思维链）对生成质量有何影响？
  3. 输入信息的类型（仅用户故事 vs. 仅需求描述 vs. 两者结合）如何影响生成结果？
  4. 如何评估生成场景的质量？传统的文本相似度指标是否可靠？
  5. 缺乏公开的、基于真实工业界数据的 BDD 场景数据集用于基准测试。

2. 方法论 (Methodology)

本研究采用实证研究方法，构建了一个包含 500 个真实用户故事及其对应 BDD 场景的数据集，并进行了多维度的实验评估。

• 数据集构建 (核心贡献)：
  • 从一家名为 IntelligenceBank 的软件公司的四个专有产品中提取了 500 个用户故事、需求描述和对应的 BDD 场景。
  • 数据经过清洗（去除元数据、评论、标准化格式），形成了高质量的研究基准。
• 实验对象：
  • 生成模型：GPT-4 (gpt-4o), Claude 3 (claude-3-opus), Gemini (gemini-1.5-flash)。
  • 评估模型：DeepSeek-R1, GPT-4, Claude 3（作为自动评估器）。
  • 人工评估：6 位拥有 10 年以上经验的资深 QA 专家。
• 实验设计：
  • RQ1 (有效性)：使用零样本（Zero-shot）提示，输入用户故事 + 描述，生成场景。
  • RQ2 (提示技术)：对比零样本（Zero-shot）、少样本（Few-shot）和思维链（Chain-of-Thought, CoT）三种提示策略。
  • RQ3 (输入类型)：对比“用户故事 + 描述”、“仅描述”、“仅用户故事”三种输入配置。
  • RQ4 (模型参数)：测试温度（Temperature: 0, 0.5, 1.0）和 Top_p (0.5, 1.0) 对生成质量的影响。
• 评估指标：
  • 自动指标：文本相似度（BLEU, METEOR, ROUGE-L）、语义相似度（BERTScore, SBCS, SBED, USECS）。
  • LLM 评估：使用 LLM 对生成场景进行 1-5 分打分。
  • 人工评估：专家对场景质量进行 1-5 分打分，作为黄金标准。

3. 主要发现与结果 (Key Results)

3.1 模型有效性 (RQ1)

• 综合表现：所有模型都能生成 BDD 场景，但质量存在差异。
• 指标差异：
  • GPT-4 在文本相似度（BLEU, METEOR, ROUGE-L）和语义相似度指标上得分最高。
  • Claude 3 在人工评估和LLM 评估中得分最高，被认为生成的场景质量最好（更符合业务逻辑和测试规范）。
  • Gemini 在各项指标中表现相对较弱。
• 评估器相关性：传统的文本/语义相似度指标与人工评估的相关性较弱（Spearman 系数 < 0.30）。DeepSeek 作为评估器与人工判断的相关性最强（Spearman 系数高达 0.72），是替代人工评估的最佳自动化工具。

3.2 提示技术的影响 (RQ2)

提示策略的效果具有模型特异性：

• GPT-4：零样本（Zero-shot） 表现最佳，无需示例或推理步骤即可生成高质量场景。
• Claude 3：思维链（CoT） 表现略优，表明其受益于显式的推理步骤引导。
• Gemini：少样本（Few-shot） 表现最佳，通过示例能更好地理解任务。
• 结论：不存在通用的最佳提示策略，需根据模型调整。

3.3 输入类型的影响 (RQ3)

输入质量是决定生成效果的关键因素：

• 用户故事 + 需求描述：所有模型表现最佳。
• 仅需求描述：表现依然很好，仅比“两者结合”略低（下降约 2-6%）。
• 仅用户故事：表现显著下降（下降约 19-28%）。
• 结论：详细的需求描述（包含验收标准、边缘情况、技术约束）是生成高质量 BDD 场景的核心，仅靠高层级的用户故事（"As a... I want..."）不足以支撑自动化生成。

3.4 模型参数设置 (RQ4)

• 最佳配置：所有模型在 Temperature = 0 和 Top_p = 1.0 时表现最佳。
• 原因：BDD 场景需要确定性和结构化的 Gherkin 语法，随机性（高温度）会导致输出不稳定或不符合规范。GPT-4 在此配置下达到了整体最高分（4.626）。

4. 关键贡献 (Key Contributions)

1. 首个工业级数据集：构建了并公开了包含 500 个真实用户故事、需求描述及对应 BDD 场景的数据集，填补了该领域缺乏基准数据的空白。
2. 全面的评估框架：首次从文本相似度、语义相似度、LLM 自动评估和人工专家评估四个维度系统性地评估了 LLM 生成 BDD 场景的能力。
3. 实证指导：
   • 证明了 DeepSeek 是评估 BDD 场景质量的高效自动化工具。
   • 揭示了模型特定的提示策略（GPT-4 用零样本，Claude 用 CoT，Gemini 用少样本）。
   • 明确了输入质量的重要性（详细需求描述优于单纯的用户故事）。
   • 确定了确定性参数（Temp=0, Top_p=1）为最佳实践。
4. 开源资源：公开了数据集和源代码，促进可复现性和未来研究。

5. 意义与启示 (Significance)

• 对工业界的实践价值：
  • 效率提升：LLM 可以显著缩短 BDD 场景编写时间，缓解敏捷开发中的瓶颈。
  • 流程优化：建议团队在需求阶段投入更多精力编写详细的“需求描述”，而不仅仅是简短的用户故事，以适配 LLM 生成。
  • 混合工作流：推荐采用"LLM 生成初稿 + 人工审查优化”的混合模式，既保留人类协作的价值，又利用自动化提高效率。
  • 工具集成：提示将 LLM 生成集成到 Jira/Confluence 和 CI/CD 流水线中是可行的，但需注意责任归属和人工把关。
• 对学术界的贡献：
  • 挑战了传统文本相似度指标在评估生成式测试用例时的有效性，证明了基于 LLM 的评估（特别是 DeepSeek）与人类判断更一致。
  • 为未来研究提供了关于输入质量、提示工程和参数调优的基准数据。
• 局限性：研究主要关注“快乐路径”（Happy Path）场景，未来需探索如何生成覆盖边缘情况和错误处理的完整测试套件。

总结：该论文证明了 LLM 在自动化 BDD 场景生成方面具有巨大的实用潜力，但成功的关键在于高质量的输入数据、针对特定模型的提示策略以及确定性的参数设置。DeepSeek 作为评估器的发现也为自动化测试质量评估提供了新的方向。