Each language version is independently generated for its own context, not a direct translation.
这篇论文探讨了一个非常有趣的问题：AI（特别是像 ChatGPT 这样的聊天机器人）能不能在没有人类专家指导、也没有真实数据参考的情况下，自己“编”出一套看起来非常真实的软件需求说明书？
为了让你更容易理解，我们可以把这篇研究想象成一场**“顶级厨师的盲测挑战”**。
1. 背景：为什么我们需要“假”菜谱？
在软件开发的世界里，系统需求说明书（SyRS）就像是餐厅的“终极菜谱”。它详细规定了这道菜（软件）要做什么、不能做什么、用什么食材（功能）、以及烹饪环境（非功能需求，比如速度、安全性）。
- 问题： 研究人员想研究怎么改进做菜的方法，但他们很难拿到真实的“顶级菜谱”，因为很多大公司的菜谱是机密的，或者太敏感不能公开。
- 尝试： 于是，研究人员想：能不能让 AI 这个“超级厨师”自己凭空想象，写出一套看起来和真菜谱一模一样的“假菜谱”（合成需求，SSyRS）？这样大家就可以用这些“假菜谱”做实验了。
2. 挑战：AI 是个“自信过头的骗子”
AI 确实很擅长说话，但它有两个坏毛病：
- 幻觉（Hallucination）： 它经常一本正经地胡说八道，编造不存在的细节。
- 过度自信（Overconfidence）： 即使它编错了，它也会用非常肯定、专业的语气说出来，让你觉得“哇，这肯定是真的”。
这就好比一个厨师，明明没做过这道菜，却自信满满地告诉你：“这道菜必须用火星上的辣椒，而且必须在零下 100 度烹饪。”如果你不仔细检查，可能真就信了。
3. 实验过程：如何训练 AI 厨师？
研究团队（来自德国亚琛大学）决定试一试。他们没给 AI 任何真实的菜谱，也没找人类专家帮忙，只给了它一个**“菜单模板”**（就像给厨师一个空白的表格，告诉它要填哪些栏目）。
- 步骤一： 他们让 AI 在 10 个不同的行业（如电商、医疗、物流等）里，各生成 3 份“假菜谱”。
- 步骤二： 他们设计了一套**“自我检查机制”**。让 AI 自己当评委，检查自己写的菜谱是否完整、是否像真的。
- 步骤三： 他们反复调整给 AI 的指令（就像不断给厨师提建议：“别编得太离谱”、“细节要具体”），一共进行了 10 轮迭代。
- 成果： 最终，他们成功生成了 300 份 看起来像模像样的“假菜谱”。
4. 大考：人类专家来尝菜
光有 AI 自己夸自己不行，得请真正的**“美食评论家”**（软件行业的资深专家）来尝尝。
- 测试方法： 他们邀请了 83 位专家，每人看一份“假菜谱”，然后打分：这看起来是真的吗？
- 结果（表面）： 62% 的专家觉得这些“假菜谱”挺真实的！ 甚至有人觉得“非常真实”。这说明 AI 确实能模仿出那种“专业范儿”。
- 结果（深层）： 但是，如果专家仔细读，就会发现很多破绽：
- 逻辑不通： 前面说要在火星种菜，后面又说要在地球卖。
- 细节模糊： 全是“大词”和“行话”，但缺乏实际可操作的具体数字。
- 过于理想化： 比如要求“系统必须在 1 毫秒内处理 100 亿次请求”，这在现实中几乎不可能。
5. 核心发现：AI 能“形似”，但难“神似”
研究得出了几个非常有趣的结论，我们可以用比喻来总结：
- 结论一：AI 是个优秀的“模仿者”，但不是“创造者”。
如果你只是看个大概，AI 写的东西结构完美、用词专业，看起来和真的一模一样。它非常擅长“画皮”。
- 结论二：AI 自己当裁判不可靠。
研究团队发现，让 AI 给自己打分（比如“真实度 0.9 分”）是非常不靠谱的。不同的 AI 模型打分天差地别，有的给 0.9，有的给 0.4。这就像让一个刚入行的厨师自己给自己评米其林星级，水分太大了。
- 结论三：人类专家的眼睛是雪亮的（但容易受骗）。
虽然 60% 的专家觉得“看起来像真的”，但那些仔细推敲的专家发现了很多逻辑漏洞。这说明，AI 生成的文档可以作为“草稿”或“起点”，但绝不能直接拿来用，必须经过人类专家的严格审查和修改。
6. 总结：这盘菜能吃吗？
能吃，但不能直接端上桌。
这篇论文告诉我们：
- 好消息： ChatGPT 确实能帮我们生成大量看起来很像真的软件需求文档，解决了“没数据做研究”的难题。
- 坏消息： 这些文档里藏着很多“毒蘑菇”（错误的逻辑和幻觉），而且 AI 自己还发现不了。
- 最终建议： 我们可以用 AI 来快速生成初稿，节省时间，但绝对不能省去人类专家仔细审核这一步。就像你可以用 AI 写个故事大纲，但要想变成一本好书，还得靠人类作家去润色和把关。
一句话总结： AI 能帮你写出“像模像样”的假需求，但它还没学会如何写出“真正靠谱”的需求。人类专家依然是不可或缺的“守门员”。
Each language version is independently generated for its own context, not a direct translation.
这篇论文题为《ChatGPT 能否生成逼真的合成系统需求规格说明书？案例研究结果》（Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study），由德国亚琛工业大学（RWTH Aachen University）的研究团队发表。该研究探讨了在无法获取真实系统需求规格说明书（SyRS）且无领域专家参与的情况下，利用黑盒大语言模型（LLM，如 ChatGPT）生成合成系统需求规格说明书（SSyRS）的可行性与质量。
以下是该论文的详细技术总结：
1. 研究背景与问题 (Problem)
- 核心痛点：系统需求规格说明书（SyRS）是软件工程研究中的核心自然语言（NL）工件，对于需求 elicitation（获取）、验证、自动化测试及工具基准测试等研究至关重要。然而，由于知识产权限制、保密性担忧或数据不可用，获取真实的 SyRS 非常困难。
- 现有挑战：虽然生成合成 SyRS（SSyRS）可以解决数据稀缺问题，但黑盒 LLM 存在幻觉（Hallucination）和过度自信（Overconfidence）的问题。LLM 倾向于生成看似合理但事实错误的内容，且往往以极高的确定性呈现，这使得在没有真实数据或专家验证的情况下，评估其生成内容的真实性极具挑战性。
- 研究目标：探究在不提供真实 SyRS且不引入领域专家的前提下，ChatGPT 是否能生成逼真的 SSyRS，并评估其作为真实 SyRS 替代品的可行性。
2. 研究方法 (Methodology)
研究采用了设计科学研究（Design Science Research, DSR）范式，设计了一个基于 LLM 的生成与评估迭代流程。
2.1 生成与评估流程
研究分为三个阶段，共进行了 10 次迭代：
- **准备阶段 **(Preparation)：
- 领域选择：定义了 10 个行业领域（如电子商务、教育、金融、医疗、物流等）。
- 模板设计：基于 ISO/IEC/IEEE 29148 标准简化了 SyRS 模板，包含系统概览、功能需求、非功能需求和约束四大类。
- 提示工程（Prompt Engineering）：使用了零样本提示（Zero-shot）、模板模式（Template pattern）、角色模式（Persona pattern，设定为“经验丰富的需求工程师”）和思维链（Chain-of-thought）技术。
- **生成与评估阶段 **(Generation and Assessment)：
- 生成：使用 ChatGPT-4o 为每个领域生成 3 个 SSyRS（共 300 个）。
- 评估：
- **完整性 **(Completeness)：使用提示词 PComp 检查是否包含模板规定的所有元素。
- **真实度 **(Degree of Realism, DoR)：使用提示词 PDoR 进行混合评估（定量打分 + 定性解释），评分范围 [0, 1]。
- **语义相似度 **(Semantic Similarity)：使用 SBERT 模型计算同一领域内不同 SSyRS 之间的语义相似度，以确保多样性并避免冗余。
- **分析与优化阶段 **(Analysis and Refinement)：
- 基于前几轮的评估结果（统计指标和主观判断）迭代优化提示词（Prompts），直到第 10 轮达到终止标准。
2.2 专家验证研究
为了验证 LLM 评估的有效性，研究团队进行了一项专家问卷调查：
- 样本：从最终生成的 300 个 SSyRS 中，每个领域随机抽取 1 个，共 30 个。
- 参与者：83 名具有软件工程背景的专家（N=87 份问卷，部分专家提交了多份），其中约 58% 具有领域专业知识。
- 任务：专家评估 SSyRS 的逼真度（Realistic vs. Unrealistic），并提供定性反馈。
3. 关键贡献 (Key Contributions)
- 方法论创新：提出了一套无需真实数据或专家介入即可生成和初步评估合成需求规格说明书的迭代框架，利用提示模式（Prompt Patterns）和 LLM 自评估来优化生成质量。
- 数据集构建：生成了包含 10 个不同行业领域、共计 300 个 SSyRS 的公开数据集（约 2.1 万词），并公开了所有提示词、评估结果和原始数据。
- 质量属性定义：定义了三个关键质量属性用于评估 SSyRS：
- **真实度 **(DoR)：模拟真实 SyRS 的程度。
- 完整性：符合模板结构的程度。
- 语义多样性：避免同一领域内生成重复内容。
- 实证发现：揭示了 LLM 在生成专业领域文本时的局限性，特别是定量评估的不可靠性。
4. 研究结果 (Results)
4.1 生成质量统计
- 规模：生成的 SSyRS 平均长度约为 716 词，分布较为均匀。
- 完整性：LLM 对完整性的评估（PComp）非常可靠，所有生成的文档均符合模板结构。
- 多样性：语义相似度得分平均为 0.66，表明生成的文档在保持结构一致的同时具有足够的语义差异。
- LLM 自评估的局限性：
- 模型偏差：不同模型（GPT-4o, GPT-5.2, Sonnet 4.5）对同一文档的 DoR 评分差异巨大。例如，Sonnet 4.5 的评分显著低于 GPT 系列。
- 不稳定性：对同一文档进行多次评估，得分波动极大（如某医疗文档在 10 次评估中得分从 0.48 到 0.73 不等），证明基于 LLM 的定量真实性评估是不可靠的。
4.2 专家评估结果
- 总体评价：**61.4%**的专家认为生成的 SSyRS 是“比较逼真”或“非常逼真”的，这与 LLM 的高分评估在趋势上基本一致。
- 深层问题：尽管总体评价积极，但专家的详细评论揭示了严重缺陷：
- 过度简化与通用化：内容像“教科书示例”或“ buzzword bingo"（堆砌术语）。
- 缺乏细节与模糊性：关键参数定义不清。
- 逻辑矛盾：不同部分之间存在不一致（例如将欧盟标准应用于非欧盟环境）。
- 不切实际的需求：如初始阶段设定过高的用户量或资源预算。
- 结论：专家虽然认为整体看起来逼真，但在深入分析后发现了大量逻辑错误和细节缺失。
5. 讨论与意义 (Discussion & Significance)
5.1 核心洞察
- 提示词验证有效：基于模板的提示词（Template Prompting）能有效保证文档结构的完整性；语义相似度是确保数据多样性的有效指标。
- 定量评估不可靠：LLM 生成的“真实度分数”受模型偏差影响极大，不能作为质量判断的唯一依据。定性评估（定性解释）
- 人类感知的陷阱：专家之所以认为 SSyRS 逼真，部分原因是 LLM 生成的文本具有过度自信和结构化的特点，制造了“逼真”的假象。这种假象掩盖了内容中的逻辑矛盾和事实错误。
5.2 研究意义
- 对研究界的价值：为缺乏真实数据的研究场景提供了一种生成合成数据的可行路径。生成的 SSyRS 可作为研究基准或用于提取上下文嵌入的需求。
- 对工程实践的建议：
- 不能完全自动化：目前无法完全依赖 LLM 进行合成需求的质量保证。
- 专家介入是必须的：尽管 LLM 能生成高质量的“草稿”或“候选项”，但必须经过领域专家的严格审查和修正，才能消除幻觉和逻辑错误。
- 警惕过度自信：在使用 LLM 生成专业文档时，需警惕其看似合理的表述背后可能隐藏的事实错误。
总结
该研究证实了 ChatGPT 在结构和表面内容上能够生成具有一定逼真度的合成系统需求规格说明书，为缓解真实数据稀缺问题提供了新思路。然而，研究也明确警告：LLM 生成的内容存在显著的幻觉和逻辑缺陷，且 LLM 自身的定量评估不可靠。因此，合成数据不能直接替代真实数据用于关键决策，必须结合人类专家的深度审查才能发挥其最大价值。