💻 computer science

ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents

本文介绍了 ReqGenX，这是一项实证研究，通过将遗留的软件需求规格说明（SRS）文档分解为具有可追溯性的原子语句，并将其重新生成为合成的 pre-SRS 人造制品，展示了如何实现对基于大语言模型（LLM）的 SRS 生成进行细粒度评估，同时揭示了忠实度、信息保留与人造制品完整性之间的关键权衡。

原作者： Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个聪明、反应极快的机器人如何为一款新游戏编写规则手册。你递给机器人一本来自 20 世纪 90 年代的、写满了模糊想法、涂鸦笔记和半成品思想的凌乱手写笔记本。你的目标是让机器人将那本凌乱的笔记本变成一份完美、专业的规则手册。但这里有个陷阱：机器人因为太渴望提供帮助，可能会不小心发明新的规则、遗忘旧的规则，或者把两个不同的想法混淆成一个令人困惑的句子。这就是编写软件需求规格说明书（SRS）的世界。在技术领域，SRS 是告诉工程师软件应该具体做什么的“主蓝图”。虽然大语言模型（LLMs）——也就是那些能写诗和回答问题的同类 AI——在编写这些蓝图方面变得越来越出色，但要检查它们到底是在陈述事实还是在胡编乱造，却极其困难。我们需要一种方法，能够将机器人写的每一句话都追溯回那本凌乱的原始笔记本，以观察它是忠于原著还是在产生“幻觉”。

这正是 ReqGenX 背后的研究人员致力于解决的问题。他们不仅仅是要求 AI 写一份新的规则手册；他们构建了一个聪明的、分步骤的“工厂”，来测试 AI 如何将旧的、凌乱的文档分解为微小的、不可辩驳的事实，将这些事实转化为特定类型的笔记（如“用户故事”或“质量检查”），并观察这些笔记是否可以被用来重建原始构思而不丢失任何内容。这就像是把一座复杂的乐高城堡拆解开，仔细地拆下每一块积木并贴上标签，将它们分类放入特定的盒子中，然后尝试仅使用这些分类好的盒子来重建城堡。研究人员想要知道：AI 能做到这一点而不丢失任何一块积木，也不凭空创造出原本不存在的新颜色吗？

工厂：ReqGenX

团队创建了一个名为 ReqGenX 的流水线，作为这项实验的受控实验室。他们没有让 AI 直接“写”一份新文档，而是强制它通过三个严格的阶段，在每一步都扮演质量控制检查员的角色。

第一阶段：原子化拆解
首先，AI 获取一段来自旧文档的文本，并尝试将其拆解为“原子”。想象一下这样一个句子：“该产品使用 Qt 库，并且必须在所有支持的操作系统上运行。”对人类来说，这是一句话。但对 AI 来说，这实际上是两个不同的想法揉在了一起。目标是将它们拆分为“原子语句”——即微小的、自包含的、无法进一步拆分的真相。一个原子变成了“该产品使用 Qt 库”，另一个变成了“该产品必须在所有支持的操作系统上运行”。研究人员发现，AI 在这方面表现得相当出色。当他们检查这些微小的原子是否忠实于原文时，得分非常高，通常在 0.96 到 0.99 之间（在以 1.0 为完美的量表中）。然而，他们也注意到，有时 AI 会表现得过于积极，从而丢弃了一些信息，或者相反，保留了一些过于模糊而无法使用的信息。

第二阶段：分拣帽
一旦文本被拆解为原子，AI 就必须决定每个原子属于哪种类型的笔记。这就像巫师学校里的分拣帽。这个事实属于“用户故事”（关于一个人想做什么的笔记）吗？它属于“质量笔记”（关于系统必须多快或多安全的规则）吗？或者它只是一个“系统上下文”笔记（背景信息）？研究人员使用了一个由不同 AI 模型组成的团队来对这些类别进行投票。他们发现，虽然 AI 在处理通用概念时很擅长，但在面对非常具体的专业标签时有时会遇到困难。例如，在尝试判断一个句子是“功能性需求”还是“质量需求”时，AI 模型之间的分歧很大，一致性得分在某些情况下甚至降至 0.31。这表明虽然 AI 能看到森林，但有时会对具体的树木类型感到困惑。

第三阶段：重构
最后，AI 拿起这些经过分类和标记的原子，尝试将它们编写成一份全新的、看起来很专业的文档。这是真相大白的时刻：AI 能否将这些微小的、分类好的事实重新组合成一个连贯的故事？研究人员通过提取 AI 生成的笔记，并要求另一个 AI 根据这些笔记重建原始文档来进行测试。他们发现，AI 确实可以重建文档，但它并不是一个完美的副本。其“语义相似度”（含义匹配程度）尚可，范围在 0.69 到 0.75 之间，但“事实支撑度”（新文本是否真的证明了旧事实）则表现得较为不稳定。

结论：忠实但有缺陷

那么，研究人员究竟发现了什么？

首先，他们证实了 AI 可以成为一名非常优秀的图书管理员。它可以将一份凌乱的旧文档拆解为微小的、真实的细节，且成功率极高。大多数情况下，它创建的原子对源文本的忠实度在 96% 到 99% 之间。这意味着 AI 不仅仅是在凭空捏造；它通常是在遵循剧本。

然而，他们也发现了几个重要的“但是”。

“缺失积木”问题： 尽管 AI 是忠实的，但它并不完美地保留了所有内容。根据文档和所使用的 AI 模型不同，成功保留的原始信息量（覆盖率）差异很大，范围从 35.6% 到 93.5% 不等。这并不意味着 AI 在撒谎；这意味着对于某些文档，AI 认为原始文本中的大部分内容过于模糊、冗余或属于结构性内容，因此不适合作为独立的“原子”保留；而对于另一些文档，它则几乎保留了所有内容。
“完美模板”陷阱： 当 AI 尝试将这些原子转化为特定类型的文档（如“质量笔记”）时，它有时会在不添加虚假细节的情况下填补空白时遇到困难。虽然 AI 几乎 100% 通过了基础的“评委”测试，但更严格、更挑剔的测试（称为 Prometheus）显示，只有 54.8% 到 97.1% 的人工制品是真正完整且高质量的。这表明 AI 可以让事物看起来“正确”，但有时会缺失真正发挥作用所需的深度细节。
重构差距： 当他们尝试从 AI 的笔记中重建原始文档时，新版本是一个“可追溯的草案”，而不是完美的副本。它捕捉到了主要观点，但在翻译过程中丢失了一些细微差别。

这对未来意味着什么

研究人员并不是在说 AI 已经解决了编写软件规则手册的问题。相反，他们是在说 AI 是一个强大的信息“检查”和“组织”工具，但它需要人类的引导。

他们发现，最大的瓶颈不在于 AI 的写作能力，而在于证据的粒度。如果原始文档过于模糊，或者将太多想法混在一起，AI 就会难以将其转化为清晰、可用的格式。AI 无法凭空创造缺失的上下文；它只能利用已有的素材进行工作。

最终，这项研究表明，我们可以利用 AI 来创建“可追溯的合成人工制品”——即能够链接回原始来源的数字笔记，这样我们就能清楚地看到每一个想法的来源。这是检查 AI 是否在说实话的一大进步。但这也提醒我们：仅仅因为 AI 生成了一份整洁、专业的文档，并不意味着它捕捉到了原始文档的所有细节。AI 是一个出色的助手，但它仍然需要人类来拿着地图，确保没有遗漏任何一块积木。

技术摘要：ReqGenX —— 关于遗留 SRS 文档的原子分解、人工制品再生与重构的实证研究

1. 问题陈述

由于缺乏能够提供源需求、中间需求工程（RE）人工制品与生成的规范之间细粒度追溯性的数据集，评估基于大语言模型（LLM）的软件需求规格说明（SRS）生成具有挑战性。现有的资源往往无法将异构的 SRS 证据、中间 RE 人工制品以及追溯关系进行联合关联。因此，评估生成的 SRS 通常依赖于文档级的流畅度，这可能会掩盖源信息缺失、不同关注点合并或引入不支持的需求等问题。

本文旨在解决一种将遗留 SRS 文档转换为可追溯的合成预 SRS 人工制品的机制。其目标是创建一个能够支持对基于 LLM 的 SRS 编译进行细粒度评估的底层结构，具体考察遗留内容能否在不丢失关键信息或引入幻觉的情况下，被分解为原子的、有源依据的陈述，并路由到标准的制品类型中。

2. 方法论：ReqGenX 流水线

作者引入了 ReqGenX，这是一个受控且可重复的流水线，旨在实现将遗留 SRS 转化为合成人工制品的流程化操作。该流水线主要分为三个阶段：

第一阶段：需求分解

标准化： 将遗留 SRS 文档（通常为 PDF）转换为文本（Markdown），移除非需求内容（封面、页眉、页脚）并修复结构错误。
分块（Chunking）： 根据恢复的层级结构将文档分割成章节级的块（Chunks）。
原子化： 使用基于 LLM 的“原子化器”将块分解为原子陈述（Atomic Statements）。一个“原子”被定义为：最小的、由源内容支持的命题，且必须忠实于源内容、具有原子性（表达一个连贯的思想）并对下游人工制品生成具有实用价值。
评判： 一个独立的评判 LLM 根据评分标准对原子进行评估，并提出改进建议（保留、重写、拆分、合并、删除、添加），以优化原子集。

第二阶段：语义路由

打标签： 根据受 IEEE 29148 启发的模式（如：目的、范围、功能、质量属性）为原子分配语义标签。
多 LLM 投票： 为确保可靠性，三个独立的 LLM 代理会对每个原子提出标签建议。最终标签通过多数投票选出。未解决的情况通过人工在环（HITL）审查处理。
细粒度分类： 被标记为“需求”的原子会进行二次分类（功能型 vs. 质量型）；若是质量型，则进行子类型分类（如：可移植性、安全性），以指导人工制品的生成。

第三阶段：人工制品生成与审查

生成： 将经过验证的原子转换为类型的预 SRS 人工制品（如：用户研究笔记、系统上下文笔记、质量属性约束），并使用特定的模板。原子文本作为主要的真相来源；不允许进行任何未经支持的丰富化。
迭代优化： 评判 LLM 从五个维度评估生成的人工制品：忠实度、支持度、上下文相关性、结构对齐度和稀疏度。未达到阈值的人工制品将进行迭代修订。
追溯性： 流水线维护溯源元数据，将每个生成的人工制品链接回其对应的源原子、所属块及原始 SRS 章节。

3. 实验设计

数据集： 七份来自 PURE 数据集 的 SRS 文档（Get Real, Library, Puget Sound, QHeadache, VUB, Libra, Home），共计 31,454 个单词和 1,408 个句子。
模型： 实验使用了混合模型，包括闭源模型（Claude Sonnet 4.6, GPT-4o）和开源模型（GPT-OSS, Gemma 3, Phi-4, Mistral, Llama 3, Qwen3）。
评估指标：
- AlignScore： 衡量源内容与生成内容之间的语义支持程度。
- Judge/Prometheus 分数： 基于评分标准的质量评估（1–5 分制），涵盖忠实度、原子性和结构对齐度。
- 嵌入相似度 (SBERT)： 用于衡量信息保留度和下游可恢复性。
- 覆盖率分析： 测量通过流水线保留的源信息单元的百分比。

4. 关键结果

RQ1: 基于 LLM 的 RE 决策可靠性

语义路由： LLM 可以支持语义路由，但可靠性各异。Claude Sonnet 4.6 在与人类标签的一致性方面表现最高（标签 $\kappa = 0.83$ ，需求 $\kappa = 0.80$ ）。对于细粒度的需求分类，模型间的协议度较低（例如 GPT-4o 与 GPT-OSS 之间 $\kappa = 0.31$ ）。
质量判断： Gemma 3 被确定为最佳评判模型，在 F1 分数与低假阳性率之间提供了良好的权衡，适用于原子和人工制品的评估。

RQ2: 生成原子的质量

忠实度： 生成的原子对源块保持高度忠实，中值 AlignScore 在 0.96 至 0.99 之间。不支持率通常低于 3%。
覆盖率 vs. 忠实度： 虽然原子是忠实的，但源覆盖率差异显著（35.6% 至 93.5%）。部分信息的丢失并非由于幻觉，而是因为分解过程为了确保原子性而丢弃了隐性的、冗余的或弱行动力的内容。
质量： 经过修订后的原子达到了较高的通过率（原子性 76%–100%；可用性 70%–97%），平均 Prometheus 分数在 4.34 至 4.85 之间。

RQ3: 生成人工制品的质量

落地性（Grounding）： 生成的人工制品仍强力扎根于源原子，平均 AlignScore 通常在 0.80 至 0.94 之间。
优化： 经过迭代优化后，评判通过率接近 100%。然而，更严格的 Prometheus 评估揭示了较大的波动（通过率 54.8% 至 97.1%），表明落地性并不保证结构完整性或稀疏度。

RQ4: 下游 SRS 重构

可恢复性： 在从生成的人工制品重构 SRS 的案例研究中，源原子在语义上是可恢复的（SBERT 均值：0.69–0.75）。
事实支持： 重构的 AlignScore 中位数范围为 0.76 至 0.84。然而，较低的均值和较宽的四分位距表明，由于在编译过程中存在抽象或改写，事实支持的稳定性弱于语义相似性。

RQ5: 信息丢失与失败模式

粒度问题： 信息丢失主要由**证据粒度（Evidence Granularity）**驱动，而非生成失败。
- SRS $\to$ 原子： 当陈述是隐性的、捆绑的或依赖上下文时，会出现丢失。
- 原子 $\to$ 人工制品： 当有效的原子过于狭窄，无法在不添加不支持的内容的情况下填满受限的人工制品模板时，会出现丢失。
修订模式： 最频繁的修订动作是“重写（Rewrite）”和“删除（Remove）”（用于解决捆绑或措辞乏力的问题），而“拆分（Split）”在处理密集章节时较为常见。“合并（Merge）”和“添加（Add）”则较少见。

5. 核心贡献

经验特征化： 本研究刻画了基于 LLM 的遗留 SRS 原子化过程，证明了高水平的原子级忠实度可以与显著变化的源覆盖率并存。
阶段性分析： 对 SRS $\to$ 原子 $\to$ 人工制品转换过程中的信息丢失进行了细粒度分析，区分了“证据粒度问题”与“幻觉问题”。
路由可靠性： 研究表明，LLM 语义路由（特别是针对高层标签）比细粒度需求分类更可靠，其中 Claude 在与人类的一致性方面表现优异。
评判器校准： 提供了一种基于 292 个标注三元组进行人类校准的程序，用于选择用于 RE 人工制品评估的 LLM 评判器。
复现包： 作者发布了一个可追溯的复现包，包含处理后的 SRS、生成的原子/人工制品、提示词、代码本及追溯性元数据。

6. 重要性与主张

本文主张，可追溯的合成预 SRS 人工制品可以支持对基于 LLM 的 SRS 生成进行更细粒度的评估。通过将遗留文档分解为具有溯源性的原子单元，本研究揭示了以下关键权衡：

忠实度（Faithfulness）： 输出与源内容的匹配程度。
信息保留（Information Retention）： 保留了多少源内容。
制品完整性（Artifact Completeness）： 输出是否在不产生幻觉的前提下满足结构要求。

作者总结道，虽然 LLM 可以生成忠实且可用的原子和有落地性的人工制品，但这些转换并非无损的。研究强调，主要的瓶颈在于证据粒度：遗留 SRS 通常包含隐性或捆绑的信息，难以干净地分解为标准的制品模板。作者谦虚地将这项工作定位为一种实验性工具，而非生产就绪的 SRS 生成工具，旨在观察信息在经过分解、路由和重构阶段时的变化过程。他们认为，未来的系统必须考虑这些权衡，例如允许部分指定的制品，或者将相关的原子进行分组，而不是强行将每个源陈述塞入僵化的模板中。