💻 计算机科学

Entity and non-functional-requirement extraction from user stories: evidence from supervised sequence models and reproducible LLM benchmarking

本文评估了用于从用户故事中提取实体和非功能性需求的监督序列模型与开源权重大语言模型，证明了 BiLSTM-CRF 模型在一个新发布的、可复现的基准测试集上显著优于零样本和单样本大语言模型。

原作者： Hazem Abedelrazeq Alreqeb, Motaz SAAD

发布于 2026-10-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Hazem Abedelrazeq Alreqeb, Motaz SAAD

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

软件团队经常将他们的计划写成简短的自然语言句子，称为用户故事（user stories）。这些笔记遵循一个简单的模式：“作为一个 [角色]，我想要 [动作]，以便 [原因]。”它们旨在捕捉软件应该做什么以及为什么这很重要。虽然人类可以轻松阅读这些笔记，但计算机却很难理解它们。这些句子往往很凌乱、缺失部分内容，或者以不符合严格模板的方式编写。为了构建更好的管理软件的工具，研究人员需要一种方法来教计算机阅读这些故事，并提取出特定的信息：谁参与其中、他们想做什么以及他们为什么想这么做。他们还需要识别隐藏的需求，例如关于速度、隐私或系统易用性的规则，这些规则通常埋藏在文本中或未被明说。

一组研究人员试图通过测试两种不同的教学方法来解决这个问题，以教计算机如何提取这些细节。第一种方法使用一种专门的计算机程序，该程序经过数千个示例的训练，充当一名细心的编辑，高亮显示符合每个类别的确切单词。第二种方法使用大语言模型，这是一种强大的人工智能系统，能够理解和生成人类语言，而无需针对该任务进行专门训练。研究人员想要看看哪种方法能更准确地从大量的软件故事中提取正确的信息，以及这种更新、更灵活的 AI 工具是否能超越那些旧的、更僵化的工具。

团队首先收集了一个庞大的英语用户故事集合，共计 2,234 个，来源包括各种公共渠道，如软件开发社区和需求数据库。他们通过人工对这些故事进行了标注，标明了哪些词代表角色、动作和目标。随后，他们在这些数据上测试了一系列计算机模型。最成功的模型是一个能够同时从两个方向读取文本的系统，这使得它能够通过观察单词前后的词语来理解单词的上下文。当该模型在原始集合上进行训练时，它能正确识别故事的关键部分，准确率达到 96.2%。当研究人员通过创建现有故事的轻微变体来增加训练数据中的示例时，模型的准确率提高到了 98.6%。该系统在识别团队寻找的五种特定质量方面也表现得非常好：隐私、性能、易用性、可扩展性和可维护性。

为了确保结果公平且可供他人查证，研究人员创建了一个新的、共享的测试集，该测试集与训练数据保持分离。他们邀请了七个不同的语言大模型来尝试同一项任务。这些模型被给予故事，并被要求以严格的格式返回答案，不带任何额外的解释。研究人员通过检查计算机的答案是否与人工标注的答案在单词和顺序上完全一致来衡量成功。结果显示，两种技术之间存在明显的差距。经过特定数据训练的专门计算机程序在新的测试集上达到了 0.953 的准确率得分。即使研究人员在其训练中加入了一些经过安全修改的示例，得分也上升到了 0.961。

相比之下，即使是目前最强大的大语言模型，在被要求匹配确切的单词边界时也表现得非常吃力。在没有任何特定示例引导学习的情况下，表现最好的大语言模型得分仅为 0.414。当研究人员给该模型一个示例来展示如何完成任务时，其得分仅略微提升至 0.434。主要问题在于，虽然这些模型通常能理解故事的一般含义，但它们经常在答案中包含过多的单词或过少的单词，或者选错了短语的起始点和结束点。由于测试要求精确匹配，这些微小的错误会被计为失败。然而，专门的程序旨在寻找这些确切的边界，因此在执行这项特定工作时更加可靠。

研究团队还考察了这些系统的运行速度。在标准计算机上，专门的程序处理单个故事的时间不到半毫秒，这使得它在处理大规模集合时速度极快。大语言模型则耗时较长，平均每个故事约 0.7 秒，在处理数千份文档时，这是一个显著的差异。研究人员指出，虽然大语言模型在理解一般概念方面表现出色，并且可以作为人类快速审查时的得力助手，但它们尚未准备好取代那些需要精确、自动化提取细节的专门程序。

研究人员谨慎地指出了他们工作的局限性。由于部分原始数据和日志缺失，他们无法完全复现之前一项更大规模实验的结果。他们还指出，他们创建的共享基准测试有意留空了质量属性（NFR）标签，因为现有的来源数据并未针对故事层级的类别进行验证。因此，这个新的共享测试集无法对大语言模型如何处理这些特定非功能性需求的表现进行公平比较。研究结论是，对于那些需要自动筛选数千个软件故事以寻找特定执行者、动作和目标的团队来说，专门的计算机程序仍然是最准确且最高效的工具。大语言模型可以作为人类分析师的得力助手，但它们还不能在没有仔细检查的情况下独立承担工作。研究人员已经发布了他们的数据和工具，以便其他科学家可以验证这些发现并继续改进这项技术。

技术摘要：用户故事中的实体与非功能性需求提取

1. 问题定义

敏捷开发中的用户故事通常遵循“作为……我想要……以便于……”的结构，将角色（actor）、请求的功能（capability）与预期的收益（benefit）联系起来。然而，在实际运营的积压工作（backlogs）中，这些故事往往会偏离规范模板、省略条款或合并功能，导致难以进行自动化处理。

本文探讨了两个截然不同的提取挑战：

结构化提取（实体识别）： 在自然语言文本中识别用户（USER，角色）、功能（FUNCTION，请求的功能）和目标（GOAL，预期的收益）。
定性提取（NFRs）： 识别五种非功能性需求（NFR）方面：隐私（Privacy）、性能（Performance）、可用性（Usability）、可扩展性（Scalability）以及可维护性（Maintainability）。

核心挑战在于如何从非结构化文本中可靠地推导出这些结构，以及如何在传统的监督式序列模型与现代大语言模型（LLMs）之间进行公平且可复现的比较。

2. 研究方法

本研究采用了双轨方法，区分了历史监督实验与一个新的、可复现的基准测试。

A. 语料库与数据

原始语料库： 从需求数据集、Scrum Alliance 材料及公开来源收集的 2,234 条英文用户故事。
增强语料库： 据报告通过基于同义词的增强（通过 corpus-extender）扩展至 6,980 条故事。论文指出，原始训练代码和用于此类增强的具体种子已无法获取，因此将这些结果视为历史记录而非完全可复现的独立评估。
共享可复现基准： 一个源自 6,955 个唯一故事标识符的新数据集。其划分如下：
- 训练集：5,008 条故事。
- 验证集：556 条故事（严格用于 LLM 配置选择）。
- 留出测试集（Held-out Test）：1,391 条故事（仅用于最终推理一次）。
- 防泄漏增强： 向训练集中添加了 599 个文本变化的变体。至关重要的是，这些变体仅源自原始训练分区，确保没有验证集或测试集的故事泄露到训练中。

B. 评估的模型

监督式序列模型：
- 基准模型： 自定义 spaCy 流水线、条件随机场（CRF）。
- 神经模型： LSTM–CRF 和 BiLSTM–CRF。神经模型利用 300 维嵌入、两层 LSTM（256 个隐藏单元）、Dropout（0.5）以及用于建模标签依赖关系的 CRF 输出层。
大语言模型 (LLMs)：
- 七个通过 Ollama 部署的本地运行开源权重模型（例如 Gemma4-12B, Qwen3.5-4B, Ministral-3-8B）。
- 协议： 在 零样本（Zero-shot） 和 单样本（One-shot）（以及高达 4-shot）配置下进行评估。
- 选择策略： LLM 配置仅根据验证集性能进行选择，以防止对测试集的过拟合。

C. 评估指标与评分

指标： 标准化精确跨度（exact-span）微平均 F1 值（micro-F1）。
严格性： 该指标要求字符跨度必须精确匹配（经过大小写和标点符号归一化）。语义正确但边界不匹配的跨度将被计为错误。
范围： 共享基准仅评估三种结构化实体（USER、FUNCTION、GOAL）。它不支持 NFR 比较，因为发布的 NFR 字段是词级列表，而非经过验证的故事级类别。

3. 关键结果

A. 历史监督结果（原始与增强语料库）

在原始语料库拆分上，BiLSTM–CRF 取得了最高性能：

原始语料库 F1： 0.962（优于 CRF 的 0.934 和 spaCy 的 0.859）。
增强语料库 F1： 0.986。
NFR 性能： 在增强数据上，BiLSTM–CRF 在五个 NFR 类别上的每项 F1 分数介于 0.981 和 0.988 之间。

B. 可复现共享基准结果（1,391 条测试故事）

在留出测试集执行严格的精确跨度匹配规则下：

BiLSTM–CRF（原始训练）： 实现了 0.953 的总体 F1。
BiLSTM–CRF（+599 个防泄漏变体）： 总体 F1 提升至 0.961。最显著的增益观察于 GOAL 实体（0.923 $\to$ 0.945）。
LLM 性能：
- 零样本： 表现最好的零样本模型 Gemma4-12B，F1 达到 0.414。
- 单样本： 经过验证集选择的最佳配置 Qwen3.5-4B (1-shot)，F1 达到 0.434。
- 细分情况： LLM 在 USER 提取方面表现良好（例如 Gemma4-12B 为 0.984），但在 FUNCTION 和 GOAL 方面表现极差（得分通常 < 0.10），这表明精确的边界匹配是生成式模型在此背景下的主要障碍。

C. 效率

BiLSTM–CRF： 在 NVIDIA RTX A6000 上，推理时间约为每条故事 0.493 毫秒（原始训练）和 0.586 毫秒（增强后）。
LLMs： 所选 LLM 的平均墙钟时间为 每条故事 0.723 秒，凸显了与专门的序列标注器相比巨大的延迟差异。

4. 核心贡献

证据整合： 本文整合了监督模型（BiLSTM–CRF）的历史论文结果，由于缺乏原始日志，并未尝试重建不支持的精确率/召回率值。
可复现基准： 发布了一个固定的、防泄漏的实体提取基准（6,955 条故事，1,391 条测试），为 BiLSTM–CRF 和七种 LLM 提供了一致的拆分和评分标准。
防泄漏增强： 展示了一种使用严格源自训练分区的变体来增强训练数据的方法，证明了在不污染测试集的情况下，可以实现一致的 F1 提升（0.953 $\to$ 0.961）。
公平的 LLM 比较： 建立了一套协议，即 LLM 配置仅通过验证集进行选择，从而防止测试集泄露，并应用了严格的精确跨度指标来惩罚边界错误。

5. 重要性与主张

本文采取了一种审慎的、基于证据的立场：

监督模型的优越性： 在提取具有严格边界约束的结构化实体的特定场景下，专门的 BiLSTM–CRF 显著优于无论是零样本还是经过验证选择的单样本 LLM（0.961 对比 ~0.43）。
实际意义： 对于拥有能够标记代表性故事的稳定积压工作的团队，复现的 BiLSTM–CRF 是实现亚毫秒级、边界准确提取的实用默认选择。
LLM 的角色： 提示词驱动的 LLM 被定位为 交互式分析师辅助工具，而非无人值守的替代品。它们在识别角色（USER）和生成用于审查的 JSON 结构方面是有效的，但由于其在动作（action）和目标（goal）方面的精确跨度得分较低，因此在进入下游流程前需要人工核实。
局限性： 本文明确声明未声称具有统计学显著性、硬件无关的延迟或优于所有可能的 LLM 提示策略。此外，由于缺乏经过验证的故事级 NFR 标签，本文无法在新的基准测试中声称在 NFR 提取方面具有优越性。

作者得出结论：虽然历史证据支持 BiLSTM–CRF 高水平的 NFR 准确性，但新的基准测试证实，在进行结构化实体提取时，在严格且可复现的条件下，监督式序列模型目前仍保持着相对于生成式 LLM 的实质性优势。