A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements

这是一份关于论文《A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements》（本体需求中能力问题 elicitation 方法的比较研究）的详细技术总结。

1. 研究背景与问题 (Problem)

能力问题 (Competency Questions, CQs) 在本体工程（Ontology Engineering, OE）生命周期中至关重要，它们用于指导本体的设计、验证和测试，并作为领域专家与知识工程师之间的桥梁。然而，CQ 的制定在实践中往往面临以下挑战：

• 制定困难且耗时：开发者认为手动制定 CQ 困难，且缺乏标准化的工具支持。
• 缺乏评估标准：目前缺乏清晰、客观的标准来评估生成的 CQ 是否准确反映了预期需求。
• 现有方法的局限性：虽然已有研究提出了基于受控自然语言、模式（Patterns）以及大语言模型（LLMs）的自动生成方法，但缺乏对这些不同方法生成的 CQ 进行系统性比较和特征分析的研究。现有的评估往往局限于单一维度（如仅关注可读性或语法正确性），且缺乏基于同一来源数据的对比基准。

2. 研究方法 (Methodology)

为了系统性地评估不同 CQ 生成方法，作者设计了一个受控的比较实验框架，主要包含以下步骤：

2.1 数据来源与实验设计

• 统一输入：所有 CQ 均源自同一个“用户故事”（User Story），该故事属于文化遗产领域，涉及音乐档案管理员和收藏策展人的交互、目标及信息需求。
• 三种生成方法：
  1. 人工制定 (Manual)：由两名拥有至少 5 年本体工程经验的人类标注者（HA-1, HA-2）独立阅读用户故事并制定 CQ。
  2. 基于模式 (Pattern-based)：由另一名经验丰富的工程师使用预定义的 CQ 模板（Archetypes，如 Ren et al. [33] 提出的模式）进行实例化。
  3. 基于大语言模型 (LLM-based)：使用两个最先进的 LLM（GPT-4.1 和 Gemini 2.5 Pro）根据用户故事生成 CQ。提示词中未包含任何关于 CQ 数量或属性的特定定义，以避免偏见。
• 数据集构建：构建了名为 AskCQ 的新数据集，包含 204 个 CQ，分为 5 个子集（HA-1: 44, HA-2: 54, Pattern: 38, GPT: 26, Gemini: 42）。所有 CQ 均经过匿名化处理以消除评估偏见。

2.2 评估框架

研究通过混合方法（定性 + 定量）回答三个研究问题（RQs）：

• RQ1 (适用性)：专家对 CQ 适用性的共识程度如何？
  • 方法：3 名专家独立评估每个 CQ 的适用性（接受/拒绝），并计算 Fleiss' Kappa 一致性系数。
• RQ2 (特征对比)：不同方法生成的 CQ 在歧义性、相关性、可读性和复杂性上有何差异？
  • 歧义性 (Ambiguity)：基于专家评论中的不一致性进行标记。
  • 相关性 (Relevance)：使用 LLM (Gemini 2.5 Pro) 根据 4 点李克特量表评估 CQ 与用户故事需求的对齐程度（显式需求 vs. 推断需求）。
  • 可读性 (Readability)：计算 Flesch-Kincaid 年级水平 (FKGL) 和 Dale-Chall 可读性指数 (DCR)。
  • 复杂性 (Complexity)：从四个维度量化：
    1. 字符长度 (c0)
    2. 需求复杂性 (c1)：本体原语（概念、属性、关系、过滤器、基数）的丰富度。
    3. 语言复杂性 (c2)：名词短语、动词、介词等表面特征。
    4. 句法复杂性 (c3)：依赖树深度、节点数量等结构特征。
• RQ3 (语义重叠)：不同方法生成的 CQ 集合在语义多样性与重叠度上如何？
  • 方法：使用 Sentence-BERT (all-MiniLM-L6-v2) 生成 384 维向量，计算质心余弦相似度、覆盖率（Coverage）和双向覆盖度。

3. 关键贡献 (Key Contributions)

1. 首个多标注者 CQ 数据集 (AskCQ)：这是第一个从同一来源材料（用户故事）出发，利用不同 elicitation 方法（人工、基于模式、基于 LLM）生成的多标注者 CQ 数据集，并公开了代码和数据。
2. 系统性的多维比较分析：首次对人工、模式化和 LLM 生成的 CQ 进行了全面的对比，不仅评估了适用性，还深入分析了其结构、语言特征及语义重叠度。
3. 实证发现：揭示了不同生成方法在 CQ 质量特征上的显著差异，特别是 LLM 生成内容在复杂度和可读性上的表现，以及人工专家在捕捉“推断性需求”方面的独特优势。

4. 主要研究结果 (Results)

4.1 专家评估 (RQ1)

• 人工生成表现最佳：HA-1 和 HA-2 的 CQ 获得了最高的适用性评分（平均分分别为 2.39 和 2.87）和接受率（91% 和 98%），且收到的负面评论最少。
• LLM 表现中等：GPT 和 Gemini 的接受率分别为 85% 和 67%，评分低于人工组，且收到的评论更多。
• 模式化表现最差：基于模式的方法接受率最低（50%），评分波动最大，且评论比例最高（37%），表明其生成的 CQ 往往不够灵活或难以适配具体场景。

4.2 特征分析 (RQ2)

• 可读性：人工生成的 CQ 可读性最高（FKGL 分数最低，约 5.6-6.9，相当于初中水平）。LLM 生成的 CQ 可读性显著较低（FKGL 9.7-11.6，相当于高中或大学水平），词汇更复杂，句子更长。
• 复杂性：
  • 长度：LLM 生成的 CQ 平均长度（>90 字符）是人工组（~45 字符）的两倍。
  • 需求与句法复杂性：LLM 生成的 CQ 在需求原语丰富度（c1）、语言复杂性（c2）和句法结构（c3）上均显著高于人工和模式化方法。GPT 生成的 CQ 最为复杂。
• 相关性：人工标注者（特别是 HA-2）生成的 CQ 中包含更高比例的推断性需求（即未明确陈述但功能上必需的需求，得分 3）。相比之下，Gemini 生成的 CQ 几乎完全局限于显式陈述的需求。

4.3 语义分析 (RQ3)

• 主题一致性但具体表达差异大：所有集合的质心相似度较高（0.61-0.85），说明它们都关注用户故事的核心主题。
• 低语义重叠：在具体 CQ 层面的语义覆盖度极低。即使是两个人类标注者之间，双向覆盖度也仅为 15.3%。
• LLM 的独特性：LLM 生成的集合之间（如 GPT vs. Gemini）以及 LLM 与人类生成集合之间的覆盖度极低（经常为 0% 或 <5%）。这表明不同的 LLM 或同一 LLM 的不同实例化会产生截然不同的 CQ 集合，缺乏一致性。

5. 意义与结论 (Significance & Conclusion)

• 人类专家的核心地位：尽管 LLM 能生成相关且主题连贯的内容，但人类专家在制定高质量 CQ 方面仍不可替代。人工生成的 CQ 具有更高的可读性、更低的复杂性，并且能够捕捉关键的隐含（推断性）需求，这是当前自动化方法难以复制的。
• LLM 的局限性：LLM 生成的 CQ 往往过于复杂、难以理解，且缺乏一致性（不同模型生成的结果差异巨大）。如果仅依赖 LLM 作为本体需求的唯一来源，可能会导致需求遗漏或歧义。
• 混合方法的建议：研究建议采用混合方法。LLM 可用作初步的头脑风暴工具，以快速生成大量候选问题，但必须经过人类专家的审查、简化和细化，以确保清晰度、相关性和对隐含需求的覆盖。
• 未来方向：未来的工作应探索如何利用本研究中识别出的高质量人工 CQ 特征（Desiderata）来优化提示工程（Prompt Engineering），引导 LLM 生成更符合本体工程师期望的 CQ，并探索集成方法以提高 LLM 生成结果的一致性和覆盖度。

总结：该论文通过严谨的实证研究证明，虽然 LLM 是强大的辅助工具，但在本体工程的关键环节（CQ 制定）中，人类专家的判断、领域知识以及对隐含需求的理解仍然是保证本体质量的核心要素。