論文要約：オントロジー要件からのコンピテンシー質問（CQ）引き出し手法の比較研究

1. 背景と課題 (Problem)

オントロジー工学において、**コンピテンシー質問（Competency Questions: CQs）**は、ドメイン専門家と知識エンジニアの間のギャップを埋め、オントロジーの設計、検証、テストを導くために不可欠な要素です。しかし、実務では CQ の作成が時間がかかる、標準化されたツールが不足している、生成された CQ が要件を適切に反映しているか評価する客観的な基準がないなどの理由から、十分に活用されていません。

近年、CQ の自動生成手法として、制御自然言語やパターン（アーキタイプ）の活用、そして大規模言語モデル（LLM）の利用が提案されています。しかし、これら異なる手法（手動、パターンベース、LLM ベース）によって生成された CQ の出力特性を体系的に比較・評価した研究は不足しており、どの手法がどのような特徴を持つのか、またその品質は如何なるかが不明確でした。

2. 研究方法 (Methodology)

本研究は、文化遺産ドメインにおける単一の「ユーザーストーリー」から導出された共通の要件に基づき、3 つの異なる CQ 生成手法を比較する実証研究です。

2.1 対象データセット「AskCQ」

同一のソース（ユーザーストーリー）から生成された 204 件の CQ からなる、初のマルチアノテータデータセット「AskCQ」を構築しました。

• 手動生成 (Manual): 経験豊富なオントロジーエンジニア 2 名（HA-1, HA-2）が、制約なしで CQ を作成。
• パターンベース (Pattern-based): 事前に定義された CQ パターン（Ren et al. [33]）を要件に基づいてインスタンス化。
• LLM ベース (LLM-based): 最先端の LLM（GPT-4.1, Gemini 2.5 Pro）を使用して生成。バイアスを避けるため、プロンプトには CQ の定義や数、望ましい特性を明記しませんでした。

2.2 評価フレームワーク

3 つの研究課題（RQ）に基づき、定性的・定量的な混合アプローチで評価を行いました。

1. 適合性評価 (RQ1): 3 名のオントロジーエンジニアによる多角的な評価。CQ が要件を満たすか（受容/拒否）、曖昧さのコメントの有無を確認。
2. 特徴抽出と分析 (RQ2):
   • 曖昧さ: 評価者のコメントに基づき二値ラベル化。
   • 関連性 (Relevance): LLM（Gemini 2.5 Pro）を用い、ユーザーストーリーの明示的・推論的要件との一致度を 4 段階で評価。
   • 可読性: Flesch-Kincaid 学年レベル (FKGL) と Dale-Chall 読みやすさ指数 (DCR) を使用。
   • 複雑性: 4 つの次元で測定（文字数、要件の複雑さ、言語的複雑さ、構文的複雑さ）。
3. 意味的重なり分析 (RQ3): Sentence-BERT 埋め込みを用いて、異なる手法で生成された CQ セット間の意味的重なり（Centroid cosine similarity）とカバレッジを分析。

3. 主要な貢献 (Key Contributions)

1. AskCQ データセットの公開: 同一のオントロジー要件（ユーザーストーリー）から、手動、パターン、LLM の 3 手法で生成された CQ を含む、初のマルチアノテータデータセットを公開。
2. 体系的な比較分析: 異なる生成手法によって得られる CQ の特性（受容性、曖昧さ、関連性、可読性、複雑性、意味的重なり）を多角的に比較・分析した結果の提示。
3. 実証的知見: LLM が CQ 生成に有用である一方、その出力には特有の課題（複雑さ、可読性の低さ、推論的要件の欠如）があることを明らかにし、人間による精査の必要性を提言。

4. 結果 (Results)

4.1 適合性と評価 (RQ1)

• 手動生成: 最も高い適合性スコアと受容率（HA-2 で 98%、HA-1 で 91%）を達成。評価者からの否定的コメントも最少でした。
• LLM 生成: 中程度の適合性（GPT: 85%, Gemini: 67%）。手動に比べてコメントが多く、特に Gemini は受容率が低かったです。
• パターンベース: 最も低い平均適合性スコア（0.11）と受容率（50%）、そして最も多くのコメント（37%）を記録しました。

4.2 特徴分析 (RQ2)

• 可読性: 手動生成の CQ が最も読みやすかった（FKGL 5.6〜6.9）。一方、LLM 生成（特に GPT）は読み解くのに高等教育レベルが必要とされるほど複雑で、文字数も 2 倍近く長かったです。
• 複雑性: LLM 生成の CQ は、要件の複雑さ（c1）、言語的複雑さ（c2）、構文的複雑さ（c3）のすべての指標で手動やパターンベースを大幅に上回りました。
• 関連性: 手動生成（特に HA-2）は、ユーザーストーリーに明示されていないが機能的に必要となる「推論的（Score 3）」な要件を多く含む傾向がありました。一方、LLM は明示的な要件に忠実ですが、推論的な要件の引き出しが苦手でした。
• 曖昧さ: 手法によって一貫した傾向は見られず、HA-1（手動）が最も高い曖昧さ率（20.5%）を示しましたが、議論を経て解決されました。

4.3 意味的重なり (RQ3)

• 全体的なテーマ: どの手法もユーザーストーリーの核心テーマには合致していました（Centroid similarity は 0.61〜0.85）。
• 具体的なカバレッジ: 個別の CQ レベルでの意味的重なりは非常に低く、特に LLM 同士や LLM と人間の間では 0% に近い値を示すケースもありました。
• 人間同士の一致: 2 人の人間アノテータ間でもカバレッジは 15.3% にとどまりましたが、これは他の組み合わせ（LLM 間など）と比較して最も高い一致を示しました。

5. 結論と意義 (Significance)

本研究は、オントロジーエンジニアリングにおいて、高品質な CQ を作成するには人間の専門知識が依然として不可欠であることを示しました。

• LLM の役割: LLM は初期のブレインストーミングやアイデアの発想には有用ですが、生成された CQ は一般に複雑で読みづらく、暗黙的な要件（推論的必要性）を見逃す傾向があります。また、モデルによって生成される CQ のセットが大きく異なるため、単独での利用はリスクを伴います。
• 推奨されるアプローチ: 「ハイブリッドアプローチ」が最適です。LLM で初期の CQ を生成し、それを人間が精査・洗練・補完することで、明確性、関連性、そして推論的要件の網羅性を確保すべきです。
• 今後の展望: 本研究で特定された高品質な人間生成 CQ の特性（読みやすさ、適切な複雑さなど）は、LLM のプロンプトエンジニアリングや生成アルゴリズムの改善に向けた指針（Desiderata）として活用できます。

この研究は、自動化された CQ 生成ツールの開発において、単なる「生成」だけでなく、「品質評価」と「人間との協調」の重要性を強調する重要な一歩となります。