Automating the Detection of Requirement Dependencies Using Large Language Models

この論文「Automating the Detection of Requirement Dependencies Using Large Language Models（大規模言語モデルを用いた要件依存関係の自動検出）」は、自然言語（NL）で記述されたソフトウェア要件間の依存関係を自動的に検出・分類するための新しいアプローチ「LEREDD」を提案し、その有効性を実証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題定義 (Problem)

現代のソフトウェアシステムは複雑化しており、膨大な数の要件が相互に依存関係を持っています。これらの依存関係を特定することは、影響分析や一貫性の確保など、開発プロセスの重要な意思決定に不可欠です。しかし、現状には以下の課題があります。

• 手作業の限界: 依存関係の検出は、自然言語の曖昧さや要件の頻繁な変更により、手作業では時間がかかり、人的ミスが発生しやすい。
• 既存手法の限界:
  • 情報検索ベース: 固定されたベクトル表現に依存し、ドメイン固有の文脈を考慮できない。
  • 知識ベース: オントロジーの構築・維持に多大なコストと専門知識が必要。
  • 機械学習（ML）ベース: 大規模なラベル付きデータが必要であり、依存関係のないペア（多数派）と依存関係のあるペア（少数派）のクラス不均衡に弱く、推論能力が不足している。
• LLM の未探索: 大規模言語モデル（LLM）は自然言語処理に優れていますが、要件依存関係の検出における有効性、特に微細な依存タイプ（Requires, Implements など）の識別能力については十分に研究されていなかった。

2. 手法：LEREDD (Methodology)

著者らは、LEREDD（LLM-Enabled REquirement Dependency Detection）というアプローチを提案しました。これは、**検索拡張生成（RAG）とインコンテキスト学習（ICL）**を組み合わせた LLM ベースのフレームワークです。

• アーキテクチャ:

  1. 知識検索フェーズ (Knowledge Retrieval):
     • 文脈検索 (Contextual Retrieval): ソフトウェア要件仕様書（SRS）からドメイン固有の情報を検索し、LLM に提供します（RAG 技術の活用）。これにより、システム構造やコンポーネント間の関係性を理解させます。
     • 動的例の検索 (Dynamic Examples Retrieval): 注釈付きデータセットから、対象となる要件ペアと意味的に類似した例（各依存タイプおよび「依存なし」の場合）を動的に検索し、プロンプトに含めます（ICL の活用）。
  2. 依存推論フェーズ (Dependency Inference):
     • 検索された文脈と例をプロンプトに組み込み、LLM（実験では GPT-4.1 が最適と判明）に依存関係の判定をさせます。
     • 出力: 依存タイプ（Requires, Implements, Conflicts, Contradicts, Details, Is similar, Is a variant, No_dependency）の予測、その根拠（Rationale）、および信頼度スコア（5 段階）を生成します。自己反省（Self-reflection）を促すことで、ハルシネーションを抑制し、推論の透明性を高めています。

• 対象とする依存タイプ:

  • Requires（一方の履行が他方の前提条件）
  • Implements（上位要件と下位実装の関係）
  • Conflicts/Contradicts（競合・矛盾）
  • Details（詳細化）
  • Is similar/Is a variant（類似・バリエーション）
  • No_dependency（依存なし）

3. 主要な貢献 (Key Contributions)

• LEREDD フレームワークの提案: RAG と ICL を統合し、ドメイン固有の文脈と具体例を LLM に提供することで、要件依存関係の自動検出を可能にした。
• 大規模な注釈付きデータセットの公開: 自動車システム（Traffic Jam Assist, Automated Parking Assist, Adaptive Driving Beam）の 3 つのシステムから収集した、813 組の要件ペア（手動で注釈付け済み）をオープンソースデータセットとして提供し、再現性と将来の研究を支援する。
• 包括的な評価: 4 つの LLM（GPT-4.1, Llama 3.1, Gemma 20B, Mistral 7B）のゼロショット性能評価、プロンプト戦略（ゼロショット、Few-shot, RAG 併用）の最適化、および既存の最先端手法（TF-IDF+LSA, 微調整済み BERT）との比較評価を実施。

4. 実験結果 (Results)

自動車業界の 3 つのシステムを用いた実証実験において、以下の結果が得られました。

• 全体性能: LEREDD は平均精度 92.66%、平均 F1 スコア 84.33% を達成し、ゼロショット LLM や既存のベースライン手法を大幅に上回りました。
• 「依存なし」の検出: 実世界の要件ペアの大部分を占める「依存なし」ケースにおいて、F1 スコア 0.96（96%）という極めて高い精度を記録しました。これにより、分析対象を大幅に絞り込むことが可能になります。
• 微細な依存タイプの改善:
  • 「Requires」依存関係の検出において、ベースライン手法に対して F1 スコアで 94.87%（TF-IDF+LSA 対比）および 105.41%（微調整 BERT 対比）の相対的な改善率を示しました。
  • 微調整 BERT はクロスデータセット評価（訓練データとテストデータが異なるシステム）で性能が急落しましたが、LEREDD は高い安定性を維持しました。
• プロンプト戦略の最適化:
  • 埋め込みモデルには SBERT、類似度計算には ユークリッド距離、集約には Max 戦略、例の数は 4 件 が最適でした。
  • RAG 設定では、500 文字のチャンクを 10 件 検索することが最も効果的でした。
• 計算コスト: 微調整 BERT（約 4 分 3 秒）と比較して、LEREDD（約 1 分 48 秒）は高精度を維持しつつ、より効率的な処理時間を示しました（TF-IDF+LSA は最速だが精度が低い）。

5. 意義と結論 (Significance)

• 実用的価値: 要件依存関係分析のボトルネックである「依存なし」のペアを高精度にフィルタリングできるため、人間の分析者の作業負荷を劇的に軽減できます。
• 技術的示唆:
  • ゼロショット LLM だけでは微細な依存関係の検出は不十分であり、ドメイン文脈（RAG）と具体例（ICL）の組み合わせが不可欠であることを示しました。
  • 機械学習モデルが抱える「データ分布への依存性」や「クラス不均衡」の問題に対し、LLM の推論能力と動的検索を組み合わせることで、異なるシステム間でも頑健（Robust）な性能を発揮できることを実証しました。
• 将来展望: 本手法は、要件の進化に伴う影響分析や、間接的・暗黙的な依存関係の検出への拡張が期待されます。

総じて、LEREDD は、自然言語で記述された複雑な要件間の依存関係を、高精度かつ効率的に自動化するための有力なソリューションであり、要件工学（RE）における LLM 応用の新たな基準を示す研究となっています。