論文「Classifier or Prompt: A Case Study on Legal Requirements Traceability」の技術的サマリー

本論文は、ソフトウェア要件と法的規定（特に GDPR や HIPAA など）の間の法的要件追跡性（Legal Requirements Traceability: LRT）を自動化するための手法を提案し、その有効性を検証した研究です。従来の追跡性手法が、法的文書と技術的要件の間の「言語の不一致」や「トレーニングデータの不足」といった課題に直面している中、大規模言語モデル（LLM）と文書埋め込み（Sentence Transformers）を活用した 2 つのアプローチを比較評価しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

背景

ソフトウェア開発における倫理的配慮や公衆安全の確保のため、GDPR（一般データ保護規則）などの新たな規制が頻繁に導入されています。コンプライアンスを証明するには、ソフトウェアの要件を法的規定に追跡（Trace）する必要があります。

課題

LRT には以下の重大な課題が存在します。

1. 言語の不一致（Language Discrepancy）: 法的規定は抽象的で専門用語に富む一方、ソフトウェア要件は技術的・ドメイン固有の言語で記述されます。両者の語彙や構造が大きく異なるため、単純なキーワードマッチングでは追跡リンクを特定できません（例：「通知の受信を停止したい」という要件は、明示的に「同意の撤回」という言葉を使っていなくても、GDPR の「同意撤回権」に関連します）。
2. トレーニングデータの不足: 産業現場では、プライバシーや機密性の観点から、要件と規定の対応関係がラベル付けされた大規模なデータセットが入手困難です。
3. 既存手法の限界: 従来の情報検索（IR）や統計的モデル（TF-IDF, LDA など）は語彙の重なりを重視するため、深い意味的関係の捕捉に弱いです。また、既存の NLP モデル（BERT 系など）も、法的文書特有のニュアンスや推論能力に特化していません。

2. 提案手法

著者らは、2 つの自動化アプローチを提案しました。

手法 A: Kashif（分類器ベース）

文書埋め込み（Sentence Transformers: ST）と意味的類似性に基づく分類器です。

• アーキテクチャ: 事前学習済みの Sentence Transformer モデルを、LRT タスク用にファインチューニングします。
• プロセス:
  1. 要件と規定のペアをトレーニングデータとして準備。
  2. 各ペアをベクトル化し、コサイン類似度を計算。
  3. 類似度が閾値（Threshold）を超えた場合を「追跡リンクあり」と予測。
• 閾値設定: 固定閾値（0.5）、動的閾値、最大差分カットオフ、チューニング閾値の 4 種類を検討。
• 特徴: 文書全体の意味的意味を捉える ST の特性を活かし、語彙の不一致を克服することを目指します。

手法 B: Rice LRT（プロンプトエンジニアリングベース）

大規模言語モデル（LLM）を、構造化されたプロンプトで指示するアプローチです。

• フレームワーク: RICE（Role, Instruction, Context, Constraints, Examples）フレームワークに基づき、GPT-4o に対してプロンプトを設計しました。
• プロンプト構成:
  • Context: 追跡タスクの背景説明。
  • Examples: 正解ラベルとその根拠（Rationale）を含む数例（Few-shot learning）。
  • Instruction: 推論プロセスの指示（間接的なリンクの特定、精度より再現率を重視するよう促すなど）。
  • Output Indicator: 出力形式の指定（コードのリストと根拠の説明）。
• 特徴: LLM の推論能力を活用し、明示的な語彙の一致がなくても、文脈や常識に基づいて間接的な追跡リンクを特定します。また、各予測に対して「なぜその規定が関連するのか」という根拠を生成します。

3. 実験評価

データセット

1. HIPAA データセット: 既存のベンチマーク（米国医療保険のプライバシー法）。10 文書、1,891 要件、243 追跡リンク。
2. GDPR データセット（新規作成）: 複雑な欧州一般データ保護規則を対象に作成。4 つの異なるドメイン（パスワード管理、デジタルサービス等）から 310 要件、26 の規定項目。

ベースライン

7 つの既存手法と比較しました。

• 従来の IR/統計手法: LSI, LDA, GloVe
• 法特化分類器: B（Cleland-Huang et al. の手法）
• 深層学習/Transformer: TraceBERT, RoBERTa
• LLM: LLaMa2（ファインチューニング版とゼロショット版）
• プロンプトベース: 既存の追跡性プロンプト（P1, P2, P3 など）

評価指標

• F2 スコア: 再現率（Recall）を重視した調和平均（コンプライアンスでは見逃しを防ぐことが重要）。
• MAP（Mean Average Precision）: 関連項目のランキング性能。
• AUC: 閾値に依存しない分類性能。
• コスト: 分析者が確認すべき偽陽性（FP）の割合。

4. 主要な結果

結果 1: ベンチマーク（HIPAA）における Kashif の性能

• Kashif（固定閾値 0.5）は、F2 スコアで約 63% を達成し、既存の最良のベースライン（B 手法など）を 21 ポイント以上 上回りました。
• 従来の IR 手法（LSI, LDA）や既存の Transformer モデル（TraceBERT, RoBERTa）は、LRT 特有の課題に対して性能が低く、Kashif が圧倒的に優位でした。
• RQ1 結論: 事前学習済みモデルの選定において、paraphrase-multilingual-mpnet-base-v2（ST29）が最も優れた性能を示しました。

結果 2: 複雑なデータ（GDPR）における Kashif の限界

• HIPAA でファインチューニングした Kashif を、未見の複雑な GDPR データセットに適用したところ、再現率は 15% 程度 に低下しました。
• 事前学習済みの ST モデル（ST29）をそのまま（ゼロショット）使った場合、再現率はほぼ 0% でした。
• RQ3 結論: 特定のドメイン（HIPAA）で学習したモデルは、異なる複雑なドメイン（GDPR）への汎化が困難であり、Kashif 単体では実用的な精度を達成できませんでした。

結果 3: Rice LRT の卓越性

• Rice LRT（GPT-4o + 工夫されたプロンプト）は、GDPR データセットで 平均 F2 スコア 61%、平均再現率 84% を達成しました。
• 比較:
  • Kashif よりも大幅に高性能（F2 スコアで 34 ポイント以上、再現率で 69 ポイント以上改善）。
  • 既存のプロンプトベース手法（P1-P3）よりも 34 ポイント以上 F2 スコアが向上。
  • 分析者の作業負荷（Cost）を大幅に削減：全規定の約 9.5% しか確認不要でありながら、真の追跡リンクの 84% を網羅しました。
• RQ4 結論: 構造化されたプロンプト（RICE）を用いた LLM は、法的文書と技術要件の間の意味的ギャップを埋め、間接的な推論を行うことで、従来の分類器や単純なプロンプトを凌駕する性能を発揮します。

5. 主要な貢献

1. 2 つの自動化アプローチの提案と評価:
   • Sentence Transformers を活用した分類器「Kashif」。
   • RICE フレームワークに基づいた LLM プロンプト「Rice LRT」。
2. 大規模なベンチマーク比較:
   • 7 つの既存手法（IR, ML, DL, LLM）との包括的な比較を行い、LRT における各技術の限界と可能性を明らかにしました。
3. 新規データセットの作成:
   • GDPR に対応した、多様なドメインと要件タイプを含む新しい評価データセットを構築し、公開しました。
4. 実用的な知見:
   • 分類器ベースのアプローチは特定ドメインでは有効だが、複雑な未見ドメインでは限界があること。
   • 適切に設計されたプロンプトを持つ LLM が、法的追跡性タスクにおいて最も有望であることを実証しました。

6. 意義と結論

本論文は、法的要件追跡性（LRT）という重要な課題に対し、従来の NLP 手法の限界を指摘し、構造化されたプロンプトエンジニアリングを伴う LLM が最も効果的な解決策であることを示しました。

• 実務的意義: 分析者が手作業で全規定を確認する必要がなくなり、AI が候補を絞り込み、根拠を提示することで、コンプライアンス確認の効率化とコスト削減が可能になります。
• 学術的意義: 法的文書と技術文書という「ドメイン間のギャップ」を埋めるためには、単なる語彙マッチングや浅い意味理解ではなく、LLM の推論能力と文脈理解が不可欠であることを実証しました。

将来的には、ドメイン専門家との人間と AI の協調（Human-in-the-loop）による研究や、より専門的な知識を組み込んだ LLM の強化が期待されます。