論文要約：脆弱性分析における知識競合の解決に向けた教師指導型 RAG の提案

1. 背景と課題 (Problem)

大規模言語モデル（LLM）はサイバーセキュリティの脆弱性分析に不可欠ですが、以下の課題に直面しています。

• 知識の陳腐化と競合: 過去 10 年間で 20 万件以上の脆弱性（CVE）が発見されましたが、その 3 万件以上が更新・修正されています。LLM のトレーニングデータには「知識のカットオフ日」が存在するため、最新の CVE 情報（例：2024 年の更新情報）を内部知識として持っておらず、古い情報と外部の最新情報の間で**知識競合（Knowledge Conflict）**が発生します。
• ハルシネーションと誤答: LLM は内部の古い知識と、検索された外部の最新情報が矛盾する際、事実と異なる回答（ハルシネーション）を生成したり、どちらの情報が正しいか判断できずに混乱したりします。
• 既存手法の限界:
  • ファインチューニング: 頻繁に更新される CVE データに対応するにはコストが高く、リアルタイム性が欠如します。
  • 従来の RAG: 類似した CVE 番号（例：CVE-2020-16937 と CVE-2020-16938）の区別が難しく、文脈の分割や検索精度が不足しているため、誤った文脈を LLM に提供してしまい、競合を解消できません。

2. 提案手法：CRVA-TGRAG (Methodology)

著者は、**「教師指導型検索拡張生成（Teacher-Guided Retrieval-Augmented Generation）」**を用いた 2 段階のフレームワーク CRVA-TGRAG を提案しました。これは、生徒が教科書（データ）を学び、教師（最適化プロセス）が新旧の知識を比較・指導するプロセスに例えられています。

ステージ 1: データ前処理と高度な検索・拡張 (Retrieval & Augmentation)

この段階では、検索精度の向上と競合の除去を目指します。

1. データ前処理:
   • NVD API や CVE 公式 GitHub リポジトリから公式データを取得し、JSON を CSV 形式に変換します。
   • LLM を用いて、各 CVE の「更新前（Old Value）」と「更新後（New Value）」の差異を抽出し、構造化された差分データを作成します。これにより、公式ソースからの信頼性を担保します。
2. 文書分割（Parent Document Segmentation）:
   • 従来の固定長分割ではなく、**意味的類似性（Semantic Similarity）**に基づいた分割を採用します。
   • 特定の CVE-ID に関連する情報が同じチャンク（断片）にまとまるよう、コサイン類似度が閾値（90 パーセンタイルなど）を超えた地点で分割を行います。これにより、文脈の断絶を防ぎます。
3. エンサンブル検索（Ensemble Retrieval）:
   • 単一の検索手法ではなく、**意味的類似性（ベクトル検索）と逆インデックス（BM25）**を組み合わせたハイブリッド検索を行います。
   • 類似 CVE 番号の混同を防ぐため、クエリに CVE-ID を明示し、検索重みを調整（ベクトル：0.25, 意味：0.75）して、最も関連性の高い文書を取得します。

ステージ 2: 教師指導型ファインチューニング (Generation)

この段階では、取得された文脈に基づき、LLM が「最新情報を優先する」ように調整します。

• 教師指導型選好最適化（Teacher-Guided Preference Optimization）:
  • 前段階で作成した「更新前（古い）」と「更新後（新しい）」の CVE データを、選好学習（Preference Learning）のデータセットとして利用します。
  • DPO (Direct Preference Optimization) 手法を用いて LLM を微調整します。
  • 目的: LLM が「古い知識（Loosing）」よりも「最新の更新情報（Winning）」を生成するよう選好を学習させ、知識競合が発生した際に最新情報を正しく選択・生成する能力を強化します。

3. 主な貢献 (Key Contributions)

1. 知識競合データセットの構築:
   • 過去 10 年間に更新された 1,260 組の CVE 対（新旧ペア）からなる、脆弱性分析分野初の知識競合データセットを公開しました。
2. CRVA-TGRAG フレームワークの提案:
   • 検索精度向上（意味的分割＋エンサンブル検索）と、生成精度向上（DPO による最新知識の選好学習）を統合した 2 段階アプローチを提案しました。
3. 評価基準の確立:
   • 単なる回答の正解率だけでなく、RAG 特有の指標（Faithfulness, Context Precision, Context Recall）を含む多角的な評価基準を確立し、LLM の知識競合解決能力を定量的に評価可能にしました。

4. 実験結果 (Results)

複数の LLM（GPT-4o-mini, Llama3, Mistral など）を用いた実験により、以下の成果が確認されました。

• 精度の向上: ベースライン（Naive RAG やプロンプトのみ）と比較して、回答の正確性（Answer Correctness）は 27% 向上（0.49→0.76）、**忠実性（Faithfulness）は 52% 向上（0.36→0.88）**しました。
• 競合解決: 提案手法は、古い知識と新しい知識が混在する状況において、最新情報を正しく選択し、ハルシネーションを大幅に抑制しました。
• アブレーション研究: 「RAG のみ」「DPO のみ」のいずれか一方よりも、両者を組み合わせた CRVA-TGRAG（Ours）が最も高い性能を示しました。特に、RAG による文脈の提供と DPO による選好の微調整が相乗効果を生んでいることが示されました。

5. 意義と結論 (Significance)

本論文は、LLM が急速に変化するセキュリティ脅威（CVE）に対処する際の本質的な課題である「知識競合」を解決するための実用的な枠組みを提供しました。

• 実用性: 研究者やエンジニアに対し、最新の脆弱性情報に基づいた正確な分析と修復提案を可能にします。
• 技術的革新: 単なる検索拡張（RAG）にとどまらず、生成モデル自体の「選好」を最新知識に合わせて最適化するアプローチにより、LLM の知識更新コストを下げつつ、精度を高める新しいパラダイムを示しました。
• 将来展望: オンライン検索（エージェント型 RAG）との組み合わせなど、さらに動的な環境への適応が今後の課題として挙げられています。

総じて、CRVA-TGRAG は、LLM をセキュリティ分野で信頼性の高いツールとして運用するための重要なステップであり、知識競合による誤判断を防止する有効な解決策となります。