DEFENGRAPH: Knowledge Graph-Enhanced LLMs for Blue Team Cyber Defense

技術要約：DEFENGRAPH

問題提起
大規模言語モデル（LLM）はサイバーセキュリティの意思決定において有望視されているが、高リスクかつ時間とともに進化する環境においては、決定的な限界に直面している。具体的には、ハルシネーション（幻覚）を起こしやすく、時間的推論に苦しみ、特定のシステムコンテキストへの接地性（グラウンディング）を欠いている。従来の検索拡張生成（RAG）のアプローチは、表面的な、あるいは埋め込みベースの類似性に依存しているため、無関係なドキュメント（例：Linuxのアラートに対してWindowsのインシデントチケットを検索してしまう等）を抽出し、LLMの推論を混乱させることが多い。さらに、サイバーセキュリティデータは低信号対雑音比（low signal-to-noise ratio）を特徴としており、膨大な量の良性または誤解を招くログ（例：打ち間違えたパスワード）を含んでいるため、標準的な知識グラフ（KG）検索手法では効果的にフィルタリングできない。核心となる課題は、長期的なドメイン知識と、リアルタイムで進化するイベントコンテキストの両方にLLMの出力を接地させ、忠実で時間的に意識された防御戦略を提供できるシステムを構築することである。

手法：DEFENGRAPHフレームワーク
著者らは、ブルーチームの防御者を支援するために設計された、二層の知識グラフ強化型RAGフレームワークであるDEFENGRAPHを提案している。本システムは、以下のパイプラインを通じて、構造化された知識表現とLLMベースの生成を統合する。

1. 二層知識グラフ構築（Dual-Layer Knowledge Graph Construction）:

   • 静的知識グラフ（SKG）: サイバーレンジの設計図やドキュメントから派生した、長期的なインフラ知識、システムアーキテクチャ、典型的な攻撃者の振る舞い、および過去の防御プレイブックをエンコードする。
   • 動的知識グラフ（DKG）: ライブ演習中に記録された、時間とともに進化するセキュリティイベント、攻撃者の痕跡、および防御者のチケットアクションを捕捉する。ノードにはアラート、チケット、IP、ファイルが含まれ、エッジは時間的および意味的な関係をエンコードする。

2. グラフベース検索プロセス（Graph-Based Retrieval Process: GRP）:
   SIEM（Wazuh）のアラートを受信すると、システムはクエリグラフを構築し、以下の手法を用いてSKGおよびDKGから関連するサブグラフを検索する：

   • 意味ベースのトリプルマッチング（Semantic-based Triple Matching: STM）: 学習済み言語モデルを使用して、クエリと知識ベース間のトリプル（エンティティ、リレーション、エンティティ）をエンコードおよび照合する。
   • パス伝播スコア（Path Propagation Score: PMC）: 隣接するトリプルの特徴を集計してパス照合スコアを計算し、最も関連性の高い経路を特定する。
   • サブグラフ構成（Subgraph Composition）: 最も一致度の高いパスをマージしてサブグラフを構成し、周囲のコンテキストを捉えるために2ホップ隣接ノードをサンプリングする。

3. LLMベースのコンテキストフィルタリングと再ランキング:
   検索されたサブグラフに内在するノイズに対処するため、DEFENGRAPHは2つのLLM駆動型モジュールを採用している：

   • コンテキストフィルタ（Contextual Filter: CF）: 取得されたパスを特定のアラートコンテキストに対して評価し、最も関連性の高いエンティティとパスを選択することで、無関係な「グレー」ノードを排除する。
   • 推論リランカー（Reasoning Re-ranker）: フィルタリングされたパスを、アラートとの関連性および履歴知識に基づいて再順序付けし、**時間的重み割り当て（Temporal Weight Assignment）**を組み込む。これにより、クエリに近い時間のエンティティに高い重みを割り当て、システムが最近の進化する脅威を優先するようにする。

4. 防御活動の生成（Defense Activity Generation）:
   最終的にランク付けされた推論パスはLLMのプロンプトに埋め込まれ、人間の防御慣行に沿った、コンテキストを考慮した実行可能な緩和戦略を生成する。

主な貢献

• DEFENGRAPHフレームワーク: 静的なドメイン知識と動的なリアルタイムイベントデータを組み合わせ、コンテキストを考慮した防御戦略を生成する、新しい時間的KG-RAGフレームワーク。
• ACDCサイバーレンジデータセット: 海事ポート環境をシミュレートしたライブRed vs. Blueチーム演習から派生した、包括的なサイバーセキュリティデータセットの構築と公開。これには、820万件以上のファイアウォールログ、610万件のWazuhアラート、326件のインシデントレスポンスチケット、およびRed Teamの痕跡が含まれており、現実的でノイズが多く、不均質なデータソースを代表している。
• 性能向上: DEFENGRAPHが、複数のモデル（GPT-4o, LLaMA-3, DeepSeek-R1, QWen-3）において、LLMの忠実性と解釈可能性を大幅に向上させ、人間が作成したグランドトゥルース（正解）により密接に一致する防御推奨事項を生成することを実証した。

実験結果
フレームワークはACDCデータセット上で4つの主要なLLMを用いて評価され、LLMのみ、ハイブリッドRAG、およびGraphRAGを含むベースラインと比較された。主な知見は以下の通りである：

• 推論再現率（Reasoning Recall: RAR）: GPT-4oにおいて、DEFENGRAPHは推論再現率を61.45%（SKGのみ）から73.49%（フル構成）へと向上させた。同様の向上が他のモデル（例：LLaMA-3: 46.99% → 61.45%）でも観察された。
• チケットアクション再現率（Ticket-Action Recall: TAR）: システムは、グランドトゥルースの防御アクションのより高い割合を回収した。GPT-4oにおいて、TARは52.17%から72.46%に増加した。
• 適合率と故障率（Precision and Fault Rates）: 適合率（TAP）は緩やかな上昇（GPT-4oで24.49% → 29.24%）を見せたが、システムは低い故障アクション率（4%未満）を維持しており、エラーは主に人間による識別が容易な過剰反応や偽陽性であった。
• コールドスタートの堅牢性: 事前チケット履歴がないシナリオ（DKGのリセット）においても、システムは強力な推論能力を維持したが、アクションの再現率は低下した。これは、精密なアクションの整合性における動的コンテキストの重要性を浮き彫りにしている。
• アブレーション研究: 実験結果は、両方の静的および動的KGが不可欠であることを確認した。DKGを除去するとTARが約20%低下し、SKGを除去すると約25%の低下を招いた。これは、歴史的な構造とリアルタイムのコンテキストの両方の必要性を示している。

意義
本論文は、DEFENGRAPHを、接地された時間的意識を持つサイバーセキュリティ意思決定支援のための最先端のソリューションとして位置づけている。侵入検知、攻撃追跡、または脅威インテリジェンスの構造化に焦点を当てた従来のKGベースのシステムとは異なり、DEFENGRAPHは実行可能でチケットに整合した緩和ステップの生成を直接の対象としている。二層のグラフとLLMベースのフィルタリングおよび再ランキングを統合することで、本フレームワークは、ノイズの多い構造化されたドメインにおける従来のRAGの脆弱性に対処し、LLMが静的なシステムトポロジーと攻撃の動的な進化の両方を反映した忠実な推論を提供することを可能にする。著者らは、このアプローチが、KGによる理解と、ブルーチームにとって運用上有用なレスポンスガイダンスとの間の溝を埋めるものであると主張している。