論文要約：セキュリティインシデント分析のための検索拡張生成（RAG）を用いた大規模言語モデル（LLM）

この論文は、サイバーセキュリティインシデントの調査において、大量のログデータから関連する証拠を抽出し、攻撃シーケンスを再構築する新しいアプローチを提案しています。著者らは、生ログを直接 LLM に投入するのではなく、検索拡張生成（RAG）アーキテクチャとターゲット型クエリフィルタリングを組み合わせることで、高精度かつコスト効率の良い分析システムを構築しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

課題

• 分析者の負担増大: 現代のセキュリティオペレーションセンター（SOC）では、1 日に数千件のアラートが発生しますが、アナリストは限られたリソースしか持っておらず、疲労や見落としが発生しています。
• ログの複雑さと量: インシデント調査には、侵入検知アラート、ネットワークトラフィック、認証イベントなど、多様なソースからのデータを統合する必要があります。単一のログエントリでは攻撃チェーン全体が見えず、生ログは膨大でノイズが多いため、LLM のコンテキスト制限（トークン数制限）を超えてしまいます。
• 既存手法の限界: 従来の署名ベースの検知は未知の攻撃パターンに対応できず、既存の機械学習アプローチはアラートの分類や順位付けに留まり、アナリストが求める「攻撃の物語（ナラティブ）の再構築」や「具体的な証拠に基づく回答」を提供できません。

目的

大量のセキュリティログから関連するイベントを抽出し、LLM に文脈（コンテキスト）を提供して、フォレンジック質問への回答や攻撃シーケンスの再構築を行う、解釈可能なインシデントレポートを生成するシステムの開発。

---

2. 提案手法：セキュリティ特化型 RAG アーキテクチャ

提案システムは、生ログを直接 LLM に渡すのではなく、以下の 2 つの主要コンポーネントで構成される「セキュリティアナライザー」として機能します。

2.1 セキュリティコンテキスト抽出（Security Context Extraction）

• ターゲット型 IOC クエリ: 生ログを直接処理するのではなく、事前定義された「侵害の指標（IOC）」を抽出するためのクエリライブラリ（MITRE ATT&CK テクニックと紐付け）を使用して、Suricata アラートや Zeek 接続ログなどから関連するイベントをフィルタリングします。
• 集約（Aggregation）: 数千件のイベントを、攻撃パターンを特定するための意味的に豊かな要約（集約結果）に変換します。これにより、個々のログエントリでは見えない行動シグナル（例：特定の IP からの大量接続、異常な証明書リクエスト）を抽出します。
• 埋め込みとインデックス作成: 抽出された集約結果をセマンティックにチャンク化し、ベクトルデータベースに埋め込み、検索可能な状態にします。

2.2 RAG-LLM 分析（RAG-LLM Analysis）

• 検索とプロンプト構築: 分析者が提出したフォレンジック質問（例：「感染したホストの IP は何か？」）に基づき、ベクトルデータベースから関連する上位 k 個のチャンクを検索します。
• LLM による推論: 検索された文脈（証拠）と質問を LLM に提示し、証拠に基づいた構造化された回答や攻撃の再構築レポートを生成させます。
• マルチプロバイダー対応: クラウド API（Claude, DeepSeek, GPT 等）とローカル展開（Llama, Cisco 等）の両方をサポートし、コスト、遅延、プライバシー要件に応じてモデルを切り替え可能です。

---

3. 主要な貢献

1. LLM ベースのインシデント分析の定式化:
   • 構造化された質問応答（IP アドレス、ドメインセットなどの型別マッチング）と、離散的なフォレンジック事象を因果関係のある攻撃進行の物語として再構築するタスクの 2 つを定義しました。
2. セキュリティ特化型 RAG アーキテクチャの設計:
   • 単なるテキスト検索ではなく、セキュリティデータに特化した「ターゲット型クエリによる抽出」「集約によるパターン圧縮」「事象間関係を保持するセマンティック・チャンキング」を実現しました。これにより、個別には正当に見える操作（例：証明書発行と Kerberos 認証）の組み合わせが攻撃であることを特定する高度な推論が可能になりました。
3. LLM プロバイダー評価とコスト効率分析:
   • 8 つの異なる LLM 構成（クラウド API およびローカル展開）を、マルウェアトラフィックと Active Directory 攻撃の 2 つのシナリオで評価しました。
   • DeepSeek V3が、高価な Claude Sonnet 4 と同等の精度（マルウェアシナリオで 100% 再現率）を達成しながら、分析コストを**15 倍（0.008 ドル vs 0.12 ドル/分析）**削減できることを実証しました。
   • セキュリティ特化モデル（Cisco Foundation-Sec-8B）は、汎用モデルよりも性能が劣るか同等であり、ドメイン特化の事前学習よりも推論能力が重要であることを示唆しました。

---

4. 実験結果

4.1 マルウェアトラフィック分析（4 つのシナリオ）

• 再現率（Recall）: Claude Sonnet 4 と DeepSeek V3 はすべての 4 つのマルウェアシナリオで100% の再現率を達成しました。
• ローカルモデル: Ollama (Llama 3.1:70b) は 95%、Cisco 8B は 90% の再現率を達成し、データ機密性が求められる環境でも実用可能であることを示しました。
• RAG の重要性: RAG を使用しないベースライン（生ログを直接 LLM に投入）は、コンテキスト制限により攻撃インフラ（C2 サーバー、マルウェアドメイン）をすべて見落とし、再現率が 0% となりました。これは、事前フィルタリングと RAG が不可欠であることを証明しています。
• コスト: DeepSeek V3 は、Claude と同等の精度で 15 倍のコスト削減を実現しました。

4.2 Active Directory 攻撃分析（多段階攻撃）

• 攻撃検知: 攻撃ステップの検出において、100% の精度（Precision）と82% の再現率を達成しました。
• 文脈的解釈: システムは、個別には正当な操作に見える一連のイベント（証明書テンプレート悪用、Kerberos チケットの取得など）を相関させ、権限昇格攻撃として正しく識別しました。
• 防御推奨: 攻撃検知に基づき、適切な防御措置（証明書の取り消し、KRBTGT リセット、ユーザー無効化など）を推奨し、推奨された防御アクションのタイプを 100% カバーしました。
• リアルタイム性: ローカル展開（Llama 3.1:70b）を用いた場合、5 分間のウィンドウあたりの分析に約 61 秒（内 LLM 処理は 60 秒未満）を要し、リアルタイム分析の可行性を確認しました。

---

5. 意義と結論

この研究は、セキュリティインシデント分析における LLM の実用的な適用可能性を証明しました。

• RAG の不可欠性: 生ログを直接 LLM に渡すアプローチは、コンテキスト制限とノイズの問題により失敗することが示されました。ターゲット型クエリによるフィルタリングと RAG による文脈の補強が、正確な分析の鍵となります。
• コストと性能の最適化: 高価なモデルに依存せず、DeepSeek V3 のようなコスト効率の高いモデル、あるいはローカル展開モデルでも高い精度が得られることが示されました。
• 推論能力の重要性: セキュリティ特化モデルよりも、複雑なフォレンジックタスクにおいて「推論能力」を持つ汎用モデルの方が優れている可能性が示唆されました。
• 実用性: 本システムは、アナリストの負担を軽減し、攻撃チェーンの再構築や具体的な防御推奨を迅速に提供することで、SOC の運用効率を大幅に向上させる可能性があります。

今後は、より多様な攻撃タイプや大規模展開における検証が必要ですが、このアプローチは次世代の AI 支援セキュリティ分析の基盤となる可能性があります。