Enabling Transparent Cyber Threat Intelligence Combining Large Language Models and Domain Ontologies

以下は、Cotti らによる論文「Enabling Transparent Cyber Threat Intelligence: Combining Large Language Models and Domain Ontologies」の詳細な技術的サマリーです。

1. 問題提起

サイバー脅威インテリジェンス（CTI）は、サイバーセキュリティシステムログから実行可能な洞察を抽出することに依存しています。しかし、現在の手法は以下の重大な課題に直面しています。

• 非構造化データ: ログエントリはしばしば非構造化であり、構文的に一貫性がなく、意味的に曖昧であるため、自動的な解釈が困難です。
• 従来の手法の限界: ルールベースまたはヒューリスティックなアプローチは、変化する脅威の行動や新たな攻撃パターンへの適応性が欠けています。
• LLM の限界: 大規模言語モデル（LLM）は自然言語処理において有望ですが、ドメイン固有の文脈では精度が不足し、幻覚（ハルシネーション）に悩まされ、出力が構造的な整合性を欠いたり、サイバーセキュリティスキーマへの厳密な準拠が不足したりすることがあります。
• 透明性の欠如: 既存の AI 駆動型抽出はしばしば「ブラックボックス」として機能し、抽出された脅威インジケーターを人間のアナリストが信頼し検証するために必要な説明可能性が欠けています。

対処される具体的な課題は、（特にハニーポットからの）非構造化ログデータを、自動推論やクエリに適した形式に正確かつ透明性があり、意味的に構造化する手法の必要性です。

2. 手法：OntoLogX

著者らは、生ログから構造化されたナレッジグラフ（KG）を生成するために、ドメインオントロジーと大規模言語モデル（LLM）を統合する AI エージェント手法であるOntoLogXを提案します。ワークフローは以下の通り動作します。

A. コアコンポーネント

1. カスタムログオントロジー: フリーテキストログを解析するために設計された軽量で平坦なオントロジーです。STIX や UCO のような複雑な標準（事前構造化データを前提とするもの）とは異なり、このオントロジーは、生テキストから直接、コアエンティティ（イベント、ユーザー、アプリケーション、ファイル、ネットワークアドレス、ソース、URL）および関係性を捉えます。
2. SHACL 制約: 生成されたグラフの構造的および意味的妥当性（基数、データ型、必須プロパティなど）を強制するために、オントロジーは Shapes Constraint Language（SHACL）仕様にペアリングされます。
3. AI エージェントパイプライン:
   • 検索（Few-Shot Learning）: 新しいログイベントが到着すると、システムはベクトルストアを照会し、**Maximal Marginal Relevance (MMR)**を使用して、以前に生成された意味的に類似した KG を取得します。これにより、関連性を維持しつつ例の多様性が確保されます。
   • 生成: LLM には、生ログ、コンテキスト、取得された例、およびオントロジーから導き出された厳格なルールがプロンプトとして与えられます。LLM は、特定の JSON 形式で KG を生成するように指示されます。
   • 修正（反復フィードバック）: システムは検証ループを採用します。生成された出力が SHACL 制約またはオントロジースキーマに違反する場合、特定の誤りを修正するためのカスタマイズされた修正プロンプトが LLM に送り返されます。このサイクルは、有効なグラフが生成されるか、試行が放棄されるまで最大 3 回繰り返されます。

B. 技術的実装

• フレームワーク: Python と LangChain を使用して構築。
• ストレージ: 意味検索のためのベクトルインデックスを備えた Neo4j グラフデータベース。
• 出力制御: 構造化出力ツール（Pydantic）を使用して、LLM が厳格なスキーマに準拠することを強制し、フォーマットエラーを削減。

3. 主要な貢献

• 新規ハイブリッドアーキテクチャ: 論文は、プロンプト駆動型の LLM と厳格なオントロジー駆動型の制約および SHACL 検証を組み合わせる新規アプローチを導入し、CTI 抽出のための「自己修正型」エージェントを創出しています。
• 軽量オントロジー設計: 非構造化ログ解析に特化した最小限のオントロジーの作成により、生テキストと複雑な CTI 標準（STIX/SEPSES など）の間のギャップを埋めています。
• 透明性のある AI パイプライン: 抽出を導くために自然言語プロンプトを使用し、反復的な修正を可能にすることで、AI の意思決定プロセスの説明可能性と監査可能性を向上させています。
• 反復修正メカニズム: システムが SHACL 制約に対して自身の出力を検証し、特定の修正を要求するフィードバックループを含めることで、単一パス生成と比較してデータ品質が大幅に向上します。

4. 実験結果

この手法は、5 つの異なる LLM（Claude 3.5、Llama 3.3、Mistral Large、Qwen 2.5 Coder を含む）を用いて、70 件の多様なログエントリからなるAIT-LDS データセットで評価されました。

• 比較: OntoLogX は、ベースライン（検索や修正なしのプロンプトのみのアプローチ）と比較されました。
• 性能指標: 精度（Precision）、再現率（Recall）、F1 スコア、G-Eval（意味的忠実度）、および SHACL 違反率。
• 主要な発見:
  • 優れた精度: OntoLogX は、ほぼすべてのモデルと指標においてベースラインを一貫して上回りました。
  • 再現率と精度: 幻覚の減少（精度の向上）とより完全な抽出（再現率の向上）の両方で顕著な改善が観察されました。例えば、Claude 3.5 Sonnetは、OntoLogX 下で最高 F1 スコア（0.859）および G-Eval スコア（0.767）を達成しました。
  • 堅牢性: この手法は SHACL 違反を大幅に削減し、出力が構造的に有効であることを保証しました。
  • モデル間の変動: ほとんどのモデルが改善しましたが、Mistral Largeは例外であり、一部の指標ではベースラインの方がわずかに優れていました。これは、使用された特定の構造化プロンプトまたはツール支援ワークフローとの互換性が低い可能性を示唆しています。
  • 効率性: このアプローチは速度よりも抽出の品質を優先しており、ログエントリあたりの処理時間は Llama 3.3 の 1.4 秒から Mistral Large の 9.8 秒の範囲でした。

5. 意義と今後の課題

• CTI への影響: この研究は、意味的制約と LLM を組み合わせることで、ノイズの多いログデータを実行可能でクエリ可能なインテリジェンスに変換する、堅牢で透明性があり、高精度なシステムを構築できることを実証しています。これは、能動的な脅威ハンティングと自動応答にとって不可欠です。
• スケーラビリティ: 軽量オントロジーの使用により、複雑な前処理のオーバーヘッドなしに、ハニーポット、監査ログなど、多様なログソースを処理できます。
• 将来の方向性:
  • ヒューマン・イン・ザ・ループ: アナリストが KG を検証し洗練するためのインタラクティブなインターフェースの開発。
  • 適応的学習: 新しい敵対的戦術に適応するために、アナリストのフィードバックから学習するメカニズムの実装。
  • 標準との整合: 既存の CTI プラットフォームとの相互運用性を確保するために、カスタムオントロジーと確立された標準（SEPSES、UCO、MISP）間のマッピングを形式化すること。
  • 特化モデル: より優れたグラフ生成と修正機能のために、タスク特化型 LLM（Qwen 3 のようなコード生成モデルなど）の検討。

結論として、OntoLogX は、AI 駆動型サイバー脅威インテリジェンスを正確かつ説明可能にするための重要な前進であり、「ブラックボックス」型の抽出から、検証可能でオントロジーに導かれたインテリジェンスパイプラインへと移行するものです。