ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

ExCyTIn-Bench: サイバー脅威調査における LLM エージェントの評価 に関する詳細な技術的サマリーを以下に示します。

1. 問題定義

サイバー脅威調査は、セキュリティアナリストが異種混合のセキュリティログを精査し、複数のデータソースにまたがるイベントを相関させ、証拠の多段連鎖を推論して脅威を特定する、複雑で多段階のプロセスです。大規模言語モデル（LLM）は複雑な推論タスクにおいて有望な成果を示していますが、特にサイバー脅威調査に特化したLLM エージェントを評価するための標準化されたベンチマークは不足しています。既存のベンチマーク（CTIBench、SECURE など）は、主に知識の暗記、テキスト抽出、または多肢選択形式の質問応答に焦点を当てており、エージェントがデータベースと対話し、スキーマを発見し、現実世界のセキュリティインシデントを解決するために順序立てた推論を行う能力をテストできていません。

2. 手法

著者らは、現実世界の脅威調査シナリオをシミュレートするように設計された包括的なベンチマークExCyTIn-Benchを提案します。手法は以下の 3 つの中核コンポーネントから構成されます。

A. データ収集と環境構築

• ソース: 現実的なセキュリティモニターで構成された架空の Microsoft Azure テナント（「Alpine Ski House」）からデータを収集しました。
• 規模: 環境には、完全な 44 日間のログストリームに 1,400 万行以上を含む57 種類の異なるログテーブル（例：SigninLogs、EmailEvents、SecurityAlert、SecurityIncident）が含まれています。
• インシデント: データセットは、現実世界の歴史的攻撃（例：Manatee Tempest ランサムウェア、BEC/アカウント乗っ取り）に基づいた8 つの異なる多段階攻撃チェーンを網羅しています。各インシデントは 2 時間から 5 日にわたり、さまざまな MITRE ATT&CK 技術が含まれています。
• インターフェース: ベンチマークはMySQL Docker 環境を提供し、エージェントは SQL クエリを介して対話します。エージェントはプロンプトに完全なスキーマが提供されていないため、探索を通じてスキーマ（テーブルとカラム）を発見する必要があります。

B. 二部グラフによる質問生成

高品質で反復的ではなく、根拠のある質問を生成するために、著者らは原理的なグラフベースの生成パイプラインを開発しました。

1. グラフ構築: 各インシデントに対して、$U$ がアラート頂点を、$V$ がエンティティ頂点（例：ユーザー、IP、ホスト）を表す二部グラフ $G=(U, V, E)$ を構築します。エッジは、アラートとそれに関与するエンティティを接続します。
2. パス選択: システムは、2 つの異なるアラート（$u_s$ と $u_e$）を始点と終点として選択します。次に、これらのアラートに接続されたエンティティを特定してパスを形成します。
3. QA 生成: LLM に、始点アラートとその接続エンティティをコンテキストとして、終点アラートのエンティティを答えとして使用した質問を生成するようプロンプトします。
4. 解決パス: グラフ内の始点と終点ノード間の最短経路が、真の解決パス（グラウンドトラウス）として機能し、中間ステップの微細な評価を可能にします。

• 出力: このプロセスにより7,542 件の質問が生成され、多様性を確保し、訓練セットとテストセット間のパスの重複を防ぐために、その中から589 件がテストセットに選定されました。

C. 評価フレームワーク

• 報酬システム: ベンチマークは、強化学習に着想を得た減衰報酬メカニズムを使用します。
  • 完全報酬 (1.0): 正しい最終回答に対して付与されます。
  • 部分報酬: 最終回答が誤っている場合、システムがエージェントが解決パスに沿って中間ノード（IoC）を発見したかどうかを確認します。報酬は達成された進捗度に基づいて割り当てられ、最終回答から遠いステップには減衰係数（$\gamma=0.4$）が適用されます。
• 判定: 厳密な文字列一致に依存するのではなく、回答形式のバリエーションを処理し、エージェントの推論がグラウンドトラウスと整合しているかを確認するために、LLM-as-a-judge（GPT-4o）を使用して評価を行います。

3. 主要な貢献

1. 初の脅威調査ベンチマーク: ExCyTIn-Bench は、現実世界のログデータを用いて、サイバーセキュリティ脅威調査のエンドツーエンドタスクにおける LLM エージェントを評価するために設計された最初のベンチマークです。
2. 新規 QA 生成戦略: 論文は、**二部グラフ（アラート - エンティティグラフ）**から決定論的で反復的ではない質問を生成する方法を導入しており、質問が明示的なデータパスに基づいており、検証可能な解決軌道を持つことを保証しています。
3. 微細なプロセス評価: 二値の合格/不合格指標とは異なり、このベンチマークはステップごとの報酬を提供し、エージェントが中間の侵害指標（IoC）を抽出する能力と、複雑な探索空間における進捗度を評価することを可能にします。
4. 包括的な実証分析: 著者らは、広範なモデルにわたるモデルのパフォーマンス、行動（スキーマ発見、クエリ成功）、および効率性（コスト対報酬）の詳細な分析を提供しています。

4. 実験結果

著者らは、ReAct、Expel、Best-of-N、Self-Reflection などのさまざまなプロンプト戦略を用いて、GPT-4o、Claude-Opus-4.5、Llama-4、Qwen-3、o1/o3 などの推論モデルを含む、多数の独自モデルとオープンソースモデルを評価しました。

• 性能の天井: このタスクは非常に困難です。最高性能を記録したモデルClaude-Opus-4.5は、最大平均報酬0.606を達成しましたが、改善の余地は依然として大きいです。
• モデル比較:
  • 独自モデル vs オープンソース: トップの独自モデル（Claude-Opus-4.5、GPT-5.1）はオープンソースモデルを上回りますが、大規模なオープンソースモデル（例：Llama-4-Maverick-17B）は急速に差を詰め、競争力のある報酬（約 0.29）を達成しています。
  • 推論モデル: 明示的な推論能力を持つモデル（例：o1、o3）は、特にリフレクション戦略と組み合わせた場合、強力な性能を示します。
• 手法の影響:
  • ReAct + リフレクション: この組み合わせは、ほとんどのモデルで最も高い性能向上をもたらし、ベースプロンプトを大幅に上回りました。
  • Expel: 訓練データからルールを蒸留する Expel 手法は、高い効率性（ターン数の少なさ）を示しましたが、プロンプトの膨張によりコストが高くなりました。
• 効率性: クエリ成功率と最終報酬の間には強い正の相関（ピアソン $r=0.86$）があります。小規模モデルはしばしばスキーマ発見に苦しみ、エラーが多くなり、報酬が低くなります。
• アブレーション研究:
  • DB スコープ: アラートログを削除する（ゼロデイ攻撃をシミュレートする）と性能が大幅に低下し、調査における検知アラートの決定的な役割が浮き彫りになりました。
  • 時間ウィンドウ: 時間ウィンドウを 44 日間の完全な履歴に拡大するとノイズが増え、インシデントごとのスライスと比較して性能がわずかに低下しました。

5. 意義と将来の方向性

• 自律型セキュリティの進展: ExCyTIn-Bench は、多段階の脅威ハンティングを自動化することで人間の SOC アナリストの負担を軽減できる自律型エージェントの開発のための重要なテストベッドを提供します。
• サイバーセキュリティへの RL 応用: 微細な報酬構造により、このベンチマークは**強化学習（RL）**を介したエージェントのトレーニングに特に適しており、調査の各ステップに対して正確なクレジット割り当てを可能にします。
• 現実的な評価: 現実世界の攻撃パターンを使用し、スキーマ発見を要求することで、このベンチマークは「知識の検索」を超え、真の調査的推論とツール使用をテストします。
• オープンソース: 著者らはベンチマーク、環境、コード（SecRL）をオープンソース化し、再現性を促進し、AI 駆動型サイバーセキュリティ防御の研究を加速させています。

結論として、ExCyTIn-Bench はサイバーセキュリティにおける LLM エージェントの評価のための新たな基準を確立し、現在のモデルは有望な成果を示しているものの、完全自律型の脅威調査を実現するには、推論、スキーマ理解、多段計画における大幅な進展が必要であることを示しています。