🤖 AI

Benchmarking LLM-Assisted Blue Teaming via Standardized Threat Hunting

本論文は、LLM を支援するために青チームの脅威ハンティングを 30 のタスクと 9 つの運用モジュールからなる構造化されたモジュール型ワークフローとして標準化するベンチマークフレームワーク「CyberTeam」を導入し、このアプローチがオープンエンドな推論戦略と比較して脅威分析のパフォーマンスを大幅に向上させることを実証する。

原著者： Yuqiao Meng, Luoxi Tang, Feiyang Yu, Xi Li, Guanhua Yan, Ping Yang, Zhaohan Xi

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuqiao Meng, Luoxi Tang, Feiyang Yu, Xi Li, Guanhua Yan, Ping Yang, Zhaohan Xi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが複雑な犯罪を解決しようとする探偵だと想像してください。あなたには、何百万冊もの本を読み、ほぼあらゆる言語を理解できる、素晴らしい新しい助手がいます。それは人工知能（AI）です。しかし、もしあなたがこの AI に単に「この犯罪の犯人を特定し、阻止せよ」と指示するだけでは、混乱を招くかもしれません。AI は誤った犯人を推測したり、偽の証拠を捏造したり、実際には機能しない解決策を提案したりする可能性があります。

この論文は、これらの AI 探偵がより良い仕事をするのを助ける新しいツール「CYBERTEAM」を紹介しています。その仕組みを簡単に説明します。

1. 問題：「オープンエンド」の罠

過去、研究者たちは AI モデルに「このログを分析せよ」といったプロンプトを与えるだけで、サイバーセキュリティの問題を解決させようとしていました。これは、探偵に散らかった書類の山を渡して「これを解決せよ」と言うようなものです。

問題点： AI は幻覚（事実を捏造すること）を起こしたり、重要なステップを飛ばしたり、順序を間違えたりする可能性があります。例えば、AI はウイルスが何かを特定する前に、まずコンピュータをパッチ適用することを提案するかもしれません。
現実： 実際のサイバーセキュリティは単一の質問ではなく、一連の出来事の連鎖です。悪い人物を見つけ、彼らがどのように移動したかを理解し、その危険性を判断し、その「後」に彼らを阻止する必要があります。

2. 解決策：「標準化されたワークフロー」

著者たちは、AI のように厳格で段階的なレシピとして機能する CYBERTEAM を構築しました。AI が自由にさまようのを許すのではなく、特定の経路に従うよう強制するのです。

これを工場の組み立てラインのように考えてください。

ステップ 1（コンベアベルト）： AI は「ハッカーの名前を特定せよ」といった特定のタスクを与えられます。このタスクを完了するまで、次のステップに進むことはできません。
ステップ 2（専用ツール）： AI はすべてを一度に「考える」わけではありません。各作業には特定の「ツール」（運用モジュールと呼ばれる）を使用します。
- NER（名前発見者）： 名前、日付、IP アドレスのみを探すツール。
- REX（パターンスキャナ）： メールアドレスやファイルハッシュなどの特定のコードのみを探すツール。
- RAG（図書館員）： 回答する前に、実際のセキュリティデータのライブラリから最新情報を検索するツール。
- SUM（要約者）： 長く退屈な報告書を短く明確な箇条書きに要約するツール。

これらのツールを連鎖させることで、AI は組織的になるよう強制されます。「名前発見者」をスキップして直接「解決策」に進むことはできません。

3. 検証：実務への適用

研究者たちは、この新しい「組み立てライン」を、MITRE や NIST などのソースから得られた 45 万個以上の実世界のサイバー脅威の巨大なライブラリを用いて、従来の「自由思考」方式と比較してテストしました。

彼らは AI に、以下のような 30 種類の異なる作業を依頼しました。

攻撃者の特定。
システムへの侵入方法の特定。
脅威の緊急性の判断。
攻撃を阻止するための計画の作成。

4. 結果：構造の勝利

結果は明確でした。構造化された段階的アプローチ（CYBERTEAM）は、自由形式のアプローチよりもはるかに優れていました。

誤りの減少： 特定のツールを順序通りに使用させられた場合、AI は「幻覚」（偽の事実）を大幅に減らしました。
精度の向上： 攻撃を阻止するための適切な「プレイブック」を見つけ、適切なソフトウェアパッチを提案する能力が格段に向上しました。
「なぜか」： 論文によると、AI に（Chain-of-Thought などの方法を用いて）自由に「思考」させることを許すと、迷子になったり重要な詳細を見落としたりすることがよくありました。しかし、組み立てラインに従うよう強制されると、熟練した専門家のように機能しました。

5. 注意点：ノイズの影響

この論文はまた、AI が「ノイズ」のある、つまり散らかったデータ（誤字や混乱した表現を含む報告書など）を与えられた場合に何が起こるかもテストしました。

良い知らせ： AI は、文字の欠落などの小さな誤字には問題なく対応できました。
悪い知らせ： 文章の「意味」が歪められたり混乱したりした場合（意味的ノイズ）、新しいツールがあっても AI は苦労しました。これは、ツールが役立つ一方で、人間が書いた報告書の品質が依然として非常に重要であることを示唆しています。

まとめ

要約すると、この論文は、サイバー攻撃を阻止するために AI を有用にするためには、単に問題に対して「チャット」させるだけでは不十分だと主張しています。代わりに、AI が事実を収集し、それらを分析し、最後に解決策を提案するという、規律ある探偵のように行動させるための構造化されたモジュール型ワークフローを構築する必要があります。CYBERTEAM は、その規律あるワークフローを構築するための設計図です。

技術概要：標準化された脅威ハンティングによる LLM 支援ブルーチームングのベンチマーク評価

問題提起

サイバー脅威の規模と巧妙さが増大する中、ブルーチームの防御者はリスクを能動的に検知・軽減するための大きなプレッシャーに直面している。大規模言語モデル（LLM）は、マルウェア分類、ペネトレーションテスト、ファズテストなどの個別のサイバーセキュリティタスクにおいて潜在能力を示してきたが、現実世界の脅威ハンティングにおけるその有効性は十分に探求されていない。現在の研究は単一の分析タスクに焦点を当てることが多く、本質的に多段階で連鎖的な性質を持つ脅威ハンティングに対処できていない。実用的な脅威ハンティングは、脅威の帰属特定からインシデント対応に至るまで、あるフェーズの出力が次のフェーズの文脈となる一連の依存タスクを必要とする。既存の LLM 応用は、これらの相互依存関係を処理するために必要な構造化されたワークフローを欠くことが多く、複雑な防御シナリオにおいて信頼性の欠如、ハルシネーション、および実行可能で標準化された出力の不足といった問題を引き起こしている。

手法：CYBERTEAM

これらのギャップに対処するため、著者はブルーチームの脅威ハンティングにおいて LLM を厳格に評価し、導くために設計されたベンチマークCYBERTEAMを導入する。この手法は以下の 3 つの中核的柱に基づいている。

1. 標準化されたワークフローとタスク依存関係

CYBERTEAM は、調査から軽減に至る現実世界の進行を反映する依存チェーンとして脅威ハンティングをモデル化する。このベンチマークは 30 の分析タスクを 4 つのカテゴリーに体系化する。

脅威の帰属特定: 発生源の解明（例：アクターの特定、インフラの抽出、キャンペーンの相関関係）。
行動分析: 敵対者の相互作用の理解（例：ファイルシステム活動、ネットワークプロファイリング、TTP の抽出）。
優先順位付け: 緊急性とリスクの評価（例：攻撃ベクトルの分類、深刻度スコアリング）。
対応と軽減: 実行可能な防御戦略の生成（例：プレイブックの推奨、パッチコードの生成）。

オープンエンドな推論とは異なり、CYBERTEAM は下流のタスクが上流のステップで検証された出力に依存する構造化されたパイプラインを強制する。

2. 運用モジュール

標準化と多様なシナリオに必要な柔軟性のバランスを取るため、CYBERTEAM は LLM の推論を導く9 つの運用モジュールを統合する。これらのモジュールは、非構造化の脅威ログを個別の実行可能なステップに変換する。

抽出と解析: 固有表現認識（NER）、正規表現解析（REX）、テキストスパンの局所化（SPA）。
推論と統合: 要約（SUM）、テキストマッピング（MAP）、分類（CLS）、数学的計算（MATH）。
知識統合: 外部脅威インテリジェンス（CVE、MITRE ATT&CK など）へのアクセスのための検索拡張生成（RAG）。
類似性: テキスト類似性マッチング（SIM）。

各タスク $t_i$ は、これらのモジュールの特定のシーケンス $f^*_i$ と関連付けられており、LLM が内部知識のみに依存するのではなく、特定の操作（例：軽減戦略を要約する前に RAG を使用して勧告を取得する）を実行することを保証する。

3. データと評価

データソース: このベンチマークは、脆弱性データベース（NVD、MITRE CVE、CWE、CAPEC、D3FEND、Exploit-DB、VulDB）および脅威インテリジェンスプラットフォーム（VirusTotal、AlienVault OTX、MISP、Mandiant、Recorded Future、IBM X-Force など）を含む 23 の多様なソースから452,293 サンプルを集約している。
評価戦略: 著者は、主要な業界 LLM（GPT-5.1、Grok-4.1、Llama-3.1-405B など）および最先端のサイバーセキュリティエージェントを CYBERTEAM に対して評価する。
ベースライン: 性能は、コンテキスト内学習（ICL）、思考連鎖（CoT）、思考木（ToT）を含むオープンエンドな推論戦略と比較される。
指標: 抽出には F1 スコア、分類には精度、生成には BERTScore、ランキングには Hit@k、コード生成にはパス率、数値推定には正規化距離など、タスク固有の指標が採用される。

主要な結果

実証的評価により、いくつかの重要な知見が得られた。

標準化の優位性: モジュール化された標準化アプローチ（CYBERTEAM）は、すべての 30 のタスクにおいて、オープンエンドな推論戦略（ICL、CoT、ToT）を一貫して凌駕する。例えば、プレイブックの推奨において、標準化された方法は GPT-5.1 で Hit@10 スコア92.7%を達成し、CoT の 90.5% や ICL の著しく低いスコアと比較して優れていた。セキュリティ制御の調整や勧告の相関関係においても同様の改善が見られた。
複雑な依存関係の処理: 性能の差は、強い相互依存性を必要とするタスク（例：イベントシーケンスの再構築）で最も顕著であり、標準化されたワークフローは CoT と比較して精度を 20% 以上向上させた。オープンエンドな手法は、多段階のハンティングに必要な正しい論理順序や情報フローを維持することにしばしば失敗する。
ノイズへの頑健性: CYBERTEAM に導かれた LLM はトークンレベルのノイズ（ランダムな文字の挿入）を比較的よく処理するが、意味レベルのノイズ（言い換えられた文脈的にシフトしたテキスト）に対しては脆弱であり、これにより性能が著しく低下する。これは、高品質で専門家によってキュレーションされた脅威レポートの必要性が継続していることを浮き彫りにしている。
解釈可能性: モジュール化アプローチは解釈可能性を高める。オープンエンドなプロンプトにおける不透明な推論チェーンとは異なり、CYBERTEAM の出力は特定の操作（例：どの RAG 検索が特定の軽減策を情報提供したか）に遡って追跡可能であり、人間の監査と信頼を促進する。
効率性のトレードオフ: 標準化されたパイプラインは、逐次的なモジュール実行により単純な ICL よりも高い遅延を伴うが、思考木（ToT）の極端なオーバーヘッドと比較して、信頼性と計算コストの間のより好ましいバランスを提供する。

意義と主張

本論文は、CYBERTEAMがブルーチームの脅威ハンティングにおける LLM を評価するための、最初の包括的で実践に基づいたベンチマークを提供すると主張している。その意義は以下の点にある。

パラダイムの転換: 孤立したタスク評価から、現実世界の防御運用を反映するホリスティックでワークフロー駆動型の評価への移行。
構造化された推論の検証: 高リスクのサイバーセキュリティタスクにおいて、構造化されたモジュール型推論がオープンエンドな生成よりも優れていることを実証。著者は、運用手順（モジュールを介して）への厳格な遵守がハルシネーションを減少させ、出力が実行可能な防御目標と整合することを保証すると論じている。
実行可能な示唆: 標準化されつつも柔軟な推論ワークフローを通じて LLM を導くフレームワークを提供し、セキュリティオペレーションセンター（SOC）への AI 統合の青写真を提示する。

著者は結論として、LLM は有望であるが、その脅威ハンティングへの展開には、複雑で相互依存するシナリオにおける信頼性、解釈可能性、および有効性を確保するための標準化されたワークフローの規律が必要であると述べている。CYBERTEAM は、AI 支援型サイバーセキュリティ防御における将来のイノベーションを推進するための研究コミュニティのための資源として機能する。