技術的サマリー：LLM 支援型サイバー脅威インテリジェンスの脆弱性の解明

問題定義

大規模言語モデル（LLM）は、脆弱性評価からインシデント対応まで、サイバー脅威インテリジェンス（CTI）タスクの自動化にますます導入されています。しかし、運用ワークフローには依然として重大な信頼性のギャップが存在します。既存の文献では、これらの失敗はハルシネーションやジャイルブレイキングなどの一般的なモデルの限界に起因するとされることが多いですが、本論文では、支配的なボトルネックは脅威環境そのものの固有の性質にあると主張します。CTI データは、多様性、変動性、断片化を特徴としています。証拠はしばしば絡み合い、クラウドソーシングされ、時間的に不安定であり、これらの特性は標準的な LLM 評価ではほとんど捉えられていません。その結果、LLM はこれらの条件下で効果的に推論することが困難となり、重要なセキュリティタスクにおいて大幅な失敗率を引き起こします。

手法

著者は、CTI 推論における LLM の失敗を特定し分類するための包括的な実証研究と、新たな方法論的枠組みを提案します。

1. 大規模実証評価

本研究では、業界をリードする汎用 LLM（GPT-5、Claude-Sonnet-4、Gemini-2.5 など）およびサイバーセキュリティ特化エージェント（DeepHat、SecGPT、Cyber-Zero など）を含む多様なモデル群を評価します。評価は、以下の 4 つの段階にわたる CTI ライフサイクル全体に及びます。

• 文脈化（Contextualization）: 生観察に文脈を付与する（例：ログを CVE にマッピングする）。
• 帰属（Attribution）: 敵対者を特定し、イベントをアクタープロファイルにリンクさせる。
• 予測（Prediction）: 悪用可能性とキャンペーンの進化を予測する。
• 緩和（Mitigation）: パッチ、検出ルール、対応プレイブックを推奨する。

データセットには、確立されたベンチマーク（CTIBench、SevenLLM-Bench、SWE-Bench、CyberTeam）と、権威あるソース（NVD、CISA、ベンダー勧告）からの実世界の脅威レポートが含まれます。

2. 人間ループによる失敗分類

ハードラベルなしで失敗モードを信頼性高く分類するという課題に対処するため、著者は階層化された人間ループ・フレームワークを導入します。

• 層化サンプリング: モデル出力と参照資料との類似度スコアに基づき、インスタンスを分位数層に分割します。各層内の「アンカー」サンプルの手動検査により、「正解」と「失敗」の出力に対するスコア範囲を確立し、手動作業量を全インスタンスの 1.5% 未満に最小化します。
• 反復的な分類体系の洗練: 自己回帰的プロセスにより、LLM 支援による分類と人間による検査を交互に行います。人間によって特定された新しい失敗パターンは、収束するまで分類体系に追加されます。
• マルチエージェント審議: 安定性を確保するため、複数の LLM が独立してインスタンスを分類し、その後 2 回目の審議を行います。エージェント間の合意が得られない場合や、ラウンド間で予測が変動する場合（ケースの 1.8% 未満）にのみ、人間の検査者が介入します。

主要な貢献

1. 3 つのドメイン固有の認知的失敗の特定

本研究は、一般的な LLM の欠陥とは区別される、CTI における LLM の有効性を制約する 3 つの支配的な脆弱性カテゴリーを特定します。

• 偽の相関（Spurious Correlations）: LLM は、因果関係ではなく、表面的な特徴や共起する特徴に基づいて過剰に帰属を行います。例としては、汎用ツールをアクター固有の証拠と誤認すること（共言及バイアス）や、意図的に再利用された侵害指標（IoC）に基づいてインフラの再利用を過剰に帰属させることが挙げられます。
• 矛盾する知識（Contradictory Knowledge）: CTI ソース間の不一致（矛盾するレポート、古く新しい証拠間の時間的矛盾、命名における意味的衝突など）がモデルを混乱させ、不安定または矛盾する予測を引き起こします。
• 制約された一般化（Constrained Generalization）: LLM は既知の分布を超えて拡張することが困難であり、新興のゼロデイ脅威や未見のパターンに対して失敗します。これには、分布バイアス（一般的なトレーニングデータへの過剰依存）と環境への無理解（特定の展開制約の無視）が含まれます。

2. CTI 段階全体にわたる根本原因分析

本論文は、これらの脆弱性を特定の CTI 段階および技術にマッピングします。例えば、共言及バイアスは、検索システムが共起するエンティティを因果関係があるとみなす文脈化の段階でしばしば発生します。矛盾する知識は、ソースがアクターの身元やパッチの有効性について異議を唱える場合、帰属および緩和を頻繁に不安定化させます。制約された一般化の失敗は、モデルがトレーニングデータに存在しない新しい攻撃ベクトルや環境制約に遭遇する予測および緩和において最も顕著です。

3. 因果介入による検証

著者は、因果介入研究を通じてこれらの根本原因を検証します。非因果的な文脈トークン（日付、セクターなど）を攪拌しつつ、因果的な属性（TTP、悪用メカニズムなど）を保持することで、LLM の予測が頻繁に反転することを示し、偽の相関への依存を確認します。

4. 防御戦略

本論文は、標的型の緩和戦略を提案し評価します。

• 因果介入（$C^3$）: 非因果的な文脈が変更された場合に結論が安定しているかモデルに検証させる、推論時の反事実的一貫性チェック。
• 微細な緩和策: 各脆弱性サブタイプに対する具体的な技術。例として、共言及バイアスを除去するための検索時の証拠フィルタリング、矛盾を解決するための時間的意識のある再ランク付け、未見のパターンを処理するための新奇性意識のある推論などがあります。

結果

• 性能ギャップ: 評価により、すべてのモデルに普遍的なギャップが存在することが明らかになりました。汎用 LLM は理解を要するタスク（例：ソースの信頼性スコアリング）では優れていますが、運用出力においては困難を抱えています。サイバー特化エージェントは特定の運用ランキングではより良い性能を示しますが、新興脅威における制約された一般化に苦しんでいます。
• 失敗率: 緩和策なしでは、すべての段階で失敗率は顕著です。例えば、汎用モデルは偽旗検出およびインフラ再利用において高い失敗率を示します。
• 防御の有効性:
  • 提案された$C^3$ 因果介入は普遍的な性能向上をもたらし、偽旗検出（最大 +0.115 F1）およびイベントタイムライン構築（平均 Δ ≈ 0.08）において顕著な改善が見られました。
  • 微細な緩和策は、脆弱性比率を大幅に削減します。「フル機能」アプローチ（検索フィルタリングと推論制約の組み合わせ）は、すべてのカテゴリで失敗率を削減します。例えば、汎用 LLM における時間的矛盾の失敗は、検索のみによる緩和で 17.53% から 4.25% に低下しましたが、偽の相関の失敗は推論のみによるチェックによって最も効果的に処理されました。

意義と主張

本論文は、CTI ドメイン固有の現在の LLM 脆弱性における「盲点」を解明したと主張します。失敗は脅威環境の固有の性質（多様性、変動性、断片化）に根ざしているため、標準的なモデル適応やプロンプトエンジニアリングでは不十分であると論じます。

この研究の意義は以下の点にあります。

1. 焦点の転換: 一般的な LLM の欠陥（ハルシネーション）から、サイバー脅威データの性質によって引き起こされるドメイン固有の推論失敗へと議論を移行させること。
2. ロードマップの提供: 回復力があり、ドメインを認識する CTI エージェントを構築するための、具体的な分類体系に基づいた道筋を提供すること。
3. 実現可能性の証明: 大規模な再トレーニングを必要とせず、軽量で標的型の防御（因果的一貫性チェックと検索フィルタリング）がこれらの特定の失敗モードを大幅に緩和できることを示すこと。

著者は、堅牢な LLM ベースの CTI 分析には、脅威環境の多様性に明示的に適合した保護が必要であり、これがサイバー焦点型 LLM システムの将来の原理的な適応のための基礎的な洞察を提供すると結論付けています。