テクニカル・サマリー：サイバーセキュリティにおけるLLM生成検知ルールの評価

問題提起

大規模言語モデル（LLM）およびAIエージェントのサイバーセキュリティ運用への統合は、重大な信頼の欠如に直面している。ベンダーはエージェントを革命的なものとして宣伝しているが、経験豊富なエンジニアは、エージェントが「もっともらしく聞こえる無意味なもの」を生成することを恐れ、懐疑的な姿勢を崩していない。LLMが生成したセキュリティルールの有効性を評価するための、標準化されたオープンソースの指標が存在しないという決定的なギャップがある。厳格な測定がなければ、組織はエージェントが人間の検知エンジニアの仕事を遂行できるかどうかを検証できず、また、時間を浪費することなくこれらのツールを導入するための必要な信頼を築くこともできない。さらに、既存のコード生成（例：ユニットテストによる機能的正確性）や侵入検知（例：適合率/再現率）の評価手法は、敵対的な堅牢性、運用のノイズ、あるいは反復生成の経済的コストといった、セキュリティルール生成特有の課題を完全には解決できていない。

メソドロジー

著者らは、人間が生成したベースラインに対して、LLMが生成したサイバーセキュリティルールの品質を測定するための、オープンソースの評価フレームワークとベンチマークを提示する。このメソドロジーは、「ホールドアウト・セット」のアプローチを採用し、自律型エージェントと人間のエキスパートを比較するものである。

エージェント：ADÉ

フレームワークは、Sublime Securityによって開発されたエージェンティック・システムであるADÉ（Automated Detection Engineer）を用いて説明される。ADÉはモデルに依存しないアーキテクチャで動作し、検知エンジニアリングのベストプラクティス、TTP、およびMQLドキュメントの精選されたナレッジベースに加え、動的なファイル分析、コンピュータビジョン、送信者レピュテーションのためのツールを活用する。

• ワークフロー: ADÉは単一の悪意のあるメールサンプルを受け取り、それを分析し、既存のルールによるカバレッジのギャップを検索し、候補となるMQL検知ルールを生成する。
• 反復的な洗練: 長いコンテキストによるドリフトに苦しむ従来の型とは異なり、ADÉはクローズドなフィードバックループを採用している。ADéは構文を検証し、サンプルに対してルールを実行し、過去のデータに対してスレットハントを開始する。サブエージェントがこれらの結果（真陽性、偽陽性、および堅牢性）を分析し、ADÉにフィードバックを提供することで、収束するまでADÉがロジックを反復的に洗練させることを可能にする。

評価指標

フレームワークは、以下の3つの異なる次元でルールを評価する：

1. 検知精度 (Detection Accuracy):

   • 約45,000通のメール（悪意のあるものおよび良性のもの）のラベル付きデータセットを利用する。
   • 標準的な適合率（Precision）と、ユニークな真陽性（Unique True Positives: コアフィード内の他のどのルールにも捕捉されないTP）の適合率を平均した複合スコア（式1）を算出する。
   • 根拠: セキュリティにおいて、ユニークな検知はシステム全体の再現率を高めるため、非常に価値が高い。本フレームワークは、偽陰性（未知の未知）を測定することの難しさを認め、適合率ベースの指標に焦点を当てている。

2. 構文的正当性の経済的コスト (Economic Cost of Syntactic Correctness):

   • 「コスト・トゥ・パス（cost-to-pass）」フレームワーク（Erol et al., 2025）を適応させ、有効なルールを生成するための経済的影響を測定する。
   • 総コスト = （試行あたりのコスト）×（試行回数、$k$）を算出する。
   • pass@k 指標を使用して、エージェントがバリデーションを通過する構文的に正しいMQLルールを生成するために、何回の試行が必要かを決定する。

3. 堅牢性 (Robustness / Brittleness):

   • 報酬（行動インジケーターやファジーマッチングなどの堅牢なパターン）とペナルティ（IP、ドメイン、またはハッシュの直接的な文字列一致などの脆いパターン）の比率に基づいた、ヒューリスティックな脆さスコア（Brittleness Score）（$B \in [0, 100]$）を開発する。
   • 根拠: 直接的な一致は、些細な敵対的回避によって容易にバイパスされるが、行動インジケーターは汎用的な解決策を提供する。最終的な**堅牢性スコア（Robustness Score）**は $1 - (B/100)$ である。

主な貢献

本論文は、自律的な検知ルール生成に特化した新しいベンチマークフレームワークを導入している：

• 運用の実行可能性パイプライン: 機能的な正確性と、ノイズの閾値、保守性、およびパフォーマンスのガードレールを明らかにするための実世界のレトロハンティングを組み合わせた、エンドツーエンドの評価。
• 組み込まれた敵対的堅牢性: ルールの脆さを測定し、フィードバックを提供するための特定の指標を導入し、些細な敵対的バイパスを減らすことを目的としている。
• オープンソース・フレームワーク: 著者らは、他のセキュリティルール生成エージェント（例：YARA、カスタムDSL）に対して再現可能な研究と標準化された評価を可能にするため、モジュール式のパイプラインを公開する予定である。

結果

研究では、ADÉが生成したルールを、Sublime Core Feedから抽出された、保持された人間によるルールと比較した。これらは11の異なる攻撃シナリオ（例：BEC、HTMLスミグリング、フィッシング）を対象としている。

• 範囲 vs 精度 (Scope vs. Precision): ADÉのルールは、人間が作成したルールと比較して、スコープが著しく狭かった。つまり、人間が広範な行動パターンに基づいてルールを設計するのに対し、ADÉは単一のメールサンプルから制約を受けているため、検出される総メッセージ数および既知の真陽性の数が少なかった。
• 偽陽性 (False Positives): ADÉは、脅威の宇宙に対する視点が狭いため、大幅に少ない偽陽性（テストセット内ではしばしばゼロ）を持つルールを生成した。
• パフォーマンス・スコア:
  • 人間のルールは0.711から0.996のスコアを達成した。
  • ADÉのルールは0.557から1.000のスコアを達成した。
  • いくつかのケース（例：「SVGファイル内のJavascriptを含むEML」）では、高い精度とユニークなTPにより、ADÉは人間によるベースライン（0.996）よりも高いスコア（0.998）を達成した。
• 堅牢性 (Robustness): ADÉと人間のルールは、脆さの観点において「かなり同等」であることが判明した。ベースとなるLLMは、利用可能なツールをうまく組み合わせ、人間と同等の敵対的回避に対する耐性を持つクエリを生成することに成功した。
• コスト効率: pass@k 指標は、LLMを実行する実際のドルコストと密接に相関していた。ADÉは通常、構文的に有効なルールを生成するために1〜3回の試行を必要とし、コストはルールあたり約1.50ドルから5.13ドルであった。

意義と主張

本論文は、このメソドロジーが、LLMベースのセキュリティルール生成器に対する現実的かつ多角的な評価を提供することを主張している。単純な機能的正確性を超えて、経済的コストと敵対的堅牢性を含めることで、このフレームワークはエージェントの運用の実行可能性に関する包括的な視点を提供する。

著者らは、ADÉが現在、人間のエキスパートよりも再現率において狭いスコープのルールを生成している（単一サンプルの入力制約による）ものの、高品質で堅牢、かつ経済的に効率的なルールを生成できる能力を示していると控えめに結論付けている。このフレームワークは反復的な改善のための基礎として機能し、将来的な課題として、精度と堅牢性を維持しながら、ADÉのスコープを人間の再現率に匹敵するレベルまで広げるための指標を提供している。本論文は、ADÉが人間のエンジニアを完全に代替したと主張しているのではなく、体系的に改善可能な、検知ワークフローにおける実行可能な、測定可能な構成要素であることを示している。