技術要約：LLMベースのWebペネトレーションテストにおける偵察とエクスプロイトの分離

問題提起

大規模言語モデル（LLM）はサイバーセキュリティタスクの自動化において有望な兆しを見せているが、既存のLLMベースのペネトレーションテスト・エージェントの評価は、エンドツーエンドのブラックボックス・テストに大きく依存している。このアプローチは、**エラーの連鎖（error cascading）**という問題を引き起こす。すなわち、初期段階の偵察（例：非構造化されたテレメトリの誤解釈や脆弱性の特定失敗）における失敗が、エージェントがエクスプロイト（脆弱性攻撃）フェーズに到達することを妨げてしまう。その結果、エージェントの実際の攻撃生成・実行能力が、初期の知覚エラーによって隠蔽されてしまい、統計的な偽陰性を生じさせる。これにより、研究者は、失敗の原因が事実知識の欠如によるものなのか、推論アーキテクチャの欠陥によるものなのか、あるいは環境ノイズの解析能力の不足によるものなのかを区別することが困難になっている。

メソドロジー

これらの評価におけるボトルネックに対処するため、著者らは、自律的な偵察と脆弱性のエクスプロイトを分離する2段階のデカップル（分離型）評価フレームワークを提案する。

1. 分離型フレームワークのアーキテクチャ

本フレームワークは、従来のペネトレーションテストのパイプライン（収集、スキャン、検証、エクスプロイト）を、2つの直交するフェーズに集約する。

• 偵察フェーズ（Reconnaissance Phase）： エージェントが、プロービングツールを用いて、非構造化ログを解釈しながら、対象となる脆弱性（例：正しいCVE識別子の生成）を特定しようとする。
• エクスプロイトフェーズ（Exploitation Phase）： エージェントがペイロードを構築し、実行しようとする。極めて重要な点として、エージェントが偵察フェーズで失敗した場合、**グラウンドトゥルース注入（Ground-Truth Injection）**メカニメントが介入する。フレームワークは実行を一時停止し、真正な脆弱性のコンテキスト（CVEおよび詳細情報）をプロンプトに注入し、エージェットがエクスプロイトへと進行できるようにする。これにより、エクスプロイトの性能を偵察によるノイズから隔離する。

2. 実験セットアップ

• データセット： VulhubおよびVulfocusから再構成された、OWASP Top 10およびCWE標準（例：SQLインジェクション、IDOR、デシリアライゼーション）をカバーする、高忠実度の70個のWeb脆弱性テストベッド。
• エージェント： 異なるアーキテクチャを持つ5つのオープンソース・ペネトレーションテスト・フレームワークを評価した：
  • Hexstrike-AI（マルチエージェント、MCP駆動）
  • CyberStrikeAI（モノリシック）
  • RedAmon（グラフ駆動、マルチエージェント）
  • NeuroSploit（制約付き、シンボリックツリー）
  • Decepticon（グラフ駆動、マルチエージェント）
• 指標：
  • ターゲット脆弱性再現率（Targeted Vulnerability Recall: TVR）： 偵察中にエージェントが正しい脆弱性を自律的に特定できる能力を測定する。
  • 機能的成功率（Functional Success Rate: FSR）： グラウンドトゥルース注入後、エージェントがエクスプロイト（例：リバースシェルの起動）を正常に実行できる能力を測定する。
• アブレーション： コード生成およびツール呼び出しに対する外部知識の影響を分離するため、**検証済み経験的知識ベース（Verified Empirical Knowledge Base: VEKB）**の有無を用いた実験を行った。

主な結果

1. 能力のギャップ

本研究は、エージェントが脆弱性を「見つける」能力と、コンテキストを与えられた際にそれを「エクスプロイトする」能力との間の大幅な乖離を明らかにしている。

• エクスプロイト能力（FSR）： 正確な脆弱性コンテキストが提供された場合（グラウンドトゥルース注入経由）、エージェントは最大**90.0%**の機能的成功率を達成した（特にHexstrike-AI）。
• 偵察能力（TVR）： 事前知識のない自律的な条件下では、ターゲット脆弱性再現率は約**50.0%**で停滞した。
• 示唆： エンドツーエンドのテストにおける多くの「失敗」は、実際にはエクスプロイトのロジックが成功しているにもかかわらず、偵察の失敗によって隠蔽されているものである。エージェントは、エクスプロイトの構築に失敗しているのではなく、非構造化されたテレメトリの解析に失敗していることが多い。

2. アーキテクチャのトレードオフ

異なるアーキテクチャは、脆弱性のクラスや相互作用の複雑さに応じて、明確に異なる強みを示した。

• マルチエージェント・システム（例：Hexstrike-AI）： MCPのようなプロトコルによる状態隔離の強制は、長時間のシーケンス相互作用（例：不適切なデシリアライゼーション）やノイズの多いエラーログの処理において最も効果的であった。これらは最高のFSR（90.0%）を達成し、アテンションのドリフト（注意の逸脱）に対しても堅牢であった。
• モノリシック・アーキテクチャ（例：CyberStrikeAI）： コンテキストの崩壊が起こりにくい短鎖のインジェクション脆弱性において高いパフォーマンスを示したが、長い相互作用チェーンには苦戦した。
• グラフ駆動型デザイン（例：RedAmon, Decepticon）： グローバルな状態を維持し、異なるペルソナ間の権限境界を比較できる能力により、クロスセッションのアクセス制御の脆弱性（例：IDOR）において強みを示した。
• 制約付きアーキテクチャ（例：NeuroSploit）： シンボリックツリーと正規表現に依存しており、これによりハルシネーション（幻覚）を抑制したが、ペイロードの変異能力が制限されたため、決定論的なN-day検証には適しているが、新しいシナリオへの柔軟性は低い。

3. 知識とモデル規模の影響

• 知識の注入： VEKBの統合は、すべてのフレームワークにおいてパフォーマンスを大幅に向上させ、偵察における脱落率を減少させ、エクスプロイトにおける低レベルのプロトコルエラーを修正した。
• モデルの規模： 単にベースモデルのサイズを大きくすること（例：Gemini 3 ProからGPT-5への切り替え）が、必ずしも性能向上を保証するわけではない。モノリシックなフレームワークにおいては、大規模なモデルほど、状態隔離なしに冗長なエラーテレメトリを処理する際、**アテンションの分散（attention dispersion）**に苦しむことがあった。

意義と主張

本論文は、偵察とエクスプロイトを分離することで、LLMベースの攻撃エージェントの能力境界を正確に測定する、初のきめ細かなベンチマーキング・プロトコルを提供すると主張している。

• 診断的価値： 本フレームワークにより、研究者は失敗の原因を「知覚エラー（偵察）」と「実行エラー（エクスプロイト）」に具体的に帰属させることが可能となり、エンドツーエンドの成功率という「ブラックボックス」を超えた分析が可能になる。
• 設計指針： 本結果は、将来の自動化された攻撃セキュリティエージェントが、単にベースモデルをスケールアップするのではなく、現実世界の環境におけるノイズを処理するために、厳格な状態隔離（例：マルチエージェント設計による）を優先すべきであることを示唆している。
• セキュリティの転換： 本研究は、LLMベースのセキュリティが、静的なコード生成から自律的なエクスプロイト実行へと移行していることを強調している。そこでは、敵対的なノイズの中でコンテキストを維持する能力が主要なボトルネックとなる。

著者らは、本ベンチマークが公開されたCVEを使用しているものの、このデカップル（分離）されたパラダイムは、特定のCVE識別子ではなく、抽象的な脆弱性の意味論を注入することによって、将来のゼロデイ・シナリオへの基礎を提供すると述べている。