Towards Optimal Agentic Architectures for Offensive Security Tasks

1. 問題定義 (Problem)

現在の LLM エージェントを用いたセキュリティ監査システム（例：PentestGPT など）は、特定の協調トポロジー（構成）に固定されており、**「追加のエージェントや複雑な協調構造が、コスト増大や失敗モードの増加を伴わずに、本当に検出精度を向上させるのか」**が不明確なままです。
既存の研究は特定のシステムの実装に焦点を当てており、アーキテクチャ選択の根拠がヒューリスティック（経験則）に基づいているため、科学的な比較評価が不足していました。本研究は、このギャップを埋め、攻撃的セキュリティという具体的なドメインにおいて、アーキテクチャの選択を「経験的なシステム問題」として扱うことを目的としています。

2. 手法とベンチマーク (Methodology)

本研究では、制御された条件下で 5 つの異なるアーキテクチャファミリーを比較するためのベンチマークと評価スタックを構築しました。

ベンチマークの構成

• ターゲット: 20 個の意図的に脆弱なローカルターゲット（10 個の Web/API サービス、10 個のバイナリサービス）。
• 条件: 各ターゲットは 1 つの主要な既知の脆弱性（CWE）を含み、ホワイトボックス（ソースコード可視）とブラックボックス（エンドポイントのみ可視）の 2 つのモードで評価可能です。
• 規模: 5 つのアーキテクチャ × 3 つのモデルファミリー × 20 ターゲット × 2 モード = 600 回の実行（コアベンチマーク）。

評価対象のアーキテクチャ (5 種)

1. SAS (Single-Agent): 単一エージェント。脆弱性を列挙し、順次検証する。
2. MAS-Indep (Multi-Agent Independent): 3 つの独立したワーカーが並列に監査し、最も成功した結果を採用する（通信なし）。
3. MAS-Decent (Decentralized): 3 つのエージェントが独立にスキャンし、トップの脆弱性候補に対して投票を行い、得票上位を優先検証する。
4. MAS-Central (Centralized): 中央プランナーが候補リストを作成し、トップの候補のみを専門の検証エージェントに渡す。
5. MAS-Hybrid (Hybrid): 2 段階の階層構造。オーケストレーターとサンドボックスの 2 つのブランチで候補を生成し、それぞれ異なる候補を検証して結果を統合する。

評価指標

• Detection-any: 正しい脆弱性クラスに到達したか（検証済みまたは未検証）。
• Validated Detection: 再現可能なエクスプロイト証拠（PoC）によって検証された脆弱性の検出率。
• コストと効率: 1 つの検証済み発見あたりのコスト、検証までの時間（TTFV）、トークン使用量。

3. 主要な貢献 (Key Contributions)

1. 制御されたセキュリティ監査ベンチマーク: 20 個のターゲット（Web/バイナリ、ホワイト/ブラックボックス）を含む、アーキテクチャ比較に特化した新しいベンチマークの公開。
2. 大規模なアーキテクチャ比較研究: 600 回の実行を通じて、5 つのトポロジーと 3 つのモデルファミリーを網羅的に評価。
3. コスト - 品質の非単調なフロンティアの発見: 「より多くのエージェント＝より良い」という単純な関係ではなく、タスクの条件（観測可能性やドメイン）に応じて最適なアーキテクチャが変化することを示した。
4. オープンソース化: コード、プロンプト、ベンチマークターゲット、評価アートのすべてを公開し、再現性を担保。

4. 実験結果 (Results)

全体性能

• 検証済み検出率: 全体で 49.8%（Detection-any は 58.0%）。
• ホワイトボックス vs ブラックボックス: ホワイトボックス（ソース可視）は 67.0%、ブラックボックスは 32.7% と、観測可能性が性能に決定的な影響を与える（34.3 ポイントの差）。
• ドメイン差: Web ターゲットは 74.3%、バイナリは 25.3% と、Web が遥かに容易。

アーキテクチャごとの比較

• 最高精度: MAS-Indep（独立マルチエージェント）が 64.2% の検証済み検出率で最高性能を示しました。特にブラックボックス環境での性能向上が顕著でした。
• 最高効率: SAS（単一エージェント）が 1 発見あたり 0.058 ドル、中央値 53.0 秒という最も効率的なベースラインとなりました。
• 中央集権型とハイブリッド型: MAS-Central や MAS-Hybrid は、追加の協調コストに見合うだけの性能向上（MAS-Indep や SAS に比べて）を示さず、支配的ではありませんでした。

統計的有意性

• ホワイトボックスとブラックボックス、Web とバイナリという「観測可能性」と「ドメイン」が性能に最も大きな影響を与える要因でした。
• アーキテクチャ間の差は、特にブラックボックスやバイナリタスクにおいて明確でしたが、ホワイトボックスの最上位グループ間では統計的に有意な差が小さく、単一の「万能なアーキテクチャ」は存在しないことが示されました。

5. 意義と結論 (Significance & Conclusion)

• 「より多くのエージェント」は常に優れているわけではない: 協調構造の複雑化は、探索範囲を広げる一方で、トークンコスト、レイテンシ、検証の難易度を高めます。本研究は、**「コスト - 品質のフロンティア（トレードオフ曲線）」**が存在し、タスクの条件（観測可能性、ドメイン、予算）に応じて最適なアーキテクチャを選択すべきであることを実証しました。
• 適応的ルーティングの必要性: 特定のタスクに対して「どのアーキテクチャを選ぶか」を学習やルールベースで決定する「適応的ルーティング」の重要性が示唆されました。例えば、コスト重視なら SAS、最大限の検出率（特にブラックボックス）が必要なら MAS-Indep が適しています。
• セキュリティ研究への寄与: 攻撃的セキュリティタスクは、部分的な観測可能性、反復的な情報収集、適応的な戦略策定を必要とするため、エージェントシステムの評価における理想的なテストベッドとなります。この研究は、LLM エージェントの設計が「プロンプト」だけでなく「システムアーキテクチャ」によって大きく左右されることを明確にしました。

総じて、この論文は、オフフェンシブセキュリティにおける LLM エージェントの設計指針を、経験則からデータ駆動の意思決定へと移行させるための重要な基盤を提供しています。