Environment-Grounded Multi-Agent Workflow for Autonomous Penetration Testing

以下は、提示された論文「Environment-Grounded Multi-Agent Workflow for Autonomous Penetration Testing（自律的ペネトレーションテストのための環境基盤型マルチエージェントワークフロー）」の技術的概要です。

1. 研究の背景と課題 (Problem)

• 背景: デジタルインフラの複雑化と相互接続性の向上に伴い、特にロボティクスや産業制御システム（OT）におけるセキュリティ評価の必要性が高まっています。現代のロボットは高度にネットワーク化されたサイバーフィジカルシステムであり、ROS（Robot Operating System）などのミドルウェアは開発を加速させる一方で、露出したトピックやサービス、歴史的に緩默なデフォルト設定により、大きな攻撃対象領域（アタックサーフェス）を生み出しています。
• 既存手法の限界:
  • 単一 LLM の限界: 大規模言語モデル（LLM）を単独でペネトレーションテストに用いる場合、長期記憶の不足、役割の分離の欠如、意思決定の追跡可能性（トレイサビリティ）の低下が課題です。
  • 自動化と規制のギャップ: 既存の半自律型ツールは、人間の監視を前提としており、真の自律化には至っていません。また、EU AI 法などの規制枠組みが求める「追跡可能性」「技術文書」「効果的な人間の監視」を満たすには、単一のモナリシックな LLM ソリューションでは不十分です。
  • コンテキスト管理の欠如: 既存のマルチエージェントシステムは、要約（Summarization）に依存してコンテキストを転送するため、長期の実行において情報の欠落や一貫性の低下を招き、発見された知識を再利用して新しいタスクを動的に生成する能力が不足しています。

2. 提案手法 (Methodology)

本研究では、ROS ベースのシステム向けに特化した**「環境基盤型マルチエージェント・アーキテクチャ」**を提案しています。これは LangGraph を基盤とした閉ループ構造で、以下の 3 つの協調エージェントと永続的なメモリ機構で構成されます。

• 主要コンポーネント:
  1. Planner（計画エージェント）: 構造化されたタスクリストを生成します。
  2. Executor（実行エージェント）: タスクを具体的なコマンド（Nmap や ROS 固有のスクリプトなど）に変換し、実行します。
  3. Memory Agent（メモリエージェント）: 完了したタスクの結果をレビューし、知識グラフに記録します。
• 環境基盤型メモリ（GraphMemory）:
  • 従来の要約に依存するのではなく、実行中に可視化されたシステム状態に基づいて共有のグラフベースメモリを動的に構築します。
  • 発見されたネットワークトポロジー、通信チャネル、脆弱性、試行されたエクスプロイトなどをノードとエッジとしてグラフに追加・更新します。
  • これにより、エージェントは過去の発見に基づいて文脈を保持し、冗長な探索を減らし、攻撃パスの完全な再構築を可能にします。
• 運用モードとヒューマン・イン・ザ・ループ:
  • システムは「スキャンモード（Nmap による網羅的探索）」と「ROS エクスプロイトモード」などの事前定義された運用モード間で動作します。
  • モードの切り替えは人間が行いますが、各モード内ではエージェントが自律的に情報を発見し、メモリを更新し、次のタスクを生成します。これにより、自律性と安全性（ガードレール）のバランスを取っています。

3. 実験設定 (Experimental Setup)

• 評価環境: ロボット製造ユースケースに基づいた Docker ベースのテストベッド。
  • ROS1 (Noetic) と ROS2 (Foxy) のコンテナ、PLC、産業用ロボットアーム（Universal Robots）を含むネットワーク。
  • ROS1 の認証/暗号化の欠如や、ROS2 の設定ミスによる脆弱性を意図的に含めています。
• 評価指標:
  • CTF（Capture-the-Flag）: 4 つのタスク（CTF-0〜3）で評価。
    • CTF-0: 全ノードの発見。
    • CTF-1: ROS マスター（ポート 11311）の特定。
    • CTF-2: ROS トピックの列挙。
    • CTF-3: トピックメッセージの読み取り（データアクセス）。
  • 比較対象: 既存のマルチエージェント手法「HackSynth」をベースラインとして使用。
  • モデル: 複数の LLM（llama-3.3-70b, deepseek-v3.2, gemma-3-27b, hermes-2-pro-llama-3-8b）を Planner として評価。

4. 結果 (Results)

• 性能:
  • 提案されたワークフローは、すべてのテストラン（n=5）で CTF チャレンジを 100% 成功させました。
  • 特に、CTF-2（トピック列挙）と CTF-3（メッセージ取得）において、既存の HackSynth ベースラインがすべてのモデルで失敗したのに対し、提案手法（llama-3.3-70b および deepseek-v3.2 を使用）は成功しました。
  • HackSynth ベースラインでは、ROS 固有のタスク（CTF-2, 3）において、モデルが推論と実行のミスマッチ（Reasoning-Action Mismatch）やタスクの逸脱（Task Derailment）を起こし、失敗しました。
• 追跡可能性と制御性:
  • GraphMemory により、どのエージェントがどの段階でどのコマンドを実行したかを完全に追跡可能であり、EU AI 法などの規制要件に対応する透明性を提供します。
  • 構造化された制約（IP 範囲やツールの制限）により、エージェントの行動を制御可能にしています。

5. 主要な貢献 (Key Contributions)

1. 環境基盤型マルチエージェント・アーキテクチャの提案: ペネトレーションテストにおいて、LLM の推論能力と、実行状態に基づいて動的に構築されるグラフメモリを統合し、自律性と追跡可能性を両立させた新しいアプローチ。
2. ROS セキュリティ評価における実証: 複雑な産業用ロボット環境（ROS1/ROS2）において、自律的ペネトレーションテストが 100% の成功率で機能することを示した。
3. 規制適合性の向上: 単なる自動化だけでなく、人間の監視、文書化、意思決定の透明性をシステム設計に組み込むことで、EU AI 法などの現代的な規制要件を満たすフレームワークを提示。
4. 既存手法との比較分析: 既存のマルチエージェント手法（HackSynth）が直面する「推論と行動の不一致」や「長期コンテキストの欠如」といった課題を、グラフメモリと構造化されたワークフローによって解決したことを実証。

6. 意義と将来展望 (Significance)

• 産業セキュリティへの貢献: 産業用ロボットや OT 環境におけるセキュリティ評価を、人的リソースに依存せず、かつ安全に自動化する道筋を示しました。
• 規制対応: 自律 AI システムの導入が進む中、その安全性と説明責任（アカウンタビリティ）を担保する技術的基盤を提供しています。
• 将来の応用: この「環境基盤型メモリ」のパラダイムは、ロボティクス以外の重要なインフラ（電力網、交通システムなど）の監視や制御における安全クリティカルな領域への応用可能性を有しています。

この論文は、LLM を単なる「チャットボット」や「スクリプト生成器」としてではなく、構造化されたメモリと協調する自律的なセキュリティ専門家として機能させるための重要なステップを示しています。