技術要約: Trident – 深層強化学習を打破する方法

問題提起

深層強化学習（DRL）に基づく自律的サイバー防御システムは、ネットワークを監視し、侵害されたホストをリアルタイムで復旧するために、ますます導入が進んでいる。しかし、適応的な脅威に対するその堅牢性は、極めて研究不足の状態にある。現在の評価は、ほぼ排他的に、固定された行動シグネチャを持つ静的なヒューリスティックな「レッドエージェント」に依存している。その結果、DRL防御側は、これらの静的なパターンに暗黙的に条件付けられたポリシーを開発してしまい、従来の評価手法では露呈できない系統的な盲点が生じている。

同時に、検証可能な報酬を用いた強化学習（RLVR）は、数学やソフトウェアエンジニアリングの領域における大規模言語モデル（LLM）の推論を進展させてきたが、サイバーセキュリティへの統合は、適切なベンチマーク環境の欠如によって阻まれてきた。既存のサイバーセキュリティデータセットは、通常、静的なコーパスや孤立したCapture The Flag（CTF）チャレンジを提供しており、能動的で適応的な防御側に対してエージェントを訓練するために必要な、連続的かつ多段階の相互作用を欠いている。RLVRを介してLLMベースのレッドエージェントを訓練するための、安定し、再現可能な、検証可能な報酬信号を備えた敵対的環境を提供するインフラストラクチャには、決定的なギャップが存在する。

メソドロジー

これらのギャップに対処するため、著者らは、ベンチマークインフラ、データセット、およびエージェント・アーキテクチャからなる動的なレッドチーミング・フレームワークであるTridentを導入する。

1. Trident ベンチマークおよびデータセット

Tridentは、2つの高忠実度シミュレータ上で動作する：CygORG CAGE 4（協調的なマルチエージェント防御側を持つセグメント化された軍事ネットワークをモデリング）および CyberWheel（攻撃を現実世界のMITRE ATT&CKテクニックに接地）。

• インフラストラクチャ: 本フレームワークは、クライアント・サーバー・アーキテクチャを備えた、隔離されたコンテナ化されたサンドボックス・サーバを利用する。生成された攻撃ポリシーは、これらのサンドボックスに送信され、ライブのDRL防御側に対してネイティブに実行され、決定論的で検証可能な実行ログを返す。
• データセット: 著者らは、13,000件以上の高忠実度なレッド・ブルー相互作用の軌跡からなるデータセットを構築した。これらの軌跡は、部分的な観測、差分的なホスト・インテリジェンス、およびアクションの結果を捉えた構造化された自然言語ログへとシリアライズされており、RLVRポストトレーニングの基礎として機能する。

2. Trident エージェンティック・アーキテクチャ

Trident Agenticは、レッドエージェントの訓練問題を、「Code-as-Policies」パラダイムを用いたコンテキスト・バンディット問題へと再定式化する。このアーキテクチャは、3つの特化したモジュールで構成される：

• ログ・サマライザー (Log Summarizer): ルールベースのパースと凍結されたLLMを用いたハイブリッドモジュールであり、生の実行ログを圧縮する。成功したエクスプロイトや権限昇格などのクリティカルな「マイルストーン」イベントを保持しつつ、失敗した試行をサンプリングすることで、プランナーのための高密度な意味的要約を合成する。
• プランナー ($\pi_\theta$): 単一の訓練可能なコンポーネント（7BパラメータのLLM）。圧縮された要約をコンテキストとして受け取り、単一のフォワードパスで高レベルの攻撃戦略を生成し、構造化されたJSONペイロードを出力する。これは、サンドボックスの実行から得られる検証可能な報酬を用いて、**グループ相対方策最適化（GRPO）**を介して最適化される。
• コーダー (Coder): 凍結されたLLMであり、プランナーのJSON戦略を実行可能なPythonコードへと翻訳する。これは、抽象構文木（AST）ベースのパッチングメカニズムと、デプロイ前に構文エラーを修正するための反復的な自己修復ループ（最大 $K=3$ 回）を採用しており、プランナーが偶発的な実装ノイズによって罰せられないことを保証する。

3. 報酬設計

本システムは、実行ログから直接導出される、高密度で検証可能な報酬関数を利用する：

• ポジティブ・マイルストーン ($R^+$): キルチェーンの進展（例：システムへの影響、権限昇格）に対して重み付けされた報酬を、達成度とステップ数の比率に基づく効率係数によって増強する。
• ネガティブ・イベント ($R^-$): エクスプロイトの失敗、無効なアクション、および運用のノイズに対するペナルティ。
• 実行ペナルティ: 構文エラー、ランタイム失敗、またはシミュレータの内部状態（例：デコイ・フラグ）へのアクセス試行に対して厳格なペナルティが適用され、エージェントが特権的な状態アクセスではなく、行動推論に依存することを保証する。

主な貢献

1. Trident 評価ベンチマークおよびデータセット: CAGE 4とCyberWheelの両方にまたがる、初のクロス環境レッドチーミング・ベンチマークであり、RLVRトレーニングをサポートするために特別に設計された13,000件以上の軌跡を含む、検証可能な報酬のための隔離されたサンドボックス実行を提供する。
2. Trident Agentic: 「Code-as-Policies」を活用して、実行可能な攻撃戦略の直接生成を可能にする、三部構成のエージェンティックLLMアーキテクチャ。戦略生成をコンテキスト・バンディットとして扱うことで、ステップバイステップのPOMDPプランニングの計算上の困難さを回避する。
3. DRLの脆弱性の実証的証拠: 本フレームワークは、現在の自律的防御側が、静的な評価で示されていたよりも大幅に脆弱であることを示している。

実験結果

著者らは、CAGE 4およびCyberWheelの両方において、最新のDRLブルーエージェント（GNN、HMARL、およびMARLのバリアントを含む）に対してTrident Agenticを評価した。

• パフォーマンスの低下: Trident Agenticは、デフォルトのヒューリスティック・ベースラインと比較して、ブルーエージェントの防御性能を平均で**522%**低下させた。
• ベースラインとの比較:
  • 静的ヒューリスティック: 従来のレッドエージェントは、学習されたポリシーの弱点を明らかにすることに失敗した。
  • Zero-Shot/CoT: ゼロショット・プロンプティングおよびChain-of-Thought（CoT）のアプローチは、静的ベースラインよりは改善が見られたものの、RLVRで訓練されたTrident Agenticには大幅に及ばなかった。
  • フロンティアモデル: RLVRを通じて訓練された7Bパラメータのモデル（Trident Agentic）は、ゼロショット容量で使用されたフロンティア規模のモデル（例：GPT-4o）の性能を上回り、生のモデル規模単独よりもタスク固有のRLVR訓練の有効性を強調した。
• 創発的行動: 訓練されたエージェントは、静的ヒューリスティックでは表現できなかった新しい攻撃ベクトルを自律的に発見した：
  • デコイ回避: CyberWheelにおいて、エージェントは失敗が繰り返されるホストに対する攻撃を中止することを学習し、効果的にハニーポットを特定し回避した。
  • 適応的な状態優先順位付け: CAGE 4において、エージェントは基本的な偵察よりも高価値のターゲット（例：Root/Userアクセス）を優先することを学習し、ネットワークの状態に基づいて動的に焦点をシフトさせた。

意義および主張

本論文は、Tridentが自律的サイバー防御における根本的な評価のギャップを露呈していると主張している。すなわち、現在の慣行は、適応的な、生成的な攻撃者に対するDRL防御側の脆弱性を決定的に過小評価している。コンパクトなオープンウェイトの7B LLMが、最新の防御を体系的に解体できることを示すことで、著者らは、分野が静的な敵対者評価を超えて移行しなければならないと論じている。

Tridentは、単なる攻撃ツールではなく、サイバー攻撃と防御の「共進化」のための必要なインフラストラクチャとして提示されている。そのシミュレータに依存しないRESTfulなサンドボックス設計により、より高忠実度な環境の統合が可能となり、生成的な適応的脅威に対して堅牢なブルーエージェントの訓練を可能にする。著者らは、このような攻撃戦略が敵対者によって独立して展開される前に、同等の適応的な、RL駆動型の防御システムの開発を促進するために、これらの能力に関する透明性が不可欠であることを強調している。