⚡ electrical engineering

Learning Red Agent Policy from Observations for Neurosymbolic Autonomous Cyber Agents

本論文は、ニューロシンボリック自律型サイバー防御エージェントが、ネットワーク観測から観測不可能なレッドエージェントのポリシーおよびアクションを予測することを可能にする模倣学習手法を提案し、それによって部分観測環境における高度なサイバー攻撃への適応能力を向上させるものである。

原著者： Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

霧がかった部屋で行われる、ハイステークスなチェスのゲームを想像してください。あなたは防御側（「ブルー・エージェント」）であり、自分の城を守ろうとしています。あなたの敵は攻撃側（「レッド・エージェント」）であり、侵入を試みています。

問題は？あなたの相手が見えないことです。あなたに見えるのは、相手の動きの結果だけです。ドアが突然開いた、明かりが点滅した、あるいは家具が動かされた、といったことです。あなた自身の動きは分かっていますが、部屋の変化に基づいて、見えない相手が直前に何をしたのかを推測しなければなりません。

この論文は、デジタルネットワークにおいて、攻撃者が隠れている場合でも、防御者がその「心を読み取る」ための新しい方法について記述しています。

設定：デジタルの城

研究者たちは、CybORGと呼ばれるシミュレートされたネットワークを使用しました。このネットワークを、3つのエリアを持つ城と考えてください：

中庭（ユーザー・サブネット）： 一般の人々が作業する場所。
オフィス（エンタープライズ・サブネット）： 重要なサーバーやデータが存在する場所。
金庫（オペレーショナル・サブネット）： 最も重要で機密性の高い機械がある場所。

攻撃者は中庭からオフィスへと潜り込み、最終的に金庫に到達して損害を与えることを目指します。防御者はそれを阻止しようとします。

問題：「ブラックボックス」の霧

このゲームにおいて、防御側は「部分観測可能（partially observable）」です。これは、もっと専門的な言い方をすると、**「攻撃者の姿が見えない」**ということを意味します。

防御者はネットワークの状態を見ることができます（例：「サーバーAが侵害された」）。
防御者は自分が何をしたかを知っています（例：「ネットワークをスキャンした」）。
しかし、防御者は、その変化を引き起こすために攻撃者が具体的に何をしたのか（例：スキャンしたのか？パスワードをハッキングしたのか？ウイルスをインストールしたのか？）を知りません。

攻撃者の具体的な動きを知らなければ、彼らの次のステップを予測したり、システムにどの程度深く侵入しているのかを理解したりすることは困難です。

解決策：「シャーロック・ホームズ」AI

著者らは、**模倣学習（Imitation Learning）に似た手法を用いたポリシー学習（Policy Learning）**という技術を提案しています。

ここで比喩を用います。あなたが手品師のパフォーマンスを見ていると想像してください。あなたは手品師の手の動き（防御側の行動）と、ウサギが現れたこと（ネットワークの状態変化）を見ています。しかし、帽子からウサギを取り出すために行われた「秘密の動き」は見えていません。

研究者たちは、探偵のように振る舞うAIを構築しました：

見て学ぶ（Watch and Learn）： 彼らは、攻撃者と防御者が対戦する何千ものゲームをAIに見せました。たとえゲーム中にAIが攻撃者の動きを直接「見て」いなくても、トレーニング中には、実際に何が起きたかを示す「カンニングペーパー（グラウンド・トゥルース）」が存在します。
パターンを見つける（Find the Pattern）： AIはパターンを学習します。「防御側がネットワークをスキャンし、その結果サーバーの状態が突然変わった場合、攻撃者は必ずXを行ったはずだ」といった具合です。
未来を予測する（Predict the Future）： 一度トレーニングされると、AIは新しいゲームをリアルタイムで観察できます。AIは防御側の動きとその結果としての変化を見て、「攻撃者は今、Xを行ったに違いない」と判断します。

どのように機能するか：3段階の探偵プロセス

研究者たちは、これを事件を解決する探偵のように、3つのステージに分解しています。

「何が起きたのか？」フェーズ（逆ダイナミクス / Inverse Dynamics）： AIはネットワークの「前」と「後」、そして防御側の動きを観察します。そして、その変化を引き起こした「目に見えない」攻撃者の動きを推測しようとします。これにより、抽象的で大まかな推測（「潜在的なアクション（latent action）」）を作成します。
「練習」フェーズ（ポリシー学習 / Policy Learning）： AIは、ステップ1で導き出した目に見えない動きをより正確に推測できるように、自らを訓練します。これは、先生の足跡を観察しながらダンスの練習をする生徒のようなものです。
「翻訳」フェーズ（マッピング / Mapping）： AIの推測はまだ漠然としています。このステップでは、その漠然とした推測を、具体的な現実世界の攻撃名（例：「リモートサービスの脆弱性利用」）と特定のターゲット（例：「サーバー3」）へと翻訳します。

「ニューロシンボリック」な脳

論文では、**ニューロシンボリックAI（Neurosymbolic AI）とビヘイビア・ツリー（Behavior Trees）**について言及しています。

ニューロシンボリックとは、2種類の思考プロセスを組み合わせることを意味します：
- ニューラル（神経的）： データから学習すること（人間が経験から学ぶようなもの）。
- シンボリック（記号的）： 論理的なルールに従うこと（コンピュータが厳格なチェックリストに従うようなもの）。
ビヘイビア・ツリーは、フローチャートや決定樹のようなものです。警備員がクリップボードを持っている場面を想像してください。警備員は次のようにチェックします。「ドアは開いているか？はい。侵入者はいるか？はい。ならば、アラームを鳴らせ。」
研究者たちは、この新しい「心を読む」AIをこのフローチャートに組み込みました。これにより、警備員は単に「ドアが開いている」ことに反応するだけでなく、「侵入者は次に金庫へ向かう可能性が高い」と予測し、準備を整えることができるようになりました。

結果：どれほどの精度だったか？

研究者たちは、シミュレーション環境である「CybORG」を用いて、2種類の攻撃者に対してテストを行いました。

Bライン（直線型）攻撃者： 目標に向かって一直線に進む直接的な経路を取る者。（例：金庫へ直行する泥棒）。
ミーアンダー（徘徊型）攻撃者： 目標へ進む前に、あらゆる部屋を調べ、あらゆるコンピュータに侵入を試みる、さまよう攻撃者。（例：家中のあらゆるところを物色する泥棒）。

調査結果：

直接的な攻撃者に対して： AIは、直接的な攻撃者の動きを驚異的な精度（99%以上）で予測できました。彼らの経路は予測可能であるため、「探偵」AIは次のステップを容易に推測できました。
徘徊する攻撃者に対して： AIは依然として非常に優秀でした（一般的なエリアの特定については約95%の精度でしたが、特定のコンピュータの特定についてはやや精度が下がりました）。
戦略を切り替える攻撃者に対して： 彼らは、途中で戦略を切り替える攻撃者についてもテストを行いました。AIは適応し、予測を継続することができましたが、戦略が変わった際に追いつくまでに少し時間を要しました。

なぜこれが重要なのか

この研究の主な要点は、このシステムによって防御者が「目に見えないものを見る」ことが可能になるという点です。攻撃者が「今まさに」何をしているかを予測することで、防御者は以下のことが可能になります：

侵入をより早期に検知する。
攻撃者がどの程度深く侵入しているかを理解する（例：「ユーザー権限は取得しているが、管理者権限まではまだ取得していない」）。
単なる推測ではなく、攻撃者の隠れた「ポリシー」に基づいた高度な予測を行うことで、より効果的に対処する。

要約すると、この論文は、霧に包まれた盲目の防御ゲームを、防御者が相手の姿を見ずとも、相手の次の動きを先読みできる、より明確な試合へと変える方法を提示しています。

技術要約：観測に基づくレッドエージェント・ポリシーの学習：ニューロシンボリック自律型サイバーエージェントに向けて

問題提起

現代の自律型サイバー防御システムは、セキュリティルールの適用や進化する脅威への適応のために、強化学習（RL）エージェントにますます依存しています。しかし、これらの環境は本質的に**部分観測（partially observable）**です。具体的には、防御者（ブルーエージェント）は、攻撃者（レッドエージェント）の行動やポリシーを直接観測することができません。防御者は、部分的な状態遷移と攻撃の間接的な結果のみを感知します。この可視性の欠如は、真のシステムダイナミクスの再構築、攻撃者の動きの予測、または侵入レベルの有効な評価を妨げます。

模倣学習は、古典的な制御やビデオドメインにおける潜在的なポリシーの推論に適用されてきましたが、既存の手法は自律型ネットワークに直接適用することはできません。これは、ネットワーク状態が通常離散的（ホストやサーバのアクティビティのスナップショット）であり、状態遷移がレッドエージェントとブルーエージェントの両方の共同アクションに依存するためです。したがって、ブルーの観測とブルーのアクションのみを用いて、レッドエージェントのポリシーを学習し、実行時にレッドのアクションを予測できる技術に対する切実なニーズが存在します。

手法

著者らは、連続するブルーの観測（ $o^b_{t-1}, o^b_t$ ）と直前のブルーのアクション（ $b_{t-1}$ ）から、レッドエージェントのポリシー（ $\pi'$ ）を推論し、レッドのアクション（ $r_{t-1}$ ）を予測するように設計された、模倣学習に基づくポリシー学習技術を提案しています。このアプローチは3つのフェーズで構成され、ニューロシンボリック・フレームワークと統合されています。

1. 問題の定式化

ネットワークは、離散時間**部分観測マルコフ決定過程（POMDP）**としてモデル化されます。目的は、既知のブルーのポリシー $\pi$ が与えられた条件下で、レッドのポリシー $\pi'$ を学習することです。入力は以下で構成されます：

$t-1$ および $t$ におけるブルーの観測。
$t-1$ で実行されたブルーのアクション。
目標は、 $t-1$ で実行されたレッドのアクションを予測することです。

2. 3フェーズ学習技術

この技術は、ディープニューラルネットワーク（DNN）を用いた多段階のダイナミクスモデルを採用しています：

フェーズ I: データ生成
- システムは環境と相互作用し、遷移 $(o^b_{t-1}, b_{t-1} \to o^b_t)$ を収集します。
- 学習用のデータセット $D$ が生成されます。
- システムから正解となるレッドのアクション（ $r_{t-1}$ ）（実際の実行時には観測不可能）を抽出し、アクション名、ターゲットホスト、サブネットのコンポーネントに前処理することで、ラベル付きデータセット $D_R$ が生成されます。
フェーズ II: ポリシー学習（潜在アクションの推論）
- エンコーディング: ブルーのアクションとターゲットはワンホットエンコーディングされます。
- 潜在アクション学習: 以下の2つのモデルが共同で訓練されます：
  1. 逆ダイナミクスモデル (IDM1): 観測とブルーのアクションから、潜在的なレッドのアクション（ $l_{t-1}$ ）を推定します。
  2. 順ダイナミクスモデル (FDM1): 前の状態、ブルーのアクション、および推論された潜在アクションから、現在の観測（ $\tilde{o}^b_t$ ）を予測します。
  - これらは観測誤差 $|\tilde{o}^b_t - o^b_t|$ を最小化するように訓練され、潜在アクションが欠落しているレッドのダイナミクスを捉えるように強制します。
- ポリシー模倣: 第2の逆ダイナミクスモデル（IDM2）が、IDM1によって学習された潜在アクションを模倣するように訓練され、効果的にポリシー $\pi'$ を学習します。
- 離散アクションへのマッピング: 順ダイナミクスモデル（FDM2）が、連続的な潜在アクションを離散的なレッドのアクションコンポーネント（アクション名、ホスト、サブネット）にマッピングします。これらの出力は、最終的な予測レッドアクション $\hat{r}_{t-1}$ のためのバイナリ・ワンホットエンコーディングを生成するために閾値処理されます。

3. ニューロシンボリックエージェントへの統合

学習されたポリシーは、行動ツリー（BT）と学習可能コンポーネント（LEC）を組み合わせたニューロシンボリック・アーキテクチャである**進化型行動ツリー（Evolving Behavior Tree: EBT）**に統合されます。

実行時の予測を行うために、新しい挙動がEBTに追加されます。
条件ノードは、予測を行う前に十分な観測履歴が存在することを保証します。
EBTは、アクティブなブルーの戦略（例：「Meander」と「B line」のアタッカー戦略の区別）に基づいて、適切な学習済みレッドポリシーを選択します。
ポリシーが存在しない場合、システムはオフライン分析のために遷移をログに記録します。

主な貢献

本論文は、主に3つの貢献を述べています：

ポリシー学習技術: ブルーの観測とアクションのみを使用して、離散的な状態とアクションを持つ部分観測RL環境において、レッドエージェントのポリシーを学習し、レッドのアクションを予測する新しい手法。
ニューロシンボリック統合: この技術を行動ツリーベースの自律型サイバー防御エージェントに統合することに成功し、敵対的な動きの実行時予測を可能にしたこと。
実証的評価: MITRE ATT&CKタクティクスを利用したCybORG CAGE Challenge 2環境を用いた包括的な評価。このアプローチは、動的な戦略切り替えを含む多様な戦略に対して高い精度を示しています。

実験結果

著者らは、2つの静的なアタッカー戦略（MeanderおよびB line）と、1つの動的な切り替え戦略（RedSwitch）を用いて、CybORG CAGE Challenge 2環境でこの技術を評価しました。

予測精度:
- B line: その決定論的かつ目標指向の性質により、最も高い精度（ブルーの観測予測で99.93%、ホストレベルのレッドアクション予測で95.28%）を達成しました。
- Meander: 行動の変動性が高いため、より低い精度（観測で94.96%、ホストレベルで77.71%）を示しました。
- RedSwitch: アクティブな戦略に応じてパフォーマンスが変動し、エージェントがB line戦略に切り替わった際に精度が向上しました。
- サブネット vs ホスト: サブネットレベルの予測精度は、ターゲットホスト選択の固有のランダム性に起因して、すべての戦略において一貫してホストレベルの精度を上回りました。
侵入レベルの推定:
- 予測されたアクションは、侵害レベル（なし、ユーザーレベル、特権レベル）に基づく侵入スコアの計算に使用されました。
- 結果は、ブルーのEBTエージェントが、B lineおよびRedSwitchと比較して、Meander戦略下で攻撃の緩和において著しく効果的であったことを示しており、これは特権レベルの侵害に至るタイムステップが少なかったことによって裏付けられています。

重要性と主張

本論文は、提案された技術が、自律型サイバー防御における部分観測の課題を効果的に解決できると主張しています。レッドのポリシーを実行時に推論することで、システムは以下を可能にします：

深いネットワーク侵害が発生する前の、敵対的な動きの早期検知。
アタッカーの侵入レベルの推定。
予測されたレッドのアクションによって露呈したネットワークの弱点を特定することによる、緩和戦略の洗練。

著者らは、現在の評価はMITRE ATT&CKから派生したシミュレーション環境（CybORG CAGE Challenge 2）に基づいているものの、この技術は、離散的な状態とアクションを持つあらゆる部分観測RLエージェントに汎用可能であると述べています。今後の課題として、現実的なエミュレーション環境での検証、および予測されたレッドのアクションを活用して、より堅牢なブルーエージェントを訓練することが挙げられています。本研究は、より適応的で解釈可能な自律型防御システムへの一歩として提示されています。