⚡ electrical engineering

Learning Red Agent Policy from Observations for Neurosymbolic Autonomous Cyber Agents

本文提出了一种模仿学习技术，旨在使神经符号自主网络防御智能体能够从网络观测数据中预测不可观测的红队智能体策略与行为，从而增强其在部分可观测环境下应对复杂网络攻击的能力。

原作者： Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一场在迷雾缭绕的房间里进行的激烈国际象棋比赛。你是防御者（“蓝色特工”），试图保护你的城堡。你的对手是攻击者（“红色特工”），试图破门而入。

问题在于？你看不见你的对手。你只能看到他们行动的结果：一扇门突然开了，灯光闪烁了一下，或者一件家具被移动了。你知道你自己的动作，但你必须根据房间的变化来猜测你的隐形对手刚刚做了什么。

这篇论文描述了一种新的方法，让防御者能够“读取”数字网络中攻击者的思想，即使攻击者处于隐藏状态。

背景设定：数字城堡

研究人员使用了一个名为 CybORG 的模拟网络。把这个网络想象成一座城堡，分为三个区域：

前庭（用户子网）： 普通人工作的地方。
办公室（企业子网）： 重要服务器和数据存放的地方。
保险库（运营子网）： 最关键、最敏感的机械设备所在地。

攻击者试图从前庭出发，穿过办公室，最后进入保险库造成破坏。防御者则试图阻止他们。

问题：“黑盒”迷雾

在这场游戏中，防御者是“部分可观测的”。这是一个高级说法，意思就是：“我看不见攻击者。”

防御者看到了网络的状态（例如：“服务器 A 现在已被攻陷”）。
防御者知道自己做了什么（例如：“我扫描了网络”）。
但防御者不知道是什么导致了这种变化的攻击者行为。他们是进行了扫描？破解了密码？还是安装了病毒？

由于不知道攻击者的具体动作，很难预测他们的下一步，也很难理解他们已经渗透到了系统的多深程度。

解决方案：一个“福尔摩斯”AI

作者提出了一种使用类似于**模仿学习（Imitation Learning）的方法进行策略学习（Policy Learning）**的技术。

这里有一个类比：想象你在观察一位魔术师表演魔术。你看到魔术师的手在移动（防御者的动作），然后看到兔子出现了（网络状态的变化）。你并没有看到魔术师为了从帽子里变出兔子而做的那个秘密动作。

研究人员构建了一个像侦探一样的 AI：

观察并学习： 他们让 AI 观看成千上万场攻击者与防御者对弈的游戏。尽管在游戏过程中 AI 看不到攻击者的具体动作，但在训练期间，它拥有一个“小抄”（地面真值/ground truth）来查看实际发生了什么。
寻找模式： AI 学习到一种模式：“当防御者扫描网络且服务器看起来突然发生变化时，攻击者一定做了 X。”
预测未来： 一旦训练完成，AI 就可以在实时游戏中进行观察。它看到防御者的动作以及随之而来的变化，然后说：“我敢打赌攻击者刚才做了 X。”

它是如何运作的：三个步骤的侦探过程

研究人员将此分解为三个阶段，就像侦探破案一样：

“发生了什么？”阶段（逆动力学/Inverse Dynamics）： AI 观察网络的“之前”和“之后”以及防御者的动作。它尝试猜测导致这种变化的“隐形”动作（攻击者的动作）。它会产生一个粗略的、抽象的猜测（即“潜动作/latent action”）。
“练习”阶段（策略学习/Policy Learning）： AI 通过自我训练来提高猜测的准确性。它尝试模仿在第一步中推断出的隐形动作。这就像是一个学生通过观察老师的足迹来练习舞蹈。
“翻译”阶段（映射/Mapping）： AI 的猜测仍然很模糊。这一步将模糊的猜测转化为具体的、现实世界的攻击名称（例如：“利用远程服务”）和特定的目标（例如：“服务器 3”）。

“神经符号”大脑

论文提到了神经符号 AI（Neurosymbolic AI）和行为树（Behavior Trees）。

神经符号意味着结合两种类型的思维方式：
- 神经（Neural）： 从数据中学习（就像人类通过经验学习）。
- 符号（Symbolic）： 遵循逻辑规则（就像计算机遵循严格的清单）。
行为树就像流程图或决策树。想象一名拿着剪贴板的安全警卫。警卫检查：“门开了吗？是的。有入侵者吗？是的。那么，拉响警报。”
研究人员将他们这种“读心术”AI 接入了这个流程图中。现在，警卫不仅仅是对门开着做出反应；警卫可以预测入侵者下一步可能会去保险库，并提前做好准备。

结果：效果如何？

研究人员在模拟的“CybORG”环境中，针对两类攻击者进行了测试：

“直线型”攻击者（B-Line Attacker）： 沿着直接、笔直的路径前往目标。（就像一个奔向保险库的窃贼）。
“徘徊型”攻击者（Meander Attacker）： 一个在各处游荡的攻击者，在移动之前会检查每个房间并尝试进入每台电脑。（就像一个在整个房子里四处窥探的窃贼）。

研究结果：

直接型攻击者： AI 的预测准确率极高（超过 99%）。因为他们的路径是可预测的，这个“侦探”AI 可以轻易猜出下一步。
徘徊型攻击者： AI 依然表现出色（对于大致区域的预测准确率约为 95%，尽管在精确到具体电脑方面稍逊一筹）。
切换策略型攻击者： 他们甚至测试了一个在途中变换策略的攻击者。AI 能够适应并继续进行预测，尽管在策略改变时需要一点时间来跟上节奏。

为什么这很重要

其核心意义在于，这个系统允许防御者看见不可见之物。通过预测攻击者正在做什么，防御者可以：

更早地检测到入侵。
了解攻击者已经渗透到了多深（例如：“他们拥有用户权限，但尚未获得管理员权限”）。
更有效地做出反应，因为他们不仅仅是在瞎猜，而是基于攻击者隐藏的“策略”做出有根据的预测。

简而言之，这篇论文展示了一种将迷雾重重的盲目防御游戏转变为清晰对决的方法，使防御者即使在看不见对手的情况下，也能预判对手的下一步行动。

技术摘要：通过观测学习红队智能体策略用于神经符号自主网络代理

问题陈述

现代自主网络防御系统日益依赖强化学习（RL）智能体来执行安全规则并适应不断变化的威胁。然而，这些环境本质上是部分可观测的。具体而言，防御者（蓝队智能体）无法直接观测到攻击者（红队智能体）的动作或策略。防御者仅能感知到部分的系统状态转换和攻击的间接结果。这种可见性的缺失阻碍了重建真实系统动力学、预测攻击者移动或有效评估入侵程度的能力。

虽然模仿学习已被应用于经典控制和视频领域的潜在策略推断，但现有方法并不直接适用于自主网络。这是因为网络状态通常是离散的（主机/服务器活动的快照），且状态转换取决于红队和蓝队智能体的联合动作。因此，迫切需要一种技术，能够在运行时仅利用蓝队观测和蓝队动作来学习红队策略并预测红队动作。

方法论

作者提出了一种基于模仿学习的策略学习技术，旨在从连续的蓝队观测（ $o^b_{t-1}, o^b_t$ ）和前一时刻的蓝队动作（ $b_{t-1}$ ）中推断红队策略（ $\pi'$ ）并预测红队动作（ $r_{t-1}$ ）。该方法分为三个阶段，并集成到一个神经符号框架中。

1. 问题建模

网络被建模为一个离散时间的部分可观测马尔可夫决策过程（POMDT）。目标是在已知蓝队策略 $\pi$ 的情况下学习红队策略 $\pi'$ 。输入包括：

$t-1$ 时刻和 $t$ 时刻的蓝队观测。
$t-1$ 时刻执行的蓝队动作。
目标是预测 $t-1$ 时刻执行的红队动作。

2. 三阶段学习技术

该技术采用了一个使用深度神经网络（DNN）的多阶段动力学模型：

第一阶段：数据生成
- 系统与环境交互以收集转换过程 $(o^b_{t-1}, b_{t-1} \to o^b_t)$ 。
- 生成用于训练的数据集 $D$ 。
- 通过从系统中提取地面真值（ground-truth）红队动作（在实际运行时是不可观测的）并将其预处理为组件（动作名称、目标主机和子网）来生成标记数据集 $D_R$ 。
第二阶段：策略学习（潜在动作推断）
- 编码： 对蓝队动作和目标进行独热编码（one-hot encoding）。
- 潜在动作学习： 联合训练两个模型：
  1. 逆向动力学模型（IDM1）： 根据观测和蓝队动作估计潜在红队动作（ $l_{t-1}$ ）。
  2. 正向动力学模型（FDM1）： 给定前一状态、蓝队动作和推断出的潜在动作，预测当前观测（ $\tilde{o}^b_t$ ）。
  - 这些模型通过最小化观测误差 $|\tilde{o}^b_t - o^b_t|$ 进行训练，从而迫使潜在动作捕捉缺失的红队动力学特征。
- 策略模仿： 训练第二个逆向动力学模型（IDM2）来模仿由 IDM1 学习到的潜在动作，从而有效地学习策略 $\pi'$ 。
- 映射到离散动作： 一个正向动力学模型（FDM2）将连续的潜在动作映射回离散的红队动作组件（动作名称、主机、子网）。这些输出通过阈值处理产生最终预测红队动作 $\hat{r}_{t-1}$ 的二进制独热编码。
第三阶段：与神经符号智能体集成
该学习策略被集成到**演化行为树（EBT）**中，这是一种结合了行为树（BTs）与学习增强组件（LECs）的神经符号架构。
向 EBT 中添加新的行为以执行运行时预测。
一个条件节点确保在进行预测前已具备足够的观测历史。
EBT 根据活跃的蓝队策略（例如，区分“Meander”和“B line”攻击者策略）选择相应的学习到的红队策略。
如果不存在对应策略，系统将记录转换过程以供离线分析。

核心贡献

本文概述了三项主要贡献：

策略学习技术： 一种新颖的方法，用于在具有离散状态和动作的部分可观测 RL 环境中学习红队策略并预测红队动作，且仅需蓝队观测和动作。
神经符号集成： 将该技术成功集成到基于行为树的自主网络防御智能体中，实现了对对抗性移动的运行时预测。
实证评估： 使用 CybORG CAGE Challenge 2 环境进行了全面评估，该环境利用了 MITRE ATT&CK 战术。该方法在多种策略（包括动态策略切换）下均表现出高准确度。

实验结果

作者在 CybORG CAGE Challenge 2 环境中使用两种静态攻击者策略（Meander 和 B line）以及一种动态切换策略（RedSwitch）对该技术进行了评估。

预测准确度：
- B line： 由于其确定性和目标导向的特性，实现了最高的准确度（蓝队观测预测为 99.93%，主机级红队动作预测为 95.28%）。
- Meander： 准确度较低（观测预测为 94.96%，主机级预测为 77.71%），归因于其行为具有更高的变异性。
- RedSwitch： 性能随活跃策略的变化而变化；当智能体切换到 B line 策略时，准确度有所提升。
- 子网 vs 主机： 在所有策略中，子网级的预测准确度始终高于主机级，这归因于目标主机选择中的固有随机性。
入侵等级估计：
- 预测的动作被用于根据破坏程度（无、用户级、特权级）计算入侵分数。
- 结果表明，蓝队 EBT 智能体在应对 Meander 策略时比 B line 和 RedSwitch 策略更为有效，表现为达到特权级破坏（Privilege-Level Compromise）的步数更少。

重要性与主张

本文声称其提出的技术有效地解决了自主网络防御中的部分可观测性挑战。通过在运行时推断红队策略，该系统能够实现：

早期检测对抗性移动，防止深度的网络破坏。
评估攻击者的入侵等级随时间的变化。
优化缓解策略，通过识别由预测的红队动作所暴露的网络弱点。

作者指出，虽然目前的评估是基于源自 MITRE ATT&CK 的模拟环境（CybORG CAGE Challenge 2），但该技术可以推广到任何具有离散状态和动作的部分可观测 RL 智能体。未来的工作方向包括在真实的仿真环境中验证该方法，并利用预测的红队动作来训练更强大的蓝队智能体。这项工作被视为迈向更具适应性和可解释性的自主防御系统的一步。