Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

这是一份关于论文《Network- and Device-Level Cyber Deception for Contested Environments Using RL and LLMs》（利用强化学习和大型语言模型在对抗环境中进行网络和设备级网络欺骗）的详细技术总结。

1. 研究背景与问题陈述 (Problem)

核心挑战：

• 攻防不对称性： 攻击者可以花费数天甚至数周进行侦察和横向移动，而防御者必须在几分钟甚至几秒内做出反应。这种不对称性在运营技术（OT，如电网 SCADA 系统）环境中尤为致命，因为延迟响应可能导致物理系统破坏。
• 传统欺骗的局限性： 现有的网络欺骗技术（如蜜罐、IP 随机化）通常基于静态配置或简单的脚本，缺乏动态适应性。它们往往需要大量人工干预，且容易被熟练的攻击者通过时序分析、协议不一致性或行为指纹识别出来。
• OT 协议的特殊性： 工业控制协议（如 DNP3）具有严格的时间语义、状态一致性和命令验证逻辑。传统的马尔可夫决策过程（MDP）难以对高维、有状态的工业协议主机行为进行建模，而现有的大型语言模型（LLM）应用多集中在 IT 协议（SSH, HTTP），缺乏对 OT 协议时序和状态约束的考虑。

研究目标：
在部分被攻陷（攻击者已作为中间人 MITM 存在）的 OT 环境中，构建一个结合**强化学习（RL）和大型语言模型（LLM）**的自适应欺骗框架。该框架旨在动态重定向攻击流量至蜜罐，并利用 LLM 生成符合 DNP3 协议规范、时序逼真且状态一致的响应，从而增加攻击者的成本并延长其停留时间，同时保护真实基础设施。

2. 方法论 (Methodology)

论文提出了一种分层 RL-LLM 耦合架构，包含三个紧密耦合的层级：

A. 网络层：多智能体强化学习 (Network-Level MARL)

• 目标： 动态修改路由策略，将可疑流量从真实 RTU（远程终端单元）重定向到蜜罐 RTU。
• 模型： 将网络欺骗建模为马尔可夫决策过程（MDP）。
  • 状态空间 (S)： 路由器配置、丢包率、接口利用率、可疑流量指标等。
  • 动作空间 (A)： 改变路由器配置以重定向流量。
  • 改进： 从单智能体（Single-Agent）升级为多智能体强化学习 (MARL)。每个路由器作为一个独立智能体（基于 PettingZoo 框架），拥有局部观察和动作空间。这降低了动作空间的维度（从 MultiDiscrete 变为 Discrete），提高了收敛速度和可扩展性。
• 奖励函数设计： 设计了复合的“网络 - 物理”奖励函数，包含：
  • 网络奖励 ($R_c$)： 奖励流量进入蜜罐，惩罚流量到达真实 RTU，惩罚网络性能下降。
  • 物理奖励 ($R_p$)： 基于关键负载的恢复情况（如未恢复的关键负载数量）。
  • 耦合奖励： 只有当网络目标和物理目标同时达成或根据特定逻辑组合时，才给予最优奖励，防止智能体通过单一维度的优化（Reward Hacking）获得高分。

B. 主机层：协议感知 LLM 蜜罐 (Host-Level LLM Honeypot)

• 目标： 模拟真实的 DNP3 Outstation 行为，生成逼真的响应。
• 机制：
  • 利用 LLM（如 GPT-4）生成 DNP3 协议负载、系统日志和终端响应。
  • 约束与增强： 为了防止 LLM 产生幻觉或不符合协议的行为，采用了检索增强生成 (RAG) 和上下文注入技术。通过 personality.yml 文件定义 RTU 的行为特征、安全策略和访问控制，并动态更新。
  • 时序与状态一致性： 确保响应符合 DNP3 的时序约束（Jitter bounds）和状态转换逻辑。
• 评估指标： 使用困惑度 (Perplexity, $M_{perp}$) 来衡量 LLM 生成响应与真实 RTU 参考序列的相似度，并将其转化为欺骗概率 $P_{dec}$。

C. 双向耦合反馈机制 (Bidirectional Coupling)

• LLM $\to$ RL： LLM 生成的响应质量（$P_{dec}$）作为调节因子，动态调整 RL 智能体的网络奖励。如果蜜罐不够逼真（$P_{dec}$ 低），RL 智能体将受到惩罚，从而学会避免将流量导向低质量的蜜罐。
• RL $\to$ LLM： 网络重定向决策改变了流量分布和攻击行为模式，这些交互数据被用于更新 LLM 的知识库（RAG datastore），使其能生成更贴合当前攻击场景的响应。

3. 关键贡献 (Key Contributions)

1. 形式化的 RL 框架： 提出了单智能体和多智能体（MARL）的自适应网络欺骗框架，采用有界复合奖励设计，解决了传统方法中动作空间爆炸和收敛不稳定的问题。
2. 首个 DNP3 协议感知 LLM 蜜罐： 开发了针对 DNP3 Outstation 的 LLM 驱动蜜罐，不仅生成文本，还严格保留了 ICS 协议的时序特性和状态语义，填补了 OT 领域生成式 AI 欺骗的空白。
3. RL-LLM 协同架构： 实现了网络层（路由决策）与主机层（响应生成）的协调欺骗。RL 负责“何时/何地”重定向，LLM 负责“如何”维持逼真的交互，两者通过奖励机制形成闭环。
4. 计算开销与部署分析： 分析了实时 OT 环境下的计算开销，提出了训练阶段（联合优化）与部署阶段（仅推理、受控更新）的分离策略，以平衡性能与可行性。

4. 实验结果 (Results)

实验基于 IEEE 123 节点配电系统模型，在包含网络拥塞和物理系统动态的对抗环境中进行。

• RL 性能对比：
  • 多智能体 vs 单智能体： 多智能体（MARL）在收敛速度和稳定性上显著优于单智能体。在存在网络拥塞的情况下，MARL 的平均回合长度（Avg Epi Len）更短（约 5-6 步 vs 单智能体的 20+ 步），且奖励更高。
  • 算法表现： PPO 算法在复杂场景下表现优于 A2C，特别是在处理网络拥塞时，PPO 能更快达到目标（平均回合长度 5.0 vs 27.33）。
• LLM 欺骗效果：
  • 通过多次更新 personality.yml 文件，LLM 生成响应的困惑度（$M_{perp}$）从 5.07 降至 0.12，欺骗概率（$P_{dec}$）从 0.06 提升至 0.9。
  • 初始响应缺乏 RTU 特征，经过迭代优化后，能够生成符合 DNP3 结构且逼真的响应。
• 融合效果 (RL + LLM)：
  • 引入 LLM 辅助的欺骗策略后，RL 智能体达到目标的平均回合长度显著缩短（从纯物理模型训练的 59.25 降至 40.2）。
  • 奖励函数因 $P_{dec}$ 的调节而更早稳定，表明 RL 智能体学会了优先路由到高质量的欺骗节点。

5. 意义与未来展望 (Significance & Future Work)

意义：

• 提升 OT 防御能力： 该研究为解决 OT 环境中攻防不对称问题提供了新范式，通过动态、自适应的欺骗技术，有效增加了攻击者的侦察成本和风险。
• 技术融合创新： 首次将 LLM 的生成能力与 RL 的决策能力深度结合应用于工业协议（DNP3）欺骗，突破了传统静态蜜罐的局限。
• 实战价值： 能够延长攻击者在网络中的停留时间，为防御者收集攻击者情报（TTPs）提供宝贵窗口，同时保护真实物理设施免受破坏。

局限与未来工作：

• 状态映射优化： 目前将系统状态映射到 LLM 的 personality 文件仍依赖人工或半自动过程，未来需探索更优的在线微调（In-weight learning）或自动适应机制。
• 异构动作空间： 当前多智能体框架假设所有路由器动作空间一致，未来计划利用 RLlib 支持异构动作空间，以适应不同接口配置的路由器。
• 高保真仿真与 Sim-to-Real： 目前基于虚拟环境，未来计划利用 NREL 的 Cyber Range 和 Minimega/HELICS 进行高保真物理 - 网络联合仿真，并研究从仿真到真实环境的迁移学习（Sim-to-Real Transfer），以解决训练时间过长的问题。

总结：
该论文提出了一种创新的、分层的网络欺骗框架，利用强化学习优化网络流量重定向，利用大型语言模型生成高保真的工业协议响应。实验证明，这种协同机制能显著提高欺骗效率，缩短攻击者被诱导至蜜罐的时间，为关键基础设施（如电网）的主动防御提供了强有力的技术支撑。