💻 computer science

SA-DRL: Security-Aware Deep Reinforcement Learning for Ransomware Detection with Asymmetric Reward Design

本文提出了一种安全感知深度强化学习（SA-DRL）框架，该框架利用非对称奖励塑造和安全最优模型选择准则，与传统的对称检测方法相比，显著降低了勒索软件的漏报率。

原作者： Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是这座庞大数字城市的安保主管。你的职责是识别一种特定的罪犯：勒索软件（Ransomware）。这些是数字匪徒，它们会锁住你的文件并索要赎金。

问题在于，这些匪徒动作极快。它们可以在几秒钟内加密你的数据。如果你漏掉了它们（假阴性/漏报），城市会被封锁，造成的损失是永久且昂贵的。如果你误将一名无辜的公民标记为匪徒（假阳性/误报），你只是把他们关进临时拘留室进行快速检查。这虽然很烦人，但是可以修复的。

长期以来，计算机安全系统将这两类错误视为同样严重。这就像是在说：“让银行抢劫犯逍遥法外，与误捕一名面包师是一样严重的错误。”论文指出，用这种方式管理安全系统是非常糟糕的。

为了解决这个问题，Jannatul Ferdous 及其团队使用一种名为 SA-DRL（安全感知深度强化学习）的新方法进行了改进。

1. 旧方式：“等价惩罚”游戏

把传统的安全软件想象成一个正在参加考试的学生。如果他们答错了一道题，就会扣掉一分。至于错的是哪种题，并不重要。

缺陷： 在现实世界中，漏掉一次勒索软件攻击就像是挂掉了期末考试并失去了学位。而抓错一个无辜的文件，仅仅是作业中的一次小扣分。旧系统并不知道其中的区别，因此为了保持“小错误”较低，它们往往会让那些“大坏蛋”溜走。

2. 新方式：“安全第一”教练

作者们利用**深度强化学习（DRL）**创建了一种新的训练方法。想象一个电子游戏，其中的 AI 智能体（安全警卫）通过玩数百万轮游戏来学习。

奖励机制： 在这个游戏中，“教练”（奖励函数）会因为抓到坏人而给予分数，并因为犯错而扣除分数。
- 旧教练（对称式）： “你抓错一名面包师，扣 1 分。你放走一名匪徒，也扣 1 分。”
- 新教练（非对称式 - SA-DRL）： “你抓错一名面包师，扣 1 分。但如果你放走了一名匪徒，你要扣 4 分！”
  通过让漏掉勒索软件攻击的惩罚比误报重四倍，AI 学到了一个非常重要的教训：“宁可信其有，不可信其无。” 它开始变得稍微有些“疑神疑鬼”，从而抓住几乎所有的匪徒，即便这意味着要多检查一些无辜的面包师。

3. 训练场：“洗牌的牌堆”

为了确保 AI 不仅仅是记住了文件的顺序，研究人员使用了一个聪明的技巧。想象在发牌。

技巧： 每当 AI 开始一个新的训练阶段时，他们都会将文件牌堆完全重新洗牌。
结果： AI 无法简单地学习“文件 #1 是好的，文件 #2 是坏的”。它必须学习文件的行为特征。由于“坏”文件（勒索软件）每当被漏掉时都会遭到那沉重的 4 分惩罚，AI 就会学会格外关注那些棘手的个体。这就像是一个自动化的“高亮器”，无需手动标记就能识别出最危险的文件。

4. 竞赛：谁能胜出？

研究人员测试了四种不同类型的 AI “玩家”（算法），以观察谁能最好地掌握这种“安全第一”的教训：

DQN
DDQN (Double DQN)
PPO
A2C

他们还测试了不同的“折扣因子（discount factors）”。你可以将其理解为 AI 对“未来”与“当下”的重视程度。

高折扣： “我在考虑整个游戏的过程。”
低折扣： “我需要现在就做出正确的举动。”

获胜者： 使用低折扣（专注于即时行动）和非对称奖励（对漏掉匪徒施加重罚）的 DDQN 玩家成为了冠军。

5. 结果：巨大的进步

当他们把获胜的 AI 投入到针对旧方法的测试中时：

旧有的最佳水平： 漏掉了大约 2.47% 的勒索软件攻击。
新的 SA-DRL： 仅漏掉了 0.80% 的攻击。

这意味着漏报率降低了 67.6%。该 AI 能够更有效地识别真实的威胁。它在实现这一目标的同时，还能将误报（抓错面包师）的数量控制在极低水平，并且比其他复杂的模型训练得更快。

6. “安全最优”规则

最后，作者引入了一个用于挑选最佳模型的新规则，称为 SOMS。

旧规则： “选择总分最高的模型。”
新 SOMS 规则： “首先，选择漏掉匪徒最少的模型。然后，看分数。最后，看它的速度。”

这确保了所选的模型是为“安全优先”而构建的，而不仅仅是为了在电子表格上看起来表现出色。

总结

论文表明，通过改变我们对 AI 犯错的“支付方式”——即将漏掉勒索软件攻击的惩罚设定得比误报惩罚重得多——我们可以构建出更强大的数据保护系统。具备这种“安全感知”思维的 DDQN 模型是他们发现的最有效的工具，它能捕捉到比以往方法更多的勒索软件，同时保持高效和快速。

技术摘要：用于勒索软件检测的 SA-DRL

问题陈述
勒索软件对现代基础设施构成了严重威胁，2025 年全球恢复成本已达 153 万美元，且攻击每两秒就会发生一次。虽然机器学习（ML）和深度学习（DL）检测器已实现了极高的准确率（通常 >98%），但它们通常依赖于对称损失函数（例如二元交叉熵），将假阴性（FN）和假阳性（FP）视为成本相等。在实际运营中，这一假设是错误的：FN 会导致不可逆的数据加密和系统受损，而 FP 仅会导致可逆的隔离或人工审查。此外，现有的用于勒索软件检测的深度强化学习（DRL）应用主要利用静态特征（如 PE 文件头）或对称奖励结构，未能将运营成本的不对称性直接嵌入到学习目标中。

方法论
作者提出了 SA-DRL（安全感知深度强化学习），该框架通过行为运行时遥测技术，将勒索软件检测建模为一个有限时界马尔可夫决策过程（MDP）。

数据集与环境：
- 构建了一个包含 2,000 个 Windows 可执行样本（1,000 个勒索软件，涵盖 30 个家族；1,000 个良性样本）的平衡数据集。
- 样本在 ANY.RUN 沙箱（Windows 11）中执行，以提取 103 个行为特征（API 调用、注册表修改、文件操作、网络活动、CryptoAPI 使用情况）。
- 环境采用回合级随机排列（episode-level random permutation），在每个回合开始时打乱样本顺序，以消除固定顺序偏差，并诱导隐式的自适应样本加权效应。
奖励设计：
- 基准型 ( $R_1$ )： 对称奖励（正确预测为 +1，错误预测为 -1）。
- 安全感知型 ( $R_2$ )： 设计用于反映运营成本的非对称奖励函数。正确预测获得 +1；假阳性获得 -0.5；而假阴性则受到更重的惩罚，为 -2.0（成本比例为 4:1）。这种结构明确引导智能体优先最小化漏报。
智能体与训练：
- 评估了四种 DRL 智能体：DQN、DDQN、PPO 和 A2C。
- 实验涵盖了四种折扣因子 ( $\gamma \in \{0.1, 0.5, 0.9, 0.99\}$ )、两种奖励函数、五折分层交叉验证以及三个随机种子，总计 480 次受控训练运行。
- 同时训练了具有等效类别权重（class-weighting）的基准监督模型（MLP、CNN1D、逻辑回归）进行对比。
模型选择 (SOMS)：
- 研究引入了**安全最优模型选择（SOMS）**准则。不同于基于总体准确率的标准选择方式，SOMS 使用词典序优化：
  1. 最小化假阴性率 (FNR)。
  2. 最大化 F1 分数。
  3. 最小化训练时间。

核心贡献

非对称奖励集成： 首个将 FN–FP 成本不对称性直接嵌入行为勒索软件检测 DRL 奖励信号的框架，超越了事后阈值调整。
全面评估： 通过对四种 DRL 算法在多种奖励结构和超参数下的受控因子比较（480 次运行），提供了稳健的统计验证。
SOMS 准则： 一套正式的、安全优先的模型选择协议，优先考虑最小化漏报而非总体准确率。
隐式自适应加权： 利用回合级随机排列，通过非对称奖励驱动的时序差分更新自然地强调困难样本，而无需显式的逐样本权重计算。
统计验证： 使用 Friedman 和 Wilcoxon 符号秩检验来确认性能提升具有统计学意义，而非源于随机方差。

实验结果

最佳配置： 使用非对称奖励 ( $R_2$ ) 且折扣因子较低 ( $\gamma = 0.1$ ) 的 DDQN 智能体被 SOMS 选为最优配置。
性能指标： 该配置实现了 0.0080 (0.80%) 的 FNR、0.9915 的 F1 分数以及 0.998 的 AUC。
对比改进： 与表现最好的监督基准（FNR = 0.0247 的 MLP）相比，该 SA-DRL 配置减少了 67.6% 的漏报。
奖励影响： 在所有配置中，非对称奖励 ( $R_2$ ) 相较于对称基准 ( $R_1$ ) 使平均 FNR 降低了 43%，而假阳性率（FPR）的增加微乎其微（仅上升 0.20 个百分点）。
算法敏感性： 基于价值的方法（DDQN、DQN）表现出比策略梯度方法（PPO、A2C）更优的稳定性以及更低的 FNR，尤其是在高折扣因子下。研究发现，较低的折扣因子 ( $\gamma=0.1, 0.5$ ) 对于此类安全关键型分类任务更为有效。

意义与主张
本文声称 SA-DRL 代表了勒索软件检测领域的范式转移，因为它将学习目标直接与运营安全优先级对齐。作者断言：

奖励函数设计是实现安全敏感型决策的关键机制，而非仅仅是一个调优参数。
所提出的框架是第一个结合运行时行为特征、非对称奖励设计以及正式的安全优先选择准则（SOMS）并经过严格统计验证的框架。
结果表明，成本感知强化学习可以有效地最小化最具破坏性的错误类型（漏报勒索软件），同时保持极高的整体检测性能，从而为高风险环境提供比传统对称损失方法更稳健的解决方案。