技术摘要：用于隐私合规勒索软件检测的可审计机器学习遗忘技术：基于多分片 SISA 与深度强化学习

1. 问题陈述

勒索软件攻击正在迅速演变，利用混淆技术和多态变体，使得传统的基于特征码的检测方法失效。虽然基于行为的机器学习（ML）和深度学习（DL）检测器已展现出强大的预测能力，但它们通常是在固定训练数据的假设下运行的。这与现代隐私法规（如 GDPR 和 CCPA）所要求的“被遗忘权”产生了严重冲突。在网络安全语境下，组织可能需要从已部署的模型中移除特定的用户数据、错误标记的样本或对抗性痕迹。满足此类请求的传统方法涉及全量模型重训，这对于持续更新的系统而言，计算成本极高且不切实际。此外，现有的基于强化学习（RL）的检测系统尚未充分解决如何在移除特定训练样本的同时，保持策略稳定性并验证移除是否成功且不损害隐私的问题。

2. 方法论

作者提出了一个统一的框架，将双重深度 Q 网络（DDQN）与多分片 SISA（分片、隔离、切片与聚合）架构相结合，以实现用于勒索软件检测的可审计机器学习遗忘。

2.1. 数据集与环境

• 数据集： 构建了一个包含 2,000 个 Windows 11 样本（1,000 个勒索软件，1,000 个良性样本）的平衡行为数据集，涵盖 30 个不同的勒索软件家族。特征是从沙箱执行轨迹（ANY.RUN）中提取的 103 维行为向量，覆盖了文件系统、注册表、进程、API 和网络活动。
• 强化学习公式化： 将勒索软件检测建模为一个马尔可夫决策过程（MDP）。
  • 状态（State）： 103 维行为特征向量。
  • 动作（Action）： 二元分类（0：良性，1：勒索软件）。
  • 奖励函数（Reward Function）： 采用非对称奖励结构以反映安全成本：正确分类为 +1，漏报（漏掉勒索软件）为 -2，误报（假阳性）为 -0.5。这优先考虑了安全关键型结果。
  • 折扣因子（Discount Factor）： 设置为 $\gamma=0.1$，以强调即时分类准确性而非长期回报。

2.2. DDQN–SISA 框架

该框架分为四个阶段运行：

1. 分片（Sharding）： 使用分层分配将数据集划分为 $M$ 个互不重叠的分片（$M \in \{5, 10, 20\}$），以保持类别平衡。
2. 隔离训练（Isolated Training）： 每个分片上的独立 DDQN 智能体使用各自的经验回放池和目标网络进行训练。这使得任何训练样本的影响都被隔离在其特定的分片内。
3. 切片删除（Sliced Deletion/Unlearning）： 收到删除请求时，系统识别出包含待删除样本的受影响分片。仅对这些特定分片在剩余数据（$\mathcal{D}_r = \mathcal{D} \setminus \mathcal{D}_f$）上进行重训。未受影响的分片保持不变。
4. 聚合（Aggregation）： 最终预测通过所有分片模型的多数投票生成。集成 Q 裕度（Q-margin，即勒索软件与良性分类之间的 Q 值差异）被用于置信度评分和隐私审计。

2.3. 验证与审计协议

为确保框架符合合规性和安全标准，实施了三种评估机制：

• 预言机验证遗忘（Oracle-Verified Forgetting）： 使用一个“预言机”模型，该模型是在保留数据集（$\mathcal{D}_r$）上从头开始重训得到的。将遗忘后的模型预测结果与该预言机进行对比，以验证删除过程是否接近理想的全量重训效果。
• 成员推理攻击（MIA）审计： 使用集成 Q 裕度进行代理 MIA。目标是验证被遗忘的样本是否变得与从未观察过的数据不可区分（即 MIA 成功率降至随机猜测水平，$\approx 0.5$）。
• 计算效率： 系统测量重训时间、通信开销和内存使用情况，并将分片级重训与全量重训进行对比。

3. 核心贡献

本文声称有三项主要贡献：

1. DDQN–SISA 框架： 首次将基于价值的 RL 检测器与多分片 SISA 集成用于勒索软件检测，实现了通过选择性分片级重训来满足隐私指令，而无需重建整个模型。
2. 双机制验证： 一种结合了预言机验证遗忘（确认删除准确性）和成员推理审计（验证隐私泄露）的新型审计协议，专门针对 RL 安全系统进行了定制。
3. 系统化删除压力评估： 通过 270 种配置的全面实证研究，改变分片数量、删除比例（1%、5%、10%）以及重复删除轮数（1、5、10），以表征效用、隐私与效率之间的权衡。

4. 实验结果

该框架在 Windows 11 行为数据集上通过 5 折交叉验证进行了评估。

• 基准性能： 基准 DDQN 检测器实现了 0.9925 的 F1 分数和 0.9983 的 AUC，展示了与最先进方法相当的高检测准确率。
• 效用保持：
  • 单分片： 在所有删除场景下，遗忘导致的效用下降极小（$\Delta F1 < 0.003$）。
  • 多分片： 中等分片数（$M=5, 10$）在低到中度删除压力下保持了稳定性。然而，高粒度（$M=20$）结合激进删除（10% 持续 10 轮）会导致严重的失稳和效用崩溃（F1 降至接近 0），这归因于小分片中的数据饥饿现象。
• 预言机验证： 单分片重训与预言机模型之间的分歧较低。多分片配置在高删除压力下表现出较高的分歧，特别是对于 $M=10$ 和 $M=20$ 的情况，表明随着受影响分片数量的增加，局部重训的准确性会降低。
• 隐私（MIA）： 在大多数配置下，成员推理得分保持在接近 0.5（随机猜测）的水平，表明隐私泄露有限。即使在激进删除的情况下，可区分性的增加也十分微小。
• 效率：
  • 重训时间： 单分片遗忘大约耗时 5–6 秒。多分片遗忘耗时 20–30 秒（取决于受影响分片的数量）。
  • 对比： 这显著快于全量重训，后者需要 80–330 秒。
  • 通信开销： 保持在较低水平（单分片约 11 ms，多分片 53–55 ms）。

5. 重要性与主张

本文将其工作定位为高风险网络安全领域中解决“被遗忘权”问题的实用方案。

• 无需妥协的合规性： 该框架证明，组织可以通过移除特定的训练样本来实现 GDPR/CCPA 合规，而不会产生全量重训那样的极高计算成本。
• 可审计的安全： 通过集成预言机验证和 MIA 审计，该系统提供了可验证的保证，即被删除的数据不再影响模型且隐私得到了保护，填补了现有 RL 检测文献中的空白。
• 操作权衡： 研究适度地得出结论，虽然该框架非常有效，但存在稳定性-效率的权衡。研究建议将 中等分片数（$M=5–10$） 作为最佳运行区间，以平衡重训效率与策略稳定性。文中明确指出，极高的分片粒度（$M=20$）由于数据碎片化问题，不适合持续的删除压力。
• 创新性： 作者声称这是第一个将基于价值的 RL、分片局部遗忘以及双通道审计验证整合在单一评估流水线中的勒索软件检测框架。

论文承认了局限性，包括使用了规模适中的数据集（2,000 个样本）、依赖于基于 Q 裕度的 MIA 代理而非自适应攻击，以及缺乏在流式数据上的评估。建议未来的工作探索更大的数据集、更强的隐私攻击以及分布式部署场景。