💻 computer science

CITADEL: A Semi-Supervised Active Learning Framework for Malware Detection Under Continuous Distribution Drift

本文提出了 CITADEL 框架，通过结合针对恶意软件特征设计的半监督增强策略、监督对比损失及多标准主动学习机制，有效解决了 Android 恶意软件检测在持续分布漂移下的性能退化问题，并在大规模基准测试中实现了比现有方法更高的准确率与训练效率。

原作者： Md Ahsanul Haque, Md Mahmuduzzaman Kamol, Suresh Kumar Amalapuram, Vladik Kreinovich, Mohammad Saidur Rahman

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Ahsanul Haque, Md Mahmuduzzaman Kamol, Suresh Kumar Amalapuram, Vladik Kreinovich, Mohammad Saidur Rahman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 CITADEL（堡垒） 的新系统，它的任务是在 Android 手机世界里，用更少的专家精力，更聪明地识别不断变形的病毒。

为了让你轻松理解，我们可以把这件事想象成**“在一个不断变形的迷宫里抓小偷”**。

1. 背景：为什么现有的方法不管用了？

想象一下，你是一位保安队长（杀毒软件），你的任务是区分好人（正常 App）和小偷（恶意软件）。

老式方法（签名匹配）： 就像保安手里拿着一张“通缉令”，上面有小偷的照片。如果小偷穿了件新衣服（病毒变种），照片对不上，保安就放行了。这招太死板。
机器学习方法（现在的 AI）： 保安学会了看行为模式。比如“只要半夜偷偷发短信就是小偷”。
大麻烦（概念漂移）： 小偷很聪明，他们发现保安在看“半夜发短信”，于是改成了“白天发加密邮件”。保安的旧规则就失效了。而且，每个月都有30 万个新小偷出现，保安根本来不及一个个去问专家：“这个是不是小偷？”（专家标注太慢、太贵）。

现状是： 现有的 AI 系统虽然能学，但一旦时间跨度太长（比如过了几年），小偷的“伪装术”变化太大，AI 就彻底晕了，准确率暴跌。

2. CITADEL 的三大绝招

CITADEL 就像一个超级智能的保安队长，它有三个核心绝招来解决这个问题：

绝招一：给数据“化妆”（半监督学习 + 特殊增强）

问题： 我们有很多“没贴标签”的样本（不知道是好是坏），但专家只能给很少的样本贴标签。
CITADEL 的做法： 它不挑食。它利用那 90% 没标签的数据，自己先猜一个标签（伪标签），然后自我学习。
关键创新（化妆术）： 以前的 AI 是给图片做“旋转、变色”来增强数据，但这在病毒代码（二进制数据）上行不通。CITADEL 发明了一种**“二进制化妆术”**：
- 比特翻转（Bit Flip）： 随机把病毒代码里的几个"0"变成"1"，或者反过来。就像给小偷换个发型、戴个假发，但核心还是那个小偷。这让 AI 学会：“不管发型怎么变，只要核心行为像，就是小偷！”
- 特征掩码（Feature Mask）： 随机遮住代码里的几个特征。就像把小偷脸上的痣遮住，让 AI 学会：“即使少看几个特征，也能认出他。”
- 效果： 这让 AI 变得“皮实”，不怕小偷换装。

绝招二：只抓“最可疑”的（多标准主动学习）

问题： 专家时间宝贵，不能把 30 万个样本都拿去问专家。问谁最有效？
CITADEL 的做法： 它不随机问，而是用三把尺子去量，找出最该问的那几个：
1. 犹豫不决尺（边界样本）： AI 自己都很纠结，觉得“这像好人又像坏人”的样本。
2. 距离尺（Lp-范数）： 这个样本长得跟以前见过的所有样本都太不一样了（可能是个新变种）。
3. 信心尺（低置信度）： AI 敢肯定地说“我不确定这是啥”的样本。
效果： 把这三个指标加起来，CITADEL 能精准地挑出那些最能帮助它进步的样本去问专家。这就好比保安只把那些“长得最像坏人但又有点奇怪”的人抓起来问，效率极高。

绝招三：把好人坏人分得更开（对比损失）

问题： 有时候，好人和坏人在 AI 眼里长得太像了，挤在一起分不清。
CITADEL 的做法： 它强迫 AI 在脑子里把“好人”和“坏人”的距离拉大。就像在操场上，让所有好人站左边，所有坏人站右边，中间留出一条宽阔的马路，谁也别想混过去。

3. 战绩如何？（用数据说话）

CITADEL 在四个真实的、跨度长达 10 多年的病毒数据库上进行了测试：

更准： 在最难测的 LAMDA 数据库上，以前的系统（Chen-AL）准确率只有 43%，而 CITADEL 达到了 77.7%，提升了 14% 以上！
更省： 它只需要专家标注 40% 的数据，就能达到别人用 100% 数据都达不到的效果。
更快： 它的训练速度比以前的方法快了 24 倍，计算量减少了 13 倍。这意味着它能在几秒钟内完成别人需要几小时的工作，能更快地应对新病毒。

4. 总结：CITADEL 是什么？

CITADEL 就是一个“会自我进化”的杀毒系统。

它不像以前的系统那样死板地等待专家指令，而是：

自己练： 通过给病毒数据“化妆”，让自己适应千变万化的新病毒。
会提问： 聪明地只问专家最关键的几个问题，不浪费人力。
分得清： 强行把好人坏人区分开，不让它们混淆。

一句话总结： 面对狡猾多变、数量庞大的 Android 病毒，CITADEL 用更少的钱、更快的速度、更聪明的策略，筑起了一道更坚固的“数字堡垒”。

CITADEL：面向持续分布漂移的半监督主动学习恶意软件检测框架技术总结

1. 研究背景与问题定义 (Problem)

核心挑战：概念漂移 (Concept Drift)
Android 恶意软件检测系统面临的主要挑战是概念漂移，即恶意软件（Malware）和良性应用（Benign）的统计特性随时间发生演变。

性能退化： 传统的基于机器学习的检测器在长期运行中，由于恶意软件家族行为模式的变化（如停止使用某些 API 或权限，转而使用加密通信等），导致检测性能严重下降。
现有方法的局限性：
- 全监督依赖： 现有的主动学习（Active Learning, AL）方法（如 Chen-AL）虽然引入了不确定性采样，但仍依赖全监督学习，假设可以持续获得高质量标签。
- 扩展性差： 每月新增约 30 万个 Android 恶意样本，专家人工标注速度（约 80 个/天）远跟不上样本增长速度，导致大量数据未被利用。
- 长周期评估失效： 现有方法在短期基准上表现尚可，但在长达 12 年的真实世界基准（如 LAMDA 数据集）上，性能会急剧下降（F1 分数从 92% 跌至 30% 左右）。
- 半监督学习的适配性差： 现有的半监督学习（SSL）方法（如 FixMatch）主要针对计算机视觉设计，依赖旋转、色彩抖动等语义保持的增强，直接应用于高维二进制恶意软件特征（如 API 调用、权限向量）时效果不佳。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 CITADEL，一个专为 Android 恶意软件检测设计的半监督主动学习 (SSAL) 框架。其核心架构包含三个关键创新：

2.1 领域特定的特征增强 (Domain-Specific Feature Augmentations)

针对二进制特征向量（0/1 表示 API 或权限的存在与否），CITADEL 摒弃了图像增强方法，提出了两种基于 Bernoulli 分布 的增强策略，以模拟恶意软件行为演变带来的特征空间扰动：

Bernoulli 位翻转 (Bernoulli Bit Flip)： 以概率 $p$ 随机翻转二进制特征位（0 变 1，1 变 0）。模拟恶意软件开始或停止使用特定功能的行为变化。
Bernoulli 特征掩码 (Bernoulli Feature Mask)： 以概率 $q$ 随机将特征置零。模拟由于混淆或实现变更导致某些可观察模式（如废弃的 API 调用）消失的情况。
作用： 这些增强引入了受控的随机噪声，作为正则化手段，迫使模型在特征分布发生漂移时仍能保持鲁棒性，并学习更通用的决策边界。

2.2 改进的目标函数 (Improved Objective Function)

CITADEL 基于 FixMatch 框架，但进行了关键修改：

半监督一致性损失： 利用弱增强生成伪标签，监督强增强版本的预测，确保模型对扰动的鲁棒性。
监督对比损失 (Supervised Contrastive Loss)： 引入额外的对比损失项，旨在拉大不同类别样本在潜在空间（Latent Space）的距离，同时拉近同类样本。这特别有助于区分决策边界附近的模糊样本，提高类别分离度。
总损失函数： $L = L_{sup} + \lambda_u L_{unsup} + \lambda_{con} L_{con}$

2.3 多标准主动学习采样策略 (Multi-Criteria Active Learning)

为了在有限的标注预算下高效适应漂移，CITADEL 提出了一种结合三个互补指标的多标准采样策略，用于选择最具信息量的样本进行人工标注：

Softmax 边界距离 (Boundary Proximity)： 选择预测概率差值（Margin）最小的样本，即模型最犹豫的样本。
$L_p$ -范数距离 (Feature-Space Drift)： 计算无标签样本与最近有标签样本在嵌入空间中的距离。距离越远，代表该样本可能是分布外的新变种（Outliers）。
低置信度预测 (Low-Confidence)： 选择模型预测最大概率较低的样本。

策略： 对上述三个指标进行归一化并加权求和，选出得分最高的 Top-k 样本交由专家标注，从而同时关注边界模糊性和分布新颖性。

3. 主要贡献 (Key Contributions)

CITADEL 框架： 提出了首个针对长期概念漂移的 Android 恶意软件半监督主动学习框架，有效解决了标签稀缺和分布漂移问题。
领域特定增强： 设计了 Bernoulli 位翻转和特征掩码，填补了通用 SSL 方法在结构化二进制恶意软件特征上的应用空白。
多标准采样机制： 创新性地结合了边界不确定性、分布距离和置信度，比单一指标（如仅基于不确定性）更能适应突发的恶意软件演变。
监督对比损失集成： 将对比学习引入 SSL 目标，显著提升了边界样本的判别能力。
新数据集构建： 基于 MaMaDroid 特征构建了跨越 12 年的新数据集，以模拟真实的长期漂移场景。

4. 实验结果 (Results)

作者在四个大规模 Android 恶意软件基准数据集（APIGraph, Chen-AZ, MaMaDroid, LAMDA）上进行了广泛评估。

性能提升：
- 在仅使用 40% 标注数据 的情况下，CITADEL 在所有数据集上均优于现有最先进方法（SOTA）。
- F1 分数提升： 相比 Chen-AL（当前 SOTA），在 APIGraph 上提升 1.1%，Chen-AZ 提升 4.3%，MaMaDroid 提升 8.9%，在最具挑战性的 LAMDA 数据集上提升高达 13.2%（F1 从 ~30% 提升至 77.7%）。
- 长期漂移适应性： 在 12 年的 LAMDA 数据集上，CITADEL 保持了稳定的高性能，而传统方法性能严重衰退。
效率提升：
- 训练速度： 相比 Chen-AL，CITADEL 训练速度快 24 倍。
- 计算开销： 操作次数减少了 13 倍，使其更适合实时部署。
消融实验： 证明了特征增强、多标准采样和对比损失三个组件对最终性能均有显著贡献。

5. 意义与影响 (Significance)

解决现实痛点： 针对恶意软件样本爆发式增长与人工标注能力不足之间的矛盾，提供了一条可行的技术路径，利用海量未标注数据维持检测能力。
长期适应性： 证明了半监督主动学习在应对长期、不可预测的概念漂移方面优于传统的全监督或单一主动学习方法，为构建“终身学习”的恶意软件检测系统奠定了基础。
计算效率： 大幅降低的计算成本使得该框架能够在资源受限的边缘设备或大规模云端部署中实时运行，快速响应新型威胁。
通用性启示： 该工作展示了如何将计算机视觉领域的 SSL 思想（如 FixMatch）通过领域适配（Domain Adaptation）成功迁移到网络安全领域，为其他结构化数据（如日志、网络流量）的漂移检测提供了参考范式。

总结： CITADEL 通过结合领域特定的特征增强、改进的对比学习目标以及多维度的主动采样策略，成功解决了 Android 恶意软件检测中长期存在的概念漂移和标注成本问题，在保持高检测精度的同时显著降低了计算和标注成本，具有极高的实际应用价值。