🤖 machine learning

FreeMOCA: Memory-Free Continual Learning for Malicious Code Analysis

FreeMOCA 是一种面向恶意代码分析的内存与计算高效的持续学习框架，它通过利用连续任务最优解之间的自适应层间插值来缓解灾难性遗忘，在无需回放缓冲区的情况下，于大规模 Windows 和 Android 恶意软件基准测试中实现了卓越的准确率与保留能力。

原作者： Zahra Asadi, Haeseung Jeon, Sohyun Han, Md Mahmuduzzaman Kamol, Se Eun Oh, Mohammad Saidur Rahman

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zahra Asadi, Haeseung Jeon, Sohyun Han, Md Mahmuduzzaman Kamol, Se Eun Oh, Mohammad Saidur Rahman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是《FreeMOCA》论文的解释，已用通俗易懂的语言并辅以生动的类比进行翻译。

核心难题：“健忘的保安”

想象你雇佣了一名保安来看守一栋大楼。每天都有新的小偷试图闯入，而且他们的外貌都略有不同。

旧方法： 每当出现一个新小偷，你就只针对这个新小偷训练保安。问题在于：保安会如此专注于这个新人，以至于完全忘记了旧小偷长什么样。这被称为灾难性遗忘。
昂贵的方法： 为了解决这个问题，你可以保存一本包含所有曾经见过的小偷的巨型相册，每次教保安新东西时，就把整本相册给他看。这虽然有效，但速度很慢，占用巨大的空间（内存），而且很难在手机或笔记本电脑等小型设备上实现。

FreeMOCA 是一种新方法，它能让保安在学会识别新小偷的同时，不忘记旧小偷，而且不需要那本巨型相册。

核心理念：“平滑路径”

研究人员发现了一个关于保安大脑（即计算机模型）如何运作的有趣现象。

通常，如果你从头开始训练两名不同的保安，他们的大脑最终会处于完全不同的位置。试图混合他们的知识，就像试图融合两种不同的语言；结果会混乱不堪。

然而，FreeMOCA 使用了一种称为热启动（Warm-Starting）的技巧。它不是从头开始训练一名新保安，而是基于当前的保安，仅给予他一点更新以应对新威胁。因为新保安是从旧保安的大脑基础上开始的，所以他们的“思维”已经非常相似。

类比：
想象你正走在一条山谷中（学习的路径）。

独立训练： 如果你让两个人分别从两座不同山峰的顶部出发，他们最终会到达不同的山谷。你很难将他们连接起来。
FreeMOCA（热启动）： 你让刚刚走完山谷的那个人再迈进一步。他们仍然在同一个山谷里，只是向前走了几步。因为他们靠得很近，你可以在他们过去的位置和现在的位置之间画出一条笔直、平滑的线，而不会撞上悬崖（即“高损失屏障”）。

FreeMOCA 意识到，既然保安只是向前迈了一小步，你就可以简单地融合旧大脑和新大脑，从而兼得两者的优点。

秘密武器：“逐层融合”

这篇论文引入了一个巧妙的转折：自适应层间插值（Adaptive Layer-wise Interpolation）。

把保安的大脑想象成由不同的层组成：

底层： 这就像保安的眼睛。它们识别基本形状（帽子、鞋子、包）。无论小偷长什么样，这些层的变化都不大。
顶层： 这就像保安的逻辑。它们会判断：“那顶帽子看起来很可疑，因为它是某个特定品牌。”当新小偷出现时，这些层会发生很大变化。

如果你同等地混合新旧保安的大脑，可能会搞乱原本运作良好的“眼睛”，或者对“逻辑”的更新不足。

FreeMOCA 的解决方案：
它就像一个智能混合器。

对于眼睛（稳定的层），它主要保留旧保安的视觉，因为那已经很好了。
对于逻辑（变化的层），它混合了更多新保安的更新，以应对新威胁。

它自动计算出大脑的每个部分需要保留多少“旧”成分和多少“新”成分，确保保安保持敏锐，同时不丢失记忆。

结果：快速、轻量且高效

研究人员在 Windows 和 Android 手机的大规模计算机病毒（恶意软件）数据集上测试了这种方法。

无需相册： 与其他需要存储成千上万旧病毒样本（回放）的方法不同，FreeMOCA 不需要零存储过去的数据。它只需记住最后的“大脑状态”。
速度： 因为它不需要重新读取旧文件，所以训练速度快得多。论文指出，其速度比某些其他方法快高达98%。
性能： 它击败了其他 11 种现有方法。在“类增量”测试（逐个学习新类型的病毒）中，与表现最差的方法相比，其准确率提高了高达42%，并且在在学习新病毒的同时记住旧病毒方面表现最佳。

总结

FreeMOCA 是一种让 AI 能够持续学习新恶意软件威胁而不忘记旧威胁的方法。它通过以下方式实现：

每次新课程都从上一次结束的地方开始（热启动）。
沿着一条平滑、安全的路径融合新旧“大脑”。
针对大脑的不同部分调整融合比例（自适应层间插值）。

它无需存储海量的过往病毒历史，因此非常适合内存有限的设备，如你的手机或笔记本电脑上的安全扫描器。

技术摘要：FreeMOCA

问题陈述

恶意软件检测系统面临着一个关键挑战，即如何适应不断演变的威胁格局，其中每年识别出的新恶意软件样本超过 2 亿个。传统机器学习方法仅在新数据上重新训练，会遭受灾难性遗忘（CF），即先前观察到的威胁知识被覆盖。相反，在整个历史数据集上重新训练则会产生高昂的计算和内存成本。虽然持续学习（CL）为增量适应提供了框架，但现有的特定于恶意软件的 CL 方法（例如 MalCL、MADAR）严重依赖回放机制——存储示例、生成合成样本或蒸馏软输出。这些方法引入了显著的内存和计算开销，使其在资源受限的部署环境（如端点安全和移动设备）中变得不切实际。此外，由于复杂的特征表示和高度的类别不平衡，标准 CL 方法在恶意软件领域往往无法防止 CF。

方法论：FreeMOCA

作者提出了FreeMOCA（用于恶意代码分析的无内存持续学习），这是一个旨在在不存储过去数据或使用生成式回放的情况下保留先前知识的框架。其核心方法论依赖于热启动优化设置内的线性模式连通性（LMC）。

核心原则

热启动连通性：与任务最优解可能被高损失屏障隔开的独立训练不同，FreeMOCA 从上一个任务 $t-1$ 的最优解 $\theta_{t-1}$ 初始化每个新任务 $t$ 。作者认为，这种热启动诱导了局部线性连通性，意味着连续的任务最优解位于参数空间的低损失区域内，并且可以通过低损失路径连接。
参数空间插值：FreeMOCA 不操作于数据空间（回放），而是直接在参数空间操作。在针对新任务训练以获得 $\theta_{cur}$ 后，模型通过在先前解 $\theta_{prev}$ 和当前解 $\theta_{cur}$ 之间进行插值来整合。
自适应分层插值：认识到网络的不同层以不同的速率适应（较低层通常作为稳定的特征提取器，而较高层快速适应），FreeMOCA 不应用统一的混合系数。相反，它为每一层 $\ell$ $ℓ$ 分配一个特定于层的系数 $\lambda_\ell$ $λ_{ℓ}$ 。
- 该系数源自先前模型和当前模型之间参数偏移量（ $s_\ell$ ）的大小。
- 具有显著更新（高可塑性）的层被分配较小的 $\lambda_\ell$ ，以优先考虑稳定性（保留先前的权重）。
- 具有最小更新（高稳定性）的层被分配较大的 $\lambda_\ell$ ，以有利于对新任务的适应。
- 使用的公式为 $\lambda_\ell = \lambda_{min} + (1 - \hat{s}_\ell)(\lambda_{max} - \lambda_{min})$ ，其中 $\hat{s}_\ell$ 是归一化的偏移量大小。

算法

该过程包括：

从上一个任务的最优解初始化 $\theta_{prev}$ 。
在当前任务数据集 $D_t$ 上训练以获得 $\theta_{cur}$ 。
计算分层偏移量大小。
为每一层计算自适应的 $\lambda_\ell$ 。
插值： $\theta_t^{(\ell)} = (1 - \lambda_\ell)\theta_{prev}^{(\ell)} + \lambda_\ell\theta_{cur}^{(\ell)}$ 。
将 $\theta_t$ 设置为下一个任务的初始化值。

主要贡献

内存和计算高效框架：FreeMOCA 是首个用于恶意软件分析的 CL 框架，它消除了对示例缓冲区或生成式回放的需求，仅依赖参数空间中的几何插值。
热启动 CL 的理论分析：本文分析了热启动 CL 背景下的 LMC，证明了递归优化诱导了连续任务最优解之间的局部参数对齐，使得直接插值在没有显式神经元置换的情况下也是有效的。
自适应分层插值：引入了一种机制，根据参数偏移动态设置特定于层的插值权重，有效地平衡了稳定性和可塑性。
全面评估：在大规模 Windows（EMBER）和 Android（AZ）恶意软件基准测试中，在类增量（Class-IL）和域增量（Domain-IL）设置下进行了广泛的实验。

实验结果

作者在 EMBER 和 AZ 数据集上评估了 FreeMOCA 与 11 个基线（包括 EWC、SI、iCaRL、MalCL 和 WSC）的性能。

类增量（Class-IL）性能：
- FreeMOCA 取得了显著提升，优于 11 个基线。
- 在EMBER-Class上，其平均准确率达到65.2%（仅微调为 22.9%），优于次优基线（WSC），并比“无”基线提高了42%。
- 在AZ-Class上，其平均准确率达到66.1%，比“无”基线提高了37%。
- 它在所有基线中实现了最低的遗忘（F）和最高的记忆（REM）。值得注意的是，在 AZ-Class 上，它实现了零遗忘（ $F=0.000$ ）和完美保留（$REM=1.000$），以及正向的向后迁移。
域增量（Domain-IL）性能：
- FreeMOCA 匹配或超过了基线，在 EMBER-Domain 上达到93.6%，在 AZ-Domain 上达到97.0%。
效率：
- 内存：FreeMOCA 使用的内存远少于基于回放的方法（例如 MalCL）。它仅保留单个分类器检查点，导致随时间推移的内存增加为 0%，而 MalCL 的内存随任务增长了 86.3%，WSC 增长了 45.4%。
- 训练时间：与 MalCL 和 WSC 相比，FreeMOCA 将每轮训练时间减少了92.79–98.71%。
诊断：
- 损失屏障分析：确认在初始过渡之后，连续解之间的损失屏障保持低且平坦，验证了低损失路径假设。
- 方差坍缩：对批量归一化统计数据的分析表明，热启动插值减轻了方差坍缩，无需重新估计或置换即可保留特征几何结构。

意义与主张

本文声称，FreeMOCA 为持续恶意软件检测提供了一种可扩展且有效的回放替代方案。通过利用热启动优化中固有的几何对齐，该方法在保留过去威胁知识的同时适应新威胁，实现了最先进的性能，且无需与回放缓冲区相关的存储或计算成本。

作者强调，这种方法对于资源受限的部署环境（如移动设备、端点安全）尤为重要，因为在这些环境中存储过去样本或生成合成数据是不可行的。他们断言，其研究结果表明，持续学习可以从将顺序优化轨迹视为损失景观中相互连接的区域而非孤立的最优解中受益。

本文保持了适度的范围，承认该方法依赖于相邻任务之间的局部连通性，如果任务漂移过大或底层表示发生实质性变化，可能会面临挑战。它并不声称能解决完全无任务或无观察边界的流式 CL 设置，而是解决了特征连续性自然保留的特定序列恶意软件家族扩展领域。