🤖 machine learning

Retrofit: Continual Learning with Controlled Forgetting for Binary Security Detection and Analysis

本文提出了名为 RETROFIT 的框架，通过低秩稀疏约束与置信度引导仲裁机制，在无需历史数据的情况下实现受控遗忘，显著提升了二进制安全检测任务中模型对威胁演变的适应能力并有效缓解了灾难性遗忘。

原作者： Yiling He, Junchi Lei, Hongyu She, Shuo Shao, Xinran Zheng, Yiping Liu, Zhan Qin, Lorenzo Cavallaro

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiling He, Junchi Lei, Hongyu She, Shuo Shao, Xinran Zheng, Yiping Liu, Zhan Qin, Lorenzo Cavallaro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 RETROFIT 的新方法，专门用来解决人工智能（AI）在网络安全领域面临的一个大难题：如何让 AI 在不断学习新威胁的同时，不忘记旧知识，而且不需要把旧数据存下来。

为了让你更容易理解，我们可以把网络安全 AI 想象成一位**“数字世界的老侦探”**。

1. 侦探面临的困境：记忆与遗忘的博弈

想象一下，这位侦探（AI 模型）每天都在处理案件（识别恶意软件或分析代码）。

时间流逝（Temporal Drift）： 罪犯（黑客）每年都在变，新的作案手法层出不穷。侦探必须学习新手法。
伪装升级（Representation Shift）： 罪犯还会换马甲。以前是穿西装（完整代码），现在把西装扒了，只留个骨架（去符号化的二进制代码），甚至把脸涂黑（混淆代码）。侦探得学会从这些“裸奔”的线索里认出罪犯。

传统方法的痛点：

死记硬背（全量重训）： 每次学新东西，就把以前所有的旧案子重新背一遍。但这在现实中行不通，因为旧案子（恶意软件样本）涉及隐私，不能随便存，数据量也太大了。
只记新忘旧（灾难性遗忘）： 如果只学新案子，不复习旧案子，侦探就会把以前抓过的罪犯全忘了。比如，学了 2024 年的新病毒，结果把 2020 年的老病毒也当成好人放走了。
死记硬背的代价（回放法）： 有些方法试图把旧案卷（旧数据）存个副本，学新案子时拿出来复习。但在网络安全界，这就像把罪犯的指纹和照片存进公共数据库，违反了严格的隐私法规，根本做不到。

2. RETROFIT 的绝招：带着“记忆面具”的融合术

RETROFIT 就像给侦探设计了一套**“智能记忆融合系统”**，它不需要翻旧账本（旧数据），就能让侦探既记住老案子，又学会新招数。它的核心思想可以概括为两个步骤：

第一步：只学“微调”，不伤“根基” (低秩更新)

想象侦探的大脑是一个巨大的图书馆（模型参数）。

传统做法： 学新东西时，直接在大脑里乱涂乱画，把旧书（旧知识）的页码都改乱了。
RETROFIT 的做法： 它给侦探发了一本**“便签本”**（低秩适配器）。
- 遇到新案子，侦探只在便签本上记笔记，不动图书馆里的旧书。
- 因为便签本很小（低秩），而且只记关键点，所以它不会干扰到旧书的内容。
- 比喻： 就像你在读一本新书时，只在书页边缘写批注，而不是把整本书重写一遍。这样，旧书的内容完好无损。

第二步：聪明的“老搭档”仲裁 (置信度仲裁)

当侦探要把“便签本”上的新笔记融合进大脑时，怎么知道哪些该记，哪些该改？

老侦探（旧模型）： 经验丰富，对老案子很自信。
新侦探（新模型）： 刚学完新案子，对新线索很敏锐。
仲裁机制：
- 如果老侦探对某个老案子非常有把握（置信度高），系统就听老侦探的，坚决不让他改口，防止遗忘。
- 如果老侦探也懵了（比如遇到了从未见过的新型病毒），系统就听新侦探的，让他把新知识加进来。
- 比喻： 就像公司开会，老员工对老业务很熟，就按老员工的方案走；遇到新业务老员工不懂了，就听新员工的。这样既保留了经验，又接纳了创新。

3. 它做到了什么？（实验结果）

论文在两个主要场景下测试了这套系统：

抓病毒（恶意软件检测）：
- 结果： 以前的方法学了三年新病毒，对三年前的老病毒识别率暴跌（从 90% 掉到 60% 多）。
- RETROFIT： 学了三年新病毒，对老病毒的识别率依然保持在 90% 以上，甚至超过了那些“拥有所有旧数据”的理想模型。它就像那个**“过目不忘且与时俱进”**的神探。
读天书（二进制代码分析）：
- 背景： 把被剥去外壳的“裸代码”翻译成人类能看懂的注释，这就像让侦探看一堆乱码猜剧情。
- 结果： 以前的方法面对这种“裸代码”几乎完全失效（翻译得一塌糊涂）。
- RETROFIT： 它的翻译质量是以前方法的两倍多。它成功地把以前在“完整代码”上学到的逻辑，迁移到了“裸代码”上，就像侦探学会了从骨架直接看出人的动作。

4. 总结：为什么这很重要？

在网络安全领域，数据隐私是红线，数据量是洪水。

以前： 要么因为隐私不能存数据，导致 AI 越学越傻（遗忘）；要么因为数据太多，根本存不下。
现在 (RETROFIT)： 它不需要存任何旧数据，只通过**“控制遗忘”（有选择地更新）和“模型融合”（新老模型对话），让 AI 在保护隐私的前提下，变得既博学又灵活**。

一句话总结：
RETROFIT 就像给 AI 侦探装了一个**“智能记忆过滤器”**，让他能在不翻旧账本的情况下，把新学到的本事完美地融入经验库，既不会忘记老战友，又能轻松应对新敌人。

这是一篇关于**二进制安全领域持续学习（Continual Learning, CL）**的学术论文总结。论文提出了一种名为 RETROFIT 的新方法，旨在解决在无法访问历史数据（无回顾/Retrospective-free）的严格约束下，模型如何在学习新威胁时避免“灾难性遗忘”并适应数据分布变化的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

在二进制安全领域（如恶意软件检测和二进制分析），深度学习模型面临着两个主要挑战，导致其性能随时间退化：

时间漂移 (Temporal Drift)： 恶意软件家族和攻击技术随时间演变，导致旧数据分布发生变化。
表示偏移 (Representation Shift)： 二进制文件经过编译、优化和符号剥离（stripping）后，其抽象层级和语义表示发生剧烈变化（例如从完整二进制到剥离符号的二进制）。

现有方法的局限性：

数据敏感性与法规限制： 恶意软件样本和专有二进制文件通常涉及隐私和知识产权，严禁存储或回放历史数据。这使得依赖数据回放（Replay-based）的持续学习方法不可行。
灾难性遗忘 (Catastrophic Forgetting)： 在不使用旧数据的情况下直接微调（Fine-tuning）新数据，会导致模型迅速遗忘旧知识。
泛化失败： 现有方法难以将简单数据（如未剥离的二进制）中学到的知识有效迁移到复杂、数据稀缺的任务（如剥离后的二进制分析）中。

核心痛点： 如何在完全无法访问历史数据的情况下，实现既能适应新威胁/新表示，又能保留旧知识的有效持续学习。

2. 方法论：RETROFIT (Methodology)

RETROFIT 是一种无回顾（Retrospective-free）的持续学习方法，其核心思想是通过受控遗忘（Controlled Forgetting）来实现知识积累。它不存储旧数据，而是将上一个训练好的模型作为旧知识的代理（Proxy），通过参数层面的合并来整合新旧知识。

主要包含两个互补机制：

A. 低秩结构约束 (Low-rank Structural Constraint)

原理： 借鉴 LoRA (Low-Rank Adaptation) 思想，将每次更新限制在低秩子空间中，而不是更新所有参数。
实现：
- 保持基础模型参数 $W_0$ 和随机投影矩阵 $A$ 冻结。
- 仅训练低秩矩阵 $B_t$ （ $r \ll d_{in}$ ）和稀疏掩码 $M_t$ 。
- 更新公式： $\Delta W_t = A_t (M_t \odot B_t)$ 。
作用： 通过将更新限制在低维子空间，利用高维空间中随机方向的正交性，从结构上减少新旧任务之间的参数干扰（Interference），理论上界定了遗忘的程度。

B. 置信度引导的知识仲裁 (Confidence-guided Knowledge Arbitration)

原理： 在合并新旧模型时，根据模型对当前样本的预测置信度，动态决定是保留旧知识（Keep）还是采纳新知识（Gain）。
实现：
- 教师模型： 旧模型 ( $f_{old}$ ) 和新微调模型 ( $f_{new}$ ) 作为教师。
- 仲裁机制：
  - 如果旧模型对真实类别的预测置信度高（ $c > \tau$ ），则强制学生模型保持与旧模型一致，防止覆盖可靠知识。
  - 如果旧模型不确定，则允许学生模型向新模型学习，以获取新知识。
- 稀疏掩码学习： 引入稀疏组 Lasso 正则化，学习一个掩码 $M_t$ ，进一步隔离不同任务的参数空间，减少重叠。
作用： 在功能层面控制漂移，确保在旧模型可靠时维持稳定性，在旧模型不确定时保持可塑性。

3. 主要贡献 (Key Contributions)

形式化定义： 首次将数据敏感的安全约束下的持续学习形式化，明确指出了“保留损失”和“泛化失败”是两个耦合的挑战，并归因于不受控的模型更新。
提出 RETROFIT 算法： 提出了一种无需历史数据即可实现知识积累的方法。通过参数级合并（Parameter-level Merging）和低秩 + 稀疏更新，实现了受控遗忘。
广泛的实证评估： 在两个代表性应用场景（恶意软件检测的时间漂移、二进制分析的表示偏移）上进行了验证，证明了其优越性。

4. 实验结果 (Results)

论文在两个数据集上进行了评估：

恶意软件检测 (Android Malware Detection)： 基于 5 年（2014-2018）的 25.9 万个应用数据。
二进制分析 (Binary Summarization)： 基于 CAPYBARA 数据集，包含 21.5 万个反编译函数对（涵盖完整、匿名化、剥离三种表示）。

关键性能指标：

恶意软件检测：
- 保留率 (Retention Score)： 相比持续微调 (CFT) 基线，RETROFIT 将保留分数从 20.2% 提升至 38.6%。
- 适应性： 在保持对新威胁适应性的同时，显著减少了遗忘。
- Oracle 超越： 在某些年份的评估中，RETROFIT 甚至超越了使用全量数据重新训练的 Oracle 上界，证明了受控遗忘有助于长期泛化。
二进制分析：
- 剥离二进制任务 (Stripped Binaries)： 这是最困难且最关键的场景。RETROFIT 的 BLEU 分数达到 15.05，是之前基于迁移学习方法（7.20）的 2 倍以上，也超过了 Oracle (13.26)。
- 跨表示泛化 (XRep)： 在所有抽象层级上均优于所有基线，平均 BLEU 分数提升了 3.9%。
对比基线： 优于包括 LwF, PODNet, Co2L, ResAdapt 等在内的 5 种主流 CL 基线，以及集成学习（Ensemble）和模型合并（Model Merging）等替代方案。

5. 意义与影响 (Significance)

解决安全领域的实际痛点： 直接回应了安全行业对数据隐私和存储法规的严格要求，提供了一种无需回放历史数据即可部署的持续学习方案。
理论创新： 将“受控遗忘”作为一种主动策略，而非被动副作用。通过低秩分解和置信度仲裁，从理论和实践上证明了如何在有限资源下平衡稳定性（Stability）与可塑性（Plasticity）。
通用性： 该方法不仅适用于传统的分类任务（恶意软件检测），也适用于生成式任务（二进制代码摘要），且可兼容不同的模型架构（如 MLP, Transformer/LLM）。
计算效率： 由于仅训练低秩矩阵和掩码，RETROFIT 的计算开销远低于全参数微调，且推理时模型大小保持不变，适合资源受限的部署环境。

总结： RETROFIT 为二进制安全领域的持续学习提供了一个强有力的基础，证明了在严格的数据限制下，通过结构约束和智能仲裁，模型可以持续进化而不牺牲对旧威胁的防御能力。