Empirical Analysis of Evasion and Poisoning Against Malware Data Drift Detection
本文研究了通常旨在破坏恶意软件分类器的规避攻击和投毒攻击如何独特地影响数据漂移检测器与恶意软件分类器的组合运行，揭示了漂移检测器的不同特性会改变这些对抗性攻击的效力与行为。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是某家大型高科技夜店的保安。你的职责是识别并拦截那些捣蛋鬼（恶意软件），同时让好客的宾客（良性软件）顺利入内。长期以来，你一直通过一份已知捣蛋鬼的面孔名单来进行识别。但捣蛋鬼非常狡猾；他们会通过换发型、戴伪装或留胡须来让自己看起来像个普通人。为了应对这种情况，你雇佣了一个聪明的 AI 来帮助你识别出捣蛋鬼的“气质”（vibe），即使他们的外表发生了变化。
然而，这里有一个难点：随着时间的推移，人群也在发生变化。社区的“气质”发生了偏移，AI 开始感到困惑，因为走进来的人看起来与它多年前学习到的那些人完全不同。这被称为概念漂移（concept drift）。为了解决这个问题，俱乐部聘请了第二个 AI——一个“漂移检测器”。这个第二个 AI 并不关心某人是捣蛋鬼还是好宾客，它只负责观察是否有人看起来“异常不同”于往常的人群。如果某人看起来太奇怪，漂移检测器就会将其标记出来，交给人类保安进行检查。其核心理念是：如果一个捣蛋鬼试图伪装自己，他可能会因为看起来过于古怪而被漂移检测器抓个正着。
但转折在于：如果捣蛋鬼同时了解这两名保安呢？如果他们既能骗过主 AI 让其以为自己是好宾客，又能骗过漂移检测器让其以为自己看起来很正常呢？这篇论文正是探讨了这样一个问题。研究人员想看看坏人是否能完成一场“双重背叛”：既骗过那个抓坏人的系统，又骗过那个抓“怪人”的系统。他们通过尝试让“被投毒的”宾客（潜入训练列表）和“伪装的”宾客（试图溜进门内）进行测试，来观察能否成功。
双重盲劫案
研究人员设置了一场数字劫案，以观察这两个安全系统在面对攻击者时如何协同工作。他们使用了来自两个不同“社区”（数据集名为 Bodmas 和 Androzoo）的真实世界数据，其中包含数千个软件样本。受害者（俱乐部老板）拥有两个主要工具：一个恶意软件分类器（主保镖）和一个漂移检测器（怪异观察员）。攻击者的目标既简单又棘手：让一段恶意软件看起来像是无害的应用以骗过保镖，同时确保它看起来不会“太怪”以至于被怪异观察员标记。
攻击者必须遵循一些规则，就像现实中的罪犯为了不被察觉而行动一样。他们不能破坏恶意软件的功能（应用仍需正常运行），也不能改变其文件格式。他们只能微调某些特征，比如增加额外的空间或更改某些数值，但不能删除使文件能够运行的内容。此外，他们并不拥有俱乐部的完整监控权限；他们只知道 10% 的宾客信息，并且必须建立自己的“代理模型”（即模拟的假安全系统）来练习他们的招数，然后再尝试对真正的系统下手。
出人意料的结果
研究人员尝试了两种主要的攻击类型：规避攻击（Evasion）（通过伪装恶意软件来溜过保安）和投毒攻击（Poisoning）（将伪造的“好宾客”混入训练列表中，以便保安学到错误的经验）。
规避攻击的惊喜：
当研究人员尝试通过对文件进行微小的“扰动”（即极小的改动）来让恶意软件溜过系统时，他们发现了一个违反直觉的现象。通常在 AI 领域，更大的改动更容易欺骗分类器。如果你把一张脸改动得足够多，AI 就不再认识它了。但在这种情况下，漂移检测器表现得像一个讨厌任何变动的严厉保镖。
当攻击者为了骗过主保镖而过度修改恶意软件时，漂移检测器就会产生怀疑。它会将这些经过深度修改的文件视为“分布外”（out of distribution）样本——即它们看起来与正常人群完全不同。于是，漂移检测器会将其标记为“怪异”，从而由人类保安拦截。研究发现，对于使用特定类型漂移检测器——CADE（使用对比自动编码器）的系统，增加扰动的大小反而会削弱攻击效果。伪装得越彻底，漂移检测器就越容易识破。攻击者必须极其精准地找到一个“甜点区（sweet spot）”，既要让恶意软件对主分类器来说看起来是正常的，又要让它在漂移检测器面前看起来也不算太怪。
投毒悖论：
投毒攻击则更有趣。攻击者试图通过伪装成无害应用的“后门”恶意软件来进行攻击。其逻辑是：如果俱乐部老板使用这些虚假的“好宾客”来重新训练其安全系统，那么新的系统在未来就会放行真正的恶意软件。
然而，研究人员发现，增加“投毒宾客”的数量并不总是有效。事实上，对于基于 CADE 的漂移检测器来说，加入过多的投毒样本反而会导致攻击失败。为什么呢？因为 CADE 漂移检测器的内部“地图”（嵌入空间）容量有限。当过多的投毒样本被强行塞进“好宾客”区域时，系统会变得混乱。为了理顺这些略有不同的新样本，漂移检测器会开始将它们从“好宾客”人群的中心位置向外推，以保持秩序。这使得投毒样本再次显得异常，导致漂移检测器将其标记出来。论文指出，你试图往系统里塞的东西越多，系统就会把坏东西往外推得越远。
这对未来意味着什么
论文总结道，攻击一个同时拥有分类器和漂脱检测器的系统是一场精密的平衡博弈。这不仅仅是关于如何让恶意软件看起来像个好人，更在于确保它看起来不会与人群显得“过于格格不入”。
研究人员发现，漂移检测器的类型至关重要。像 Transcendent（一种基于统计置信度的不同方法）这样的系统，比 CADE 更容易被大幅度的改动所欺骗。但对于 CADE 而言，攻击者必须非常小心。如果他们将恶意软件推向“良性”的一侧过远，就会偏离“良性人群”的中心，从而被抓获。
最终，这篇论文表明，虽然攻击者可以非常聪明，但这类漂移检测器独特的运作方式创造了一种全新的防御机制。这种帮助系统适应新威胁的机制（通过察觉异样），同时也增加了攻击者隐匿行踪的难度。研究表明，要破解这种防御，攻击者需要极其精准地选择他们的工具（代理模型）和手段（损失函数），使其与漂移检测器观察世界的视角完美契合。这是一场猫鼠游戏，而那只老鼠必须恰到好处地保持“怪异”——既要足够隐形，又不能怪异到被抓。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。