🤖 AI

Taming Data Challenges in ML-based Security Tasks Using Generative AI

本文表明，通过利用生成式人工智能生成的合成数据（包括一种名为Nimai的新方法）来扩充训练数据集，可以显著提升基于机器学习的分类器的性能与适应性，尤其是在数据受限的场景中，同时也能识别出可能阻碍此类提升的特定数据特征。

原作者： Shravya Kanchi, Neal Mangaokar, Aravind Cheruvu, Sifat Muhammad Abdullah, Shirin Nilizadeh, Atul Prakash, Bimal Viswanath

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shravya Kanchi, Neal Mangaokar, Aravind Cheruvu, Sifat Muhammad Abdullah, Shirin Nilizadeh, Atul Prakash, Bimal Viswanath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名保安（一个计算机程序）如何在拥挤的城市中识别小偷。通常，教导这名保安的最佳方式是向他展示成千上万张真实小偷和真实市民的照片。但在网络安全的世界里，存在一个大问题：我们缺乏足够的小偷照片。

小偷很罕见，他们善于隐藏，而且有时我们拥有的照片要么模糊不清，要么标签错误。这使得保安难以胜任工作。

这篇论文提出了一个简单的问题：我们能否利用“生成式人工智能”（GenAI）来伪造小偷的照片，以帮助训练这名保安？

以下是他们研究发现的分解，使用了简单的类比：

1. 问题：“空相册”

研究人员审查了 35 项不同的网络安全研究，发现几乎所有研究都面临相同的数据问题：

样本不足：与正常活动相比，攻击示例非常少。
视角偏差：我们拥有的少数攻击示例可能仅展示了一种特定类型的小偷，而遗漏了其他类型。
照片噪点：有时标签是错误的（例如，将市民的照片标记为小偷）。
面孔变化：小偷会随时间改变其外观（这被称为“概念漂移”），因此保安的旧训练变得无用。

2. 解决方案：“AI 艺术家”

该团队尝试使用先进的人工智能工具（GenAI）来扮演艺术家的角色。他们不只是向保安展示真实照片，而是让 AI 基于它见过的少量真实照片，绘制出新的、看起来逼真的“小偷照片”。随后，他们将这些伪造的照片添加到训练相册中，以观察保安是否变得更聪明。

他们在7 项不同的安全任务上测试了这种方法，范围从检测恶意软件（计算机病毒）到识别被劫持的互联网路由。

3. 结果：当艺术家闪耀时

结果混合了“哇！”和“且慢”。

成功案例（“哇！”时刻）：

“超级训练”效应：在数据稀缺的任务中（例如 BGP 劫持任务，仅有约 180 个训练样本），AI 生成的数据成为了游戏规则的改变者。他们发明的一种特定方法称为Nimai，将保安的准确率提高了32.6%。这就像让一名原本能抓住 10 个小偷中 6 个的保安，变成了能抓住 9 个的保安。
修复“模糊”照片：他们发现，AI 不仅仅是复制粘贴；它实际上有助于平滑数据中的“噪点”。它使小偷的模式更加清晰，帮助保安更好地进行泛化。
“变形者”问题：当小偷改变战术（概念漂移）时，AI 可以快速生成代表新战术的新的“伪造”示例。这使得安全系统能够在极少新的人工标注下几乎立即适应。

失败案例（“且慢”时刻）：

“拥挤的房间”：在某些任务中，“小偷”和“市民”看起来过于相似（数据重叠），以至于 AI 无法区分。它只是制造了更多令人困惑的照片，保安并没有变得更好。
“太大无法容纳”问题：一些现有的 AI 工具就像试图驶入狭窄小巷的巨型卡车。它们对于特定的安全数据来说过于复杂，导致崩溃或无法训练。
“噪点标签”陷阱：如果原始数据包含太多错误（例如，将好文件标记为坏文件），AI 就会学会制造更多错误。它无法修复一个破碎的基础。

4. 新工具："Nimai"

研究人员意识到，现有的 AI 工具有点像蒙着眼睛的画家——它们只能根据广泛的类别进行创作（例如，“画一个小偷”）。它们无法说：“画一个小偷，要完全像我手里拿着的这个特定的人。”

因此，他们构建了一个名为Nimai的新工具。

类比：想象一位雕塑家，他不仅仅制作一个普通的人像雕像。相反，他观察一个真实的人，然后创作一尊非常相似但带有轻微、受控变化的新雕像。这使得保安能够看到威胁的每一个细微差别。
结果：Nimai 是最成功的工具，特别是在最困难、数据最匮乏的情况下。

5. 主要结论

该论文得出结论：生成式人工智能是网络安全的一个强大工具，但它并非魔法。

当数据极少或数据不平衡时，它效果惊人。它可以填补空白，帮助系统更快地学习。
当数据过于混乱、类别重叠过多，或 AI 工具对于该任务过于笨重时，它会遇到困难。

作者建议，未来的安全工具需要更聪明地如何生成数据，使用像 Nimai 这样的受控方法，而不是仅仅随意生成伪造数据。他们还指出，这种方法可以帮助安全系统在黑客改变战术时迅速适应，而无需雇佣大量人类来标注新数据。

简而言之：他们通过让 AI 绘制新的小偷照片来训练保安。当照片稀缺时，这种方法效果极佳；但当坏人和好人看起来太相似时，它就会感到困惑。

技术摘要：利用生成式人工智能驯服基于机器学习的网络安全任务中的数据挑战

1. 问题陈述

机器学习（ML）分类器已广泛应用于网络安全任务，如恶意软件检测、网络入侵检测和隐私分类。尽管算法进步一直是研究的主要焦点，但安全领域固有的数据挑战却鲜受关注，这往往导致性能触及天花板。作者识别出五个关键的数据挑战：

训练数据有限或存在偏差：包括严重的类别不平衡、攻击模式代表性不足，以及由于标注成本高和领域专业知识要求高而导致的样本量不足。
高维性：特征维度往往超过数千维，加剧了“维数灾难”。
概念漂移：攻击者随时间适应，导致部署后的测试分布与训练分布发生偏离。
噪声标签和重叠的类别分布：这在安全数据中很常见，因为难以确立真实标签或类别本身具有相似性。
对抗样本：尽管文中有所提及，但本文主要关注前四个挑战。

核心研究问题是：生成式人工智能（GenAI） 能否通过用合成数据增强训练数据集，来解决这些数据挑战并提高分类器性能。

2. 方法论

2.1 实验设置

该研究利用真实世界的威胁数据，评估了 GenAI 在 7 项多样化的安全任务（3 项二分类，4 项多分类）中的表现。这些任务包括：BGP 劫持检测、基于 Tor 的恶意软件流量检测、物联网（IoT）加密货币挖矿检测、Web Cookie 隐私分类、Windows 恶意软件分类（MS-Malware）、PE 恶意软件分类（BODMAS）以及操作系统指纹识别（nPrintML）。

作者将 6 种面向表格数据的最先进（SoTA）GenAI 模型 与传统增强方法进行了比较：

GenAI 模型：TVAE（VAE）、CTAB-GAN+（cGAN）、TabDDPM（扩散模型）、TabSyn（VAE+ 扩散模型）、GReaT（LLM）和 REaLTabFormer（LLM）。
传统基线：SMOTE（线性插值）和 MC-CCR（清洗与重定位）。

2.2 Nimai 框架

鉴于现有的 GenAI 工具主要提供基于类别条件的生成（即根据标签创建样本），但缺乏对数据流形特定区域的控制，作者提出了 Nimai。

架构：Nimai 是一个基于 VAE 的模型，利用离散潜在空间（矢量量化 VAE）并结合受 BERT 启发的掩码令牌模型（MTM）。
机制：与使用连续潜在空间（易导致后验坍塌）的标准 VAE 不同，Nimai 将潜在令牌离散化。它采用一种掩码策略，将部分潜在特征“置空”，并基于上下文进行预测。
控制模式：
- Nimai-S（基于样本条件）：通过对特定输入的特征进行掩码和重构，在现有真实样本附近生成样本。这旨在针对类别内代表性不足的区域。
- Nimai-C（基于类别条件）：仅根据类别标签生成样本，类似于现有工具。
- Nimai-Hybrid：结合两种方法，用于部署后的漂移恢复。

2.3 评估策略

评估侧重于部署前的数据增强（预训练）和部署后的快速恢复（后训练）。

指标：与仅使用真实数据训练相比，宏观 F 分数（或特定任务的恶意类别 F 分数）的相对增益（ $\Delta G$ ）。
鲁棒性：实验在不同随机种子下运行 10 次。不可靠的测量值（变异系数 $\ge$ 1）被标记。

3. 关键结果

3.1 部署前性能

数据受限场景下的成功：GenAI 显著提升了 7 项任务中的 5 项 的性能。
- BGP 劫持：在极度数据受限的设置下（仅约 180 个训练样本，其中 17 个为恶意样本），Nimai-S 实现了 32.6% 的性能增益，优于所有基线。
- IoT 与 MS-Malware：在高度不平衡或高维场景中，Nimai-S 和 CTAB-GAN+ 显示出显著增益（分别高达 17.37% 和 13.53%）。
- BODMAS（概念漂移）：对于涉及漂移的任务，基于类别条件的方法（Nimai-C、TVAE、TabDDPM）通常优于基于样本条件的方法，在特定漂移月份实现了高达 59.42% 的增益。
失败案例：
- Tor、Cookie、nPrintML：GenAI 方案通常未能提升性能。作者将此归因于重叠的类别分布、噪声标签以及极端的特征稀疏性（零值高达 98.66%）。在这些情况下，合成数据往往强化了现有偏差，或未能解决类别不可分的问题。
- 模型实例化失败：6 种现有的 GenAI 方案中，有 5 种在至少一项任务上无法训练或生成可用数据。
  - 基于 LLM 的模型（GReaT、REaLTabFormer）：分别在 7 项任务中的 6 项和 5 项上失败，原因是高维特征向量的可扩展性问题（超出令牌限制或 GPU 内存）。
  - TabDDPM：在 IoT 任务中遭受模式坍塌，未能生成少数类样本。
  - TVAE/TabSyn：在处理高维或大规模数据集（如 nPrintML、Cookie）时表现挣扎。

3.2 部署后（概念漂移）

快速恢复：作者证明，Nimai-Hybrid 方法可以用最少的标注工作从概念漂移中恢复。
效率：通过利用不确定性采样选择一小部分漂移数据（少至 64 个标注样本）并应用基于样本条件的生成，该系统在 BODMAS 任务受影响最严重的月份实现了 60.4% 的性能提升，优于仅在小子集上重新训练的方法（INSOMNIA 基线）。

3.3 改进机制

利用 LIME 和分布指标（熵和偏度）进行的深入分析表明，成功的增强（例如在 IoT 和 BGP 任务中）降低了特征偏度并增加了熵，有效地减轻了真实数据集中的偏差，促进了更对称的特征分布，从而有助于分类器的泛化。

4. 主要贡献

系统性评估：首次系统评估了 6 种面向表格数据的最先进 GenAI 模型在 7 项多样化安全任务中的表现，识别了机遇和显著的失败模式。
Nimai 框架：提出了一种新颖的基于 VAE 的方案，具有离散潜在空间和掩码令牌建模，能够实现高度可控的、基于样本条件的数据合成，以解决类别内偏差。
漂移恢复：展示了一种混合 GenAI 策略，用于以最少的人工标注实现部署后对概念漂移的快速适应。
失败分析：识别了阻碍 GenAI 性能的具体任务特征（噪声标签、重叠分布、稀疏特征），并发现当前基于 LLM 的表格生成器尚无法扩展以适应高维安全数据。

5. 意义与主张

作者声称，他们的研究为 GenAI 在安全领域的效用提供了平衡的视角。他们认为，虽然 GenAI 并非“放之四海而皆准”的解决方案，且在处理特定数据病理（如噪声和重叠）时存在困难，但它在解决安全任务中的数据稀缺和偏差方面具有巨大的未开发潜力。

该论文提出，安全分类器的未来进步可能会因数据限制而非算法限制而停滞。通过开发能够有效合成受控、高质量合成数据的 GenAI 工具，社区可以为那些算法创新已陷入停滞的安全问题“重燃进展”。作者强调，他们的工作是朝着开发专门针对网络安全对抗性和数据受限特性的 GenAI 工具迈出的步伐，而不是简单地应用现成模型。