Evaluation of AutoML Frameworks for IDS under Imbalanced Data Conditions of the NSL-KDD Dataset
本研究在基于现实五分类设置的非平衡 NSL-KDD 数据集上评估了九种开源 AutoML 框架，结果表明，整合了集成学习和不平衡感知优化的框架（尤其是 PyCaret）在检测稀有攻击类型方面显著优于其他框架，同时也凸显了以准确率为核心的指标在入侵检测中的不足。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是某大型繁忙机场的安全主管。你的职责是在成千上万的旅客中识别出麻烦制造者。大多数时候，大家都是普通的旅客（“多数类”）。但偶尔会出现扒手、偷渡者或携带炸弹的人（“少数类”或罕见攻击）。
问题在于？在你的安全日志中，每 1,000 名普通旅客中，你可能只能看到 1 个扒手和 1 个偷渡者。如果你训练一名保安，让他每次都只去“猜测是正常人”，那么他的正确率会高达 99.8%，但他会漏掉每一个罪犯。这就是这篇论文所探讨的**类别不平衡（class imbalance）**问题。
大实验：雇佣“机器人经理”
本文的作者们想看看 AutoML（自动化机器学习）框架是否能解决这个问题。把 AutoML 想象成一支机器人经理团队。与其让一名人类安全主管手动挑选最佳算法并进行参数调优，不如你把数据交给这些机器人，它们会自动尝试数千种不同的策略，以找到最好的保安。
研究人员在名为 NSL-KDD 的著名数据集上测试了九种不同的机器人经理（例如 PyCaret、AutoGluon、TPOT 等），这个数据集就像是一个模拟机场交通的系统，包含五种类型的“旅客”：
- Normal（正常人：绝大多数）
- DoS（拒绝服务攻击：像是人群堵塞登机口）
- Probe（探测：有人在可疑地四处张望）
- R2L（远程转本地：罕见的黑客试图潜入）
- U2R（用户提权：极其罕见的、拥有超强能力的黑客）
难点在于： 该数据集是严重倾斜的。在训练数据中，“U2R”黑客非常罕见，以至于想要教一个保安识别这类人，就像是试图教他识别一个每百万年才出现一次的特定人物。
机器人的表现（以及失败之处）
论文测试了这些机器人识别罕见黑客的能力，看它们是否能在不单纯为了追求高“准确率（accuracy）”得分的情况下，识别出这些罕见攻击。
胜出者（PyCaret 和 AutoGluon）： 这两个机器人经理表现最好。它们使用了被称为**集成学习（Ensemble Learning）**的策略。想象一下，这相当于雇佣了一个由不同专家组成的团队（一名侦探、一名保镖和一名技术专家），并让他们对谁可疑进行投票。
- PyCارت 是冠军，它抓住了 66% 的罕见攻击（通过一个名为 Macro-F1 的指标衡量）。它足够聪明，意识到错过一个罕见黑客代价巨大，因此调整了策略，更加努力地寻找他们。
- AutoGluon 位列第二（55%），同样使用了投票团队的方法，但在识别最罕见威胁方面稍逊一筹。
失败者（TPOT、LazyPredict、FLAML）： 这些机器人就像是只关心“大局”的保安。它们专注于获得最高的整体得分，这意味着它们大多只是简单地猜测“正常”，因为那是 99% 的情况。
- LazyPredict 表现最差。它甚至没有尝试针对罕见黑客进行调整，只是用默认设置快速运行了一下，结果几乎漏掉了所有目标。
- TPOT 尝试像电子游戏一样进化解决方案，但它不断进化的方案都是那些擅长忽略罕见黑客的方案，因为这样才能在“准确率”游戏中获胜。
“手工设计”的对比
作者还将这些机器人与人类专家（即人类手动设计安全系统的既往研究）进行了对比。
- 结果： 那些花费数月时间精心调优系统、添加特殊技巧来寻找罕见黑客的人类专家，表现依然更好（在罕见攻击上的得分约为 71%）。
- 启示： 机器人正在接近这个水平，但它们仍需要一点帮助。它们在无需人工帮助的情况下能做得“足够好”，但它们还没有人类那种精准洞察目标的能力。
核心教训
论文得出结论：你不能仅仅要求机器人“要准确”。 如果你这样做，它会为了让数据好看而忽略那些罕见且危险的事物。
要在充满普通人的世界中抓住罕见的黑客，机器人经理需要被告知：“错过一个正常人没关系，但绝对不能错过一个黑客。” 最好的机器人（如 PyCaret）通过使用特殊的数学方法实现了这一点，这种方法会对错过罕见类别的情况进行惩罚。
简而言之： AutoML 是网络安全领域的一个强大工具，但如果你不告诉它要去关注那些罕见的、危险的事件，它会心安理得地忽略它们。表现最好的机器人是那些使用了基于团队的策略，并且被明确告知要盯着“草堆里的针”的机器人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。