Machine Learning Based Intrusion Detection for Cloud Storage: An Empirical Evaluation of Signature and Random Forest Fusion
本研究通过向未标记的 Microsoft Azure 追踪数据中注入攻击，对一种用于云存储的半合成入侵检测原型进行了实证评估，发现虽然随机森林模型能提供有用的排序信号，但其在时间性工作负载漂移下的不稳定表现以及对低速慢速攻击（low-and-slow attacks）的检测能力不足，表明其尚未准备好进行生产部署。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字世界中，大量的个人和商业信息都存储在云端，这是一种将数据保存在远程服务器而非单台计算机上的系统。由于这些数据可以从任何地方访问，其遭受未经授权进入的潜在风险比传统的、孤立的存储系统要大得多。为了保护这些信息，安全团队依赖于入侵检测系统，它们充当着数字瞭望塔的角色。这些系统通常以两种方式运作：一些系统寻找已知的恶意行为模式，就像保安识别出特定罪犯的面孔一样；而另一些系统则学习正常活动是什么样子的，并在出现异常情况时发出警报。挑战在于，合法用户经常表现出看起来可疑的行为，而攻击者也可以模仿正常行为，这使得在不引起大量误报的情况下区分两者变得十分困难。
研究人员 Simon Usifoh 和 Olawale Olaniyi 致力于测试一种解决该问题的特定方法，并使用了来自主要云服务提供商 Microsoft Azure 的真实世界数据。他们构建了一个原型系统，旨在通过结合两种方法来发现云存储中的入侵者：一套用于寻找明显故障迹象的固定规则，以及一个从数据模式中学习的机器学习模型。该团队没有使用该领域常见的虚假攻击的人造数据集，而是从三万条来自真实应用程序的实际、未标记访问日志开始。由于这些日志没有附带安全标签，研究人员将其视为正常的背景活动。随后，他们小心地将受控的模拟攻击活动注入到这些真实数据中。三种特定的攻击模板——爆发式外泄（burst exfiltration）、广泛访问探测（broad access probing）和覆盖爆发（overwrite bursts）——出现在所有的训练、验证和测试阶段，而第四种类型——低速且缓慢的外泄（low-and-slow exfiltration）——仅在测试阶段被注入。这使他们能够观察检测系统在面对隐藏在真实的、杂乱的人类活动中的威胁时表现如何。
结果揭示了在现实环境中有效与无效的复杂局面。被称为“随机森林”（Random Forest）的机器学习模型在对事件进行排序方面表现得相当出色，这意味着它能够成功识别哪些活动比其他活动更有可能是攻击。然而，当研究人员试图设定一条具体的界限来决定何时发出警报时，系统变得不稳定。在某些测试中，该模型捕捉到了约百分之六十一的攻击，但也将大量的无害活动标记为危险。当他们尝试将机器学习模型与固定规则结合起来以试图提高性能时，系统的表现并没有变得更好；相反，它变得更差了，产生了更多的误报。事实上，最有效的系统版本仅仅是机器学习模型本身，因为试图将其与其他方法融合的做法并未增加价值，反而增加了噪声。
一个特别引人注目的发现是系统无法检测缓慢且微妙的攻击。虽然该模型在识别快速的数据窃取、广泛扫描和覆盖爆发方面相当成功，但它几乎完全无法察觉到那种数据被极慢速度窃取的特定攻击类型。这种“低速且缓慢”的行为——由于其避开了标准警报，往往是最危险的——在超过百分之九十四的案例中都被漏掉了。研究还强调了一个关于时间的重要问题。该系统是在一周的数据上进行训练的，并在随后的那一周数据上进行了测试。尽管底层技术相同，但应用程序的行为会随着时间的推移而自然发生变化，研究人员称之为“时间漂移”（temporal drift）。这种转变导致系统在早期数据上优化的置信度设置在应用于后期数据时完全失效，证明了一个在某一时刻表现良好的模型在下一时刻可能不再适用。
最终，研究得出结论：虽然机器学习方法在识别可疑模式方面展现出了潜力，但就目前形式而言，它尚未准备好进行实际部署。该系统产生的误报过多，在实际应用中并不实用，且其检测缓慢、隐蔽攻击的能力目前过于薄弱。研究人员强调，他们工作的价值不在于一个成品，而在于一个利用真实数据展示当前方法局限性的可复现框架。他们建议，未来的工作必须专注于创建能够随时间变化的用户的行为进行自我调整的系统，并寻找更好的方法来区分缓慢的恶意活动与正常的静默期。在这些挑战得到解决之前，此类系统仍是有用的研究和审计工具，但尚不足以承担保护实时云存储这一关键任务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。