SOC Copilot: A Complete, Lightweight, and Explainable Multi-Model Anomaly Detection Engine for Security Log Analysis
本文介绍了 SOC Copilot，这是一种轻量级、仅需 CPU、无监督的多模型异常检测引擎，它通过融合改进的孤立森林和深度自动编码器，并结合基于 SHAP 的可解释性，在无需标注数据或 GPU 基础设施的情况下，实现了对 HDFS 安全日志高达 99.84% 的分析准确率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每天，现代计算机系统都会产生海量的数字记录，被称为日志。这些是机器对自己活动的自动记录，追踪从用户登录到文件在网络中移动的一切活动。在一个大型组织中，这些日志会堆积成数以百万计，形成一个庞大且混乱的信息流。安全团队（被称为安全运营中心）的任务就是监视这个流，以发现问题的迹象。问题在于，其容量之大，人类无法阅读；而过去寻找麻烦的方法——即检查特定的、已知的恶意行为模式——在攻击者使用新的、未见的手段时会失效。当系统过载时，它们要么漏掉真实的威胁，要么对无害事件发出警报，导致分析师精疲力竭且困惑不已。现代安全研究的目标是构建一个能够自动筛选这些噪音、发现预示攻击的罕见且奇怪事件，并解释其发现原因的系统，且无需昂贵的专用硬件或专家团队来为每一个犯罪案例进行标注。
一组研究人员开发了一个名为 SOC Copilot 的工具来解决这一特定问题。他们创建了一个完整的系统，该系统可以在标准计算机处理器上运行，这意味着它不需要许多先进人工智能工具所依赖的那种庞大且耗电的图形卡。该系统并不依赖于已知攻击的数据库，而是学习“正常”行为的表现，并将任何偏离该模式的行为标记出来。研究人员在包含超过一千一百万行日志的 Hadoop 分布式文件系统（一种用于存储海量数据的常见技术）的大规模数据集上测试了他们的引擎。他们将这些数据处理成一种易于管理的格式，将相关的事件分组成块，并将其转化为由 58 个不同特征组成的列表，例如特定类型消息出现的次数或事件序列持续的时间。
他们系统的核心使用了两种不同的方法来寻找麻烦，这两者协同工作，就像两位专业领域不同的专家。第一种方法是一种统计工具，用于寻找离群值，识别那些远离人群的数据点。第二种方法是一个神经网络，这是一种旨在学习如何压缩信息并随后重建信息的计算机程序。如果程序遇到了从未见过的模式，它在重建时就会感到困难，而这种困难便成为了异常信号。研究人员仅使用正常的、安全的行为示例来训练这两种方法。在学习阶段，他们没有向其展示任何攻击的示例，这使得系统能够检测到从未见过的全新类型的威胁。
为了使系统可靠，研究人员并没有简单地让这两种方法对决策进行投票。他们首先调整了每种方法的评分，以便进行公平比较，然后通过在另一组数据上进行测试确定的特定权重策略将它们结合起来。最终结果是一个单一的分数，用于告知系统某一段日志块有多可疑。如果该分数超过了某个界限，系统就会将其标记为异常。至关重要的是，系统不仅仅是说“这是坏的”，它还会为自己的决定提供详细的解释，强调究竟是哪些日志条目的特征触发了警报。它还会分配一个严重程度等级（从低到关键），帮助人类分析师决定优先调查哪些警报。
当团队在它从未见过的的一组数据上测试最终系统时，结果非常精准。在超过六万四千个日志块中，系统正确识别了几乎所有的异常，仅漏掉了一个。它还保持了极低的误报率，仅将极小比例的正常活动标记为可疑。两种方法的结合证明了其比任何一种单独的方法都更强大。虽然神经网络是更好的个体检测器，但统计方法捕捉到了网络漏掉的少量威胁。通过将它们融合在一起，该系统达到了在这一领域中罕见的高准确度，在所有主要性能指标上都达到了近 99%。
研究人员还构建了一个可视化仪表板，允许人类分析师与系统进行交互。该界面显示警报、严重程度评分以及触发警报的原因解释。它展示了触发警报的具体日志模板以及对决策贡献最大的特征。这种透明度至关重要，因为它允许人类信任机器的判断并理解威胁的上下文。整个系统旨在轻量化且具备可解释性，解决了人们对强大的安全工具过于昂贵或过于晦涩难懂的普遍抱怨。
这项研究证实，构建一个高效的安全引擎并不一定依赖于庞大的计算能力或海量的已知攻击标注数据集。通过专注于无监督学习（即系统学习正常行为的形态），并结合多种检测方法，团队创造了一个既准确又易于理解的工具。他们证明了一个系统可以通过在正常数据上进行训练、通过仔细的校准进行调整，并部署到大规模的日志流中，从而捕捉到几乎所有的异常。这项工作并不声称解决了所有的安全问题，并且承认它目前最适用于这种特定类型的日志数据。然而，它提供了一个清晰且可行的范例，展示了如何从被动的规则检查转向主动的、智能的异常检测，并使其能被需要使用它的人们所理解和信任。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。