When Explanations Help or Harm Network Intrusion Alert Triage: A Distribution-Conditional Benchmark
本文引入了一个分布条件基准，该基准证明了针对网络入侵告警的特征归因解释，会根据特定的威胁分布和检测器特性，提高、降低或不改变告警队列的效用，从而支持将局部验证的、感知解释的重排序作为仅基于评分排序的一种补充策略。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在计算机安全这个高风险的世界里，每一秒钟都有大量的数字流量流经网络。其中大部分流量是无害的，但隐藏其中的是试图入侵、窃取数据或破坏服务的企图。为了捕捉这些入侵者，组织使用自动化系统，它们就像数字哨兵一样。这些系统不断扫描数据流，寻找看起来可疑的模式。一旦发现异常，它们就会发出警报。然而，这些系统并非完美无缺；它们经常发出数以千计的虚假警报，将正常活动标记为威胁。这为人类安全分析师造成了巨大的积压工作，他们必须在这些噪音中筛选出真正的危险。对于这些团队来说，关键问题不仅在于系统是否能发现攻击，还在于它产生的警报列表是否将最危险的威胁放在了最顶端，以便疲惫不堪的分析师能首先看到它们。
多年来，人工智能领域的一个流行观点是使用“解释”来帮助解决这个问题。其逻辑很简单：如果计算机能够告诉人类它为什么要标记某个特定的警报，人类就能更信任它，并能更好地进行优先级排序。想象一下，一名保安不仅指向一个可疑人员，还解释说：“我盯着他，是因为他提着一个大包且走得很快。”人们希望将这种推理添加到警报列表中，能帮助分析师更快地找到真正的攻击。但这种假设从未在网络安全这一混乱的现实中得到严格测试。添加解释究竟是有所帮助，还是会扰乱系统并将真正的威胁推向更后的位置？
来自土耳其大学的一个研究小组通过一项精心设计的受控实验来回答这个问题。他们并没有简单地询问解释是“好”还是“坏”，而是建立了一个测试场，以观察解释在何时提供帮助、何时毫无作用，以及何时实际上会让情况变得更糟。他们首先使用了三种不同类型的自动化检测器，每种检测器都经过训练，用于在不被告知具体要寻找哪些攻击的情况下识别异常的网络活动。这些检测器根据数据的“怪异程度”生成了一份警报列表。随后，研究人员对该列表应用了一个特定规则：他们在解释中添加了一个“特征签名”。这个签名是一组预定义的特征，与特定类型的攻击相匹配，例如以大规模数据洪流为特征的拒绝服务攻击（DoS）。
研究人员随后测试了提升匹配此特征的警报优先级是否能改善列表的排序。他们使用了一种称为 SHAP 的方法，该方法通过分解计算机决策中每个数据部分的贡献度，来观察计算机是否关注了正确的内容。他们将原始列表（仅根据数据的怪异程度排序）与一个新列表进行了对比，在新列表中，匹配攻击特征的警报被赋予了轻微的权重提升。他们在数千个场景中运行了这项测试，使用了不同类型的攻击、不同的检测器以及不同规模的列表，以观察结果是否稳健。
研究结果令人惊讶且富有层次感。研究人员发现，添加解释并不一定会自动改善列表。事实上，对于某些最常见的攻击类型，特别是拒绝服务洪流，解释实际上让情况变得更糟了。当研究人员将解释规则应用于这些攻击时，真正的威胁被推到了列表的更深处，使得分析师更难发现它们。这是因为自动化检测器本身就已经非常擅长识别这些洪流，并将其排在顶端。而解释规则本意是想提供帮助，却在无意中打乱了列表，并将最紧急的警报向下移动了。
然而，故事并非完全是负面的。在少数特定情况下，解释确实发挥了作用。对于某些类型的攻击和特定的检测器，解释成功地将正确的警报保持在了顶端。但这些成功案例既罕见又脆弱。研究人员发现，结果完全取决于检测器、攻击类型以及收集数据时的具体时刻之间的特定组合。对一种攻击类型有效的方法，对另一种则会失效；在某天的数据上奏效的方法，在第二天便不再适用。
研究还探讨了这些结果在数据杂乱且不可预测的现实世界中是否依然成立。他们在不同的数据集上测试了这些方法，其中包括一些比初始测试更庞大、更复杂的集合。他们发现，规律保持了一致性：解释规则并非万能药。在某些现代数据集中，它略有帮助，但在另一些数据集中，它则会造成损害。至关重要的是，他们尝试构建一个“选择器”，以自动决定何时使用解释，何时坚持使用简单的列表。他们发现，无法构建出一个无需持续人工监督即可安全使用的选择器。在训练数据中有效的规则，在应用于新的、未见过的实际数据时往往会失效。
研究人员得出结论，仅仅通过添加解释来优化安全警报并非灵丹妙药。虽然解释对于理解计算机为何做出某种决策可能很有用，但利用它们来自动重新排列警报列表则是具有风险的。研究表明，在许多情况下，基于原始“怪异度”评分的简单列表实际上优于经过解释修改后的列表。研究人员建议，最好的方法是将解释视为一种辅助工具。安全团队应保留原始列表作为优先处理工作的首要方式，仅将解释作为双重检查或理解特定警报的一种手段，而不是让它改变整个列表的顺序。
这项工作为未来的安全运营提供了一份清晰且有证据支撑的路线图。它告诉我们，不能假设更多的信息总能带来更好的决策。有时，额外的解释层反而会掩盖最重要的信号。研究人员表明，在任何组织采用基于解释的报警重排序系统之前，必须在自己的环境中对其进行严格测试。他们必须验证解释是否确实有助于其特定的检测器发现其特定的威胁。如果没有这种局部验证，试图通过解释让安全变得更智能的行为，可能只会让安全变得更慢、更低效。前进的路径不是盲目信任计算机的推理，而是谨慎地使用它，明确知道它在何时提供帮助，以及在何时造成伤害。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。